C# 撒列实现关键字过滤的实例

 更新时间:2020年6月25日 11:42  点击:2369

一直对搜索、过滤很好奇,觉得他们很有技术含量,只有非常NB的人才能做。很想知道他们的原理,实现这样的功能,设计是不是必须得非常NB非常奇特,代码是不是要写得非常好,性能非常高。总之这一切都不是我这样级别的人能做的。直到我看了《编程珠玑(第二版)》中的这么一段文字:

“假定我们可以在执行搜索之前对文本内容进行预处理,那么我们可以建立一个撒列表(或者搜索树),为文档中的每个不同的单词建立索引,并为每个单词的每次出现存储一个链表,这样的逆向索引使得程序可以很快的找到给定的单词,为了查找短语,我们可以对其中包含的每个单词的链表进行交叉,但实现起来比较复杂,速度可能会很慢。(不过一些网页搜索引擎用的就是这样的方法)”

思路就这么简单,我靠!连有的搜索引擎也用这种思路。这种撒列的方式处理关键字过滤速度的确是蛮快,10000个字组织成一个撒列表也就几毫秒,只要你预分配的内存较好,基本上没什么操作,就是向内存中填数据。在撒列表中判断一个键是否存在的时间复杂度为O(1),其实还可以自己重写Dictionary<TKey, TValue>,关键字过滤的效率可能会更好点。

实现的思路比较简单:

1:处理关键字,生成一个关键字字典表

2:处理要过滤的文本,同样生成一个字典表

3:将文本,两个字典表三者进行比对

现在来测试下面一段文字(我上篇博客中的一段文字):

"看云风博客关于解决12306并发问题的启发:我现在做骏卡接口,可能出现并发问题,就是一个订单可能向我们的接口发送多个请求,而我现在做的方法是去数据库中对应的表验证,看订单是否存在,如果存在就提示一下,如果不存在按流程走,但是这个样每来一个订单我都需要去数据库查,如果我在内存中维护一个订单集合,这样就能很快解决判断订单是否存在的问题,惯性思维太严重了,什么都去数据库查,这样的性能是最差的,其实很多问题在内存中就可以搞定的,最近还有一个特别感受,不要做井底之蛙,多看牛人的东西收获真的比自己埋头写代码进步快很多,其实很多时候我写的程序性能差,效率低都是因为方法的原因,没有找到好的方法,没有灵光一闪的感觉,用了最烂的方法解决问题"

测试代码:

复制代码 代码如下:

class Program
    {
        static void Main(string[] args)
        {
            string keys = "云风博客|并发问题|最烂的方法|内存|集合|数据库|性能";

            using (new OperationTimer("keyWords:"))
            {
                WordSearch ws = new WordSearch(keys);
                string str = "看云风博客关于解决12306并发问题的启发:我现在做骏卡接口,可能出现并发问题,就是一个订单可能向我们的接口发送多个请求,而我现在做的方法是去数据库中对应的表验证,看订单是否存在,如果存在就提示一下,如果不存在按流程走,但是这个样每来一个订单我都需要去数据库查,如果我在内存中维护一个订单集合,这样就能很快解决判断订单是否存在的问题,惯性思维太严重了,什么都去数据库查,这样的性能是最差的,其实很多问题在内存中就可以搞定的,最近还有一个特别感受,不要做井底之蛙,多看牛人的东西收获真的比自己埋头写代码进步快很多,其实很多时候我写的程序性能差,效率低都是因为方法的原因,没有找到好的方法,没有灵光一闪的感觉,用了最烂的方法解决问题";
                ConsoleColor color = Console.ForegroundColor;
                Console.ForegroundColor = ConsoleColor.Red;
                Console.WriteLine("原文:");
                Console.ForegroundColor = color;
                Console.WriteLine(str);
                Console.WriteLine();
                Console.ForegroundColor = ConsoleColor.Red;
                Console.WriteLine("过滤后:");
                Console.ForegroundColor = color;
                Console.WriteLine(ws.Filter(str));
            }
            Console.Read();
        }

    }


输出结果截图:

另外送上一个简单实用的代码运行时间测试类,测试某段代码的运行时间可是很方便的哦

复制代码 代码如下:

using System;
using System.Diagnostics;

namespace WordFilter
{
    /// <summary>
    /// 测试代码运行时间帮组类
    /// </summary>
    public class OperationTimer : IDisposable
    {
        private string Text;
        private Int32 collectCount;
        private Stopwatch stopWatch;

        public OperationTimer(string txt)
        {
            PerpareForOperation();
            this.Text = txt;
            collectCount = GC.CollectionCount(0);
            stopWatch = new Stopwatch();
            stopWatch.Start();
        }

        public void Dispose()
        {
            stopWatch.Stop();
            Console.WriteLine("{0} Milliseconds (GCs={1}) {2}", stopWatch.ElapsedMilliseconds, GC.CollectionCount(0) - collectCount, Text);
        }

        private static void PerpareForOperation()
        {
            GC.Collect();
            GC.WaitForPendingFinalizers();
            GC.Collect();
        }
    }
}


实现撒列的部分核心代码:

复制代码 代码如下:

      public Dictionary<char, IList<char>> HandleKeyWords(IEnumerable<string> text, int size)
        {
            Dictionary<char, IList<char>> dicList = new Dictionary<char, IList<char>>(size);//预分配非常关键
            int len, i;
            foreach (string s in text)
            {
                if (s == string.Empty)
                {
                    continue;
                }
                len = s.Length - 1;
                for (i = 0; i < len; i++)
                {
                    if (dicList.ContainsKey(s[i]))
                    {
                        if (dicList[s[i]] != null && !dicList[s[i]].Contains(s[i + 1]))
                        {
                            dicList[s[i]].Add(s[i + 1]);
                        }
                    }
                    else
                    {
                        dicList.Add(s[i], new List<char>(2) { s[i + 1] });
                    }
                }
                if (!dicList.ContainsKey(s[len]))
                {
                    dicList.Add(s[len], null);
                }
            }

            return dicList;
        }


我也想贴出全部代码,但是还有一些BUG,功能还有待完善,完善一些了会贴出源码的,在截一张图给大家看看

[!--infotagslink--]

相关文章

  • cmd下过滤文件名称的两种方法

    这篇文章主要介绍了cmd下过滤文件名称的两种方法,需要的朋友可以参考下...2020-06-30
  • C# 中的var关键字详细介绍

    这篇文章主要介绍了C# 中的var关键字详细介绍的相关资料,需要的朋友可以参考下...2020-06-25
  • C#中的yield关键字的使用方法介绍

    yield这个关键字是和迭代器挂钩的,而且是与return一起以yield return的形式合用的,用来返回迭代器中的条目。...2020-06-25
  • c# volatile 关键字的拾遗补漏

    这篇文章主要介绍了c# volatile 关键字的相关资料,帮助大家更好的理解和学习c#的相关知识,感兴趣的朋友可以了解下...2020-12-08
  • php关键字仅替换一次的实现函数

    对于批量替换关键字的问题,仅替换而言没什么可说的,但这里需要的是每个关键字仅需要替换一次就可以了。查阅了php相关函数文档,发现php本身是没有函数实现这个功能的,所以不得不自己解决了。总结了几种可行方法,小记一下! (1...2015-10-30
  • Spring Data JPA 关键字Exists的用法说明

    这篇文章主要介绍了Spring Data JPA 关键字Exists的用法说明,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-06-10
  • 用python获取txt文件中关键字的数量

    这篇文章主要介绍了如何用python获取txt文件中关键字的数量,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下...2020-12-24
  • Java类的访问权限关键字用法说明

    这篇文章主要介绍了Java类的访问权限关键字用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-09-29
  • PHP正则表达式过滤html标签属性(DEMO)

    这篇文章主要介绍了PHP正则表达式过滤html标签属性的相关内容,实用性非常,感兴趣的朋友参考下吧...2016-05-06
  • 详解C语言中const关键字的用法

    这篇文章主要对C语言中const关键字的用法进行了详细的分析介绍,需要的朋友可以参考下...2020-04-25
  • Swift中static和class关键字的深入讲解

    这篇文章主要给大家介绍了关于Swift中static和class关键字的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者使用Java具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2020-06-30
  • Delphi常用关键字用法详解

    这篇文章主要介绍了Delphi常用关键字用法,包括了各个常用的关键字及其详细用法,需要的朋友可以参考下...2020-06-30
  • C#中var关键字用法分析

    这篇文章主要介绍了C#中var关键字用法,实例分析了C#中var关键字的应用场合,对于.NET的学习具有一定参考价值,需要的朋友可以参考下...2020-06-25
  • C#中fixed关键字的作用总结

    以下是对C#中fixed关键字的作用进行了详细的总结介绍,需要的朋友可以过来参考下,希望对大家有所帮助...2020-06-25
  • C 语言restrict 关键字的使用浅谈

    C 语言restrict 关键字的使用浅谈,需要的朋友可以参考一下...2020-04-25
  • MySQL系列理解运用union(all)与limit及exists关键字教程

    这篇文章主要为大家介绍了MySQL系列中union(all)、limit及exists关键字的教程示例讲解,通过本篇文章就可以理解MySQL中的这些关键字的概念以及实际的运用...2021-10-26
  • C#基础语法:Base关键字学习笔记

    这篇文章主要介绍了C#基础语法:Base关键字学习笔记,本文讲解了它的一些基础知识以及测试代码,需要的朋友可以参考下...2020-06-25
  • .net(c#)中的new关键字详细介绍

    在 C# 中,new 关键字可用作运算符、修饰符或约束...2020-06-25
  • C# 撒列实现关键字过滤的实例

    C# 撒列实现关键字过滤的实例,需要的朋友可以参考一下...2020-06-25
  • Java中final关键字的使用与注意总结

    这篇文章主要给大家介绍了关于Java中final关键字的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者使用Java具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧...2020-08-20