当前位置: 首页 > news >正文

asp.NET 脏字过滤算法 修改版

旧的算法是简单对每一个脏字调用一遍 string.replace,当然是用了StringBuilder。http://www.jb51.net/article/20575.htm。 在我这里测试的时候,RegEx要快一倍左右。但是还是不太满意,应为我们网站上脏字过滤用的相当多,经过一番思考后,自己做了一个算法。在自己的机器上 测试了一下,使用原文中的脏字库,0x19c的字符串长度,1000次循环,文本查找耗时1933.47ms,RegEx用了1216.719ms,而我 的算法只用了34.125ms.
算法的关键,还是使用空间来换时间,使用了2个全局的BitArray, 长度均为Char.MaxValue。其中一个BitArray用来判断是否有某个char开头的脏字,另一个BitArray用来判断所有脏字中是否包 含某个char。经过这两个BitArray,可以做出快速判断,之后就使用Hash Code来判断完整的脏字,通过预先获取的最大脏字长度优化遍历过程。
需要的变量如下:
复制代码 代码如下:

private Dictionary<string, object> hash = new Dictionary<string, object>();
private BitArray firstCharCheck = new BitArray(char.MaxValue);
private BitArray allCharCheck = new BitArray(char.MaxValue);
private int maxLength = 0;

其中hash只使用到了key,value都置为null。也可以使用.NET 3.5中的HashSet,或者使用Dictionary<string, int>,记录脏字的出现次数。
初始化这些数据的方法如下:
复制代码 代码如下:

foreach (string word in badwords)
{
if (!hash.ContainsKey(word))
{
hash.Add(word, null);
maxlength = Math.Max(maxlength, word.Length);
firstCharCheck[word[0]] = true;
foreach (char c in word)
{
allCharCheck[c] = true;
}
}
}

判断脏字是否出现在一个字符串中的代码如下:
复制代码 代码如下:

int index = 0;
int offset = 0;
while (index < text.Length)
{
if (!firstCharCheck[text[index]])
{
while (index < text.Length - 1 && !firstCharCheck[text[++index]]) ;
}
for (int j = 1; j <= Math.Min(maxlength, text.Length - index); j++)
{
if (!allCharCheck[text[index + j - 1]])
{
break;
}
string sub = text.Substring(index, j);
if (hash.ContainsKey(sub))
{
return true;
}
}
index++;
}
return false;

替换的代码就不贴了,跟判断包含类似,只不过不能发现一个脏字后就退出循环。如果出现脏字的可能不是很高,就没有必要创建一个临时的StringBuilder。
进一步,可以通过借鉴.NET源码中string.GetHashCode()的实现,避免一次Substring的调用,提高性能。也可以设计递进的HashCode实现,比如"helloworld"可以用"helloworl"的hash进一步计算,优化效率。
另 外,也可以抛弃Hash,改用排序过的string[],用BinarySearch来判断sub是否为脏字。BinarySearch的结果是可以递进 的,即可以用查找"helloworl"的结果来加速判断"helloworld"。 (已测试,700个脏字,BinarySearch的效率有时会低很多。)
最后发一点牢骚,当初最早发的时候 (http://www.jb51.net/article/20576.htm),仅仅是为了说明下自己的算法,具体的代码甚至还有一点错误。两个事情 让我觉得心里不很爽,一个是被乱七八糟的无数网站转载而不说明出处,导致我后来的改进和错误修正达不到效果,二是一些人都愿意看到最终的代码,而不是理解 我想要表达的最核心的设计,然后自己去考虑实现。

转载于:https://www.cnblogs.com/top5/archive/2009/10/26/1589894.html

相关文章:

  • 起个名儿,叫如何自主学习(网络版)~~
  • 整理网上的一些关于sharepoint编码方面的最佳实践
  • 基于MapWinGis的开发探索(四)——图层窗口、地名检索的实现
  • 中间件
  • ArcEngine开发点滴1
  • [转]ATOM 规范 中文版
  • javascript实现组合的递归算法及变种
  • 汇报方案
  • [转]深一层看依赖注入
  • C# 中的委托和事件 copyright http://www.cnblogs.com/JimmyZhang
  • Week Function
  • China MVP Open Day 2009
  • C# Windows Form 刷新父窗体
  • Linq to XML说法——(二)更新,删除,加载
  • 如果可以忘记
  • JavaScript-如何实现克隆(clone)函数
  • [iOS]Core Data浅析一 -- 启用Core Data
  • java中具有继承关系的类及其对象初始化顺序
  • js对象的深浅拷贝
  • NLPIR语义挖掘平台推动行业大数据应用服务
  • QQ浏览器x5内核的兼容性问题
  • SAP云平台里Global Account和Sub Account的关系
  • vue从创建到完整的饿了么(18)购物车详细信息的展示与删除
  • WordPress 获取当前文章下的所有附件/获取指定ID文章的附件(图片、文件、视频)...
  • 官方解决所有 npm 全局安装权限问题
  • 前端设计模式
  • 前嗅ForeSpider中数据浏览界面介绍
  • 嵌入式文件系统
  • 使用Swoole加速Laravel(正式环境中)
  • 学习笔记DL002:AI、机器学习、表示学习、深度学习,第一次大衰退
  • 一、python与pycharm的安装
  • Mac 上flink的安装与启动
  • ​LeetCode解法汇总2808. 使循环数组所有元素相等的最少秒数
  • #AngularJS#$sce.trustAsResourceUrl
  • (2)MFC+openGL单文档框架glFrame
  • (2021|NIPS,扩散,无条件分数估计,条件分数估计)无分类器引导扩散
  • (HAL)STM32F103C6T8——软件模拟I2C驱动0.96寸OLED屏幕
  • (java版)排序算法----【冒泡,选择,插入,希尔,快速排序,归并排序,基数排序】超详细~~
  • (二) Windows 下 Sublime Text 3 安装离线插件 Anaconda
  • (全注解开发)学习Spring-MVC的第三天
  • (深入.Net平台的软件系统分层开发).第一章.上机练习.20170424
  • (十八)三元表达式和列表解析
  • (算法设计与分析)第一章算法概述-习题
  • (译)计算距离、方位和更多经纬度之间的点
  • (转)编辑寄语:因为爱心,所以美丽
  • .net 7 上传文件踩坑
  • .NET CF命令行调试器MDbg入门(一)
  • .Net Core webapi RestFul 统一接口数据返回格式
  • .NET Core WebAPI中使用Log4net 日志级别分类并记录到数据库
  • .net 流——流的类型体系简单介绍
  • .NET 使用 XPath 来读写 XML 文件
  • .Net的DataSet直接与SQL2005交互
  • .NET应用架构设计:原则、模式与实践 目录预览
  • []指针
  • [Avalon] Avalon中的Conditional Formatting.