求推荐中小型项目敏感词检测 Python 案例

一般用字典树

如果是你负责，建议用 bat 的 API 。

Trie Tree

re + trie tree 因为要记录命中的敏感词，需要分组捕获。目前一个场景 build 出来的 pattern 大概有 300w 长，匹配一次感觉快要 1s ，用 bat 的 api 加上请求时间都比本地快好几倍。。。

@Mohanson 是的，我是正则字典树去搞的，但是词库太大，有点担忧

@ila 也有在用，本地做第一层拦截

hyperscan

1.目前主流的做法是，先分词，然后再去匹配敏感词列表。优点是性能高，速度快。缺点是匹配覆盖率低。

2.但如果要保证匹配覆盖率，运算量必然超大，因为不能分词后再去匹配，而是反过来要用词库来匹配现有内容。可优化的就只有在匹配过程中对字典树进行剪枝了。

https://zhuanlan.zhihu.com/p/146369212

AC 自动机？

我之前写了个 AC 自动机用来匹配和过滤关键词，现在生产环境大概有 1 亿个关键词，性能非常好。
不过只有 Go 和 Java 版本，看看能不能帮到你，代码实现很简单，照着直接“翻译”成 Python 应该没啥问题。

Go： https://github.com/yihleego/trie
Java： https://github.com/yihleego/trie4j

@LeegoYih 感谢感谢，我去看看

在意性能可以用布隆过滤器

@fengjianxinghun 这个感觉有点子臃肿，好多依赖

@documentzhangx66 分词这个方向目前还没考虑到，居家办公比较闲，研究研究

@ipwx 测试过 ahocorasick 这个库，感觉差不是太多

@demonps 不用研究，Python 有现成的，叫 结巴分词。

这应该就是 AC 状态自动机干的事吧

楼主可以看看这个 https://github.com/G-Research/ahocorasick_rs

flashtext

https://github.com/intel/hyperscan
https://www.colm.net/open-source/ragel/
好像是 v2 以前有个帖子,当时特别震撼

这个帖子 t/828016

@demonps 这个就是性能最好的，比什么 AC 字典树都快，安全防火墙都用这个代替以前 AC 了

@fengjianxinghun 我去研究下这个

@documentzhangx66 o..o

@paopjian 都推 hyperscan ，我去测试下

哎, 作孽啊

@gitgabige [叹气]