高效的关键词替换和敏感词过滤工具

1. 算法介绍

利用高效的 Trie 树建立关键词树，如下图所示，然后依次查找字符串中的相连字符是否形成树的一条路径

发现掘金上这篇文章写的比较详细，可以一读，具体原理在此不详述。

2. 关键词替换

支持关键词重叠，自动选用最长的关键词，代码示例如下：

package main import ( "fmt" "github.com/tal-tech/go-zero/core/stringx" ) func main() { replacer := stringx.NewReplacer(map[string]string{ "日本": "法国", "日本的首都": "东京", "东京": "日本的首都", }) fmt.Println(replacer.Replace("日本的首都是东京")) } 

可以得到：

东京是日本的首都 

示例代码见这里

3. 查找敏感词

代码示例如下：

package main import ( "fmt" "github.com/tal-tech/go-zero/core/stringx" ) func main() { filter := stringx.NewTrie([]string{ "AV 演员", "苍井空", "AV", "日本 AV 女优", "AV 演员色情", }) keywords := filter.FindKeywords("日本 AV 演员兼电视、电影演员。苍井空 AV 女优是 xx 出道, 日本 AV 女优们最精彩的表演是 AV 演员色情表演") fmt.Println(keywords) } 

可以得到：

[苍井空 日本 AV 女优 AV 演员色情 AV AV 演员] 

4. 敏感词过滤

代码示例如下：

package main import ( "fmt" "github.com/tal-tech/go-zero/core/stringx" ) func main() { filter := stringx.NewTrie([]string{ "AV 演员", "苍井空", "AV", "日本 AV 女优", "AV 演员色情", }, stringx.WithMask('?')) safe, keywords, found := filter.Filter("日本 AV 演员兼电视、电影演员。苍井空 AV 女优是 xx 出道, 日本 AV 女优们最精彩的表演是 AV 演员色情表演") fmt.Println(safe) fmt.Println(keywords) fmt.Println(found) } 

可以得到：

日本????兼电视、电影演员。?????女优是 xx 出道, ??????们最精彩的表演是??????表演 [苍井空 日本 AV 女优 AV 演员色情 AV AV 演员] true 

示例代码见这里

5. Benchmark

6. 项目地址

https://github.com/tal-tech/go-zero

7. 微信交流群