VincentLee9527 最近的时间轴更新 VincentLee9527 最近的时间轴更新 | VincentLee9527V2EX 第 579587 号会员，加入于 2022-04-28 21:13:23 +08:00 |
VincentLee9527 最近回复了
2024-04-02 20:31:28 +08:00 回复了 s609926202 创建的主题 自然语言处理 请教一下此类场景在 NLP 中属于哪个功能分支，可否通过 NLP 相关模型实现 |
NER ，中文叫命名实体识别。任务就是从非结构化的文本中抽取出结构化的信息，然后保存到数据库中。
关键信息--即实体类型。
三种方案可以做:
1. 规则匹配的方式，这个复杂度最高，需要算法分析各种情况，然后写正则进行拟合。
2. NLU 模型，自然语言理解模型。先标注 NER 的数据，然后训练一个 NER 的模型，常见的模型架构如: BERT + CRF 、BERT-MRC 等。
3. NLG 模型，自然语言生成模型。现在最火的 chatGPT 等 LLM 。设计 prompt ，让 LLM 生成你要的数据格式。最好让 LLM 生成 json 格式的文本，这样好用规则进行提取。
最后，可以私聊我，有偿进行指导。
关键信息--即实体类型。
三种方案可以做:
1. 规则匹配的方式，这个复杂度最高，需要算法分析各种情况，然后写正则进行拟合。
2. NLU 模型，自然语言理解模型。先标注 NER 的数据，然后训练一个 NER 的模型，常见的模型架构如: BERT + CRF 、BERT-MRC 等。
3. NLG 模型，自然语言生成模型。现在最火的 chatGPT 等 LLM 。设计 prompt ，让 LLM 生成你要的数据格式。最好让 LLM 生成 json 格式的文本，这样好用规则进行提取。
最后，可以私聊我，有偿进行指导。
Select Language