这是一个创建于 1040 天前的主题，其中的信息可能已经有所发展或是发生改变。
简单点说，就是从微信群聊记录中摘取关于工序流转的文本，并从中提取关键信息，录入到数据库中。
其中关键信息有：工序名称，产品型号，数量，批次，接收人等。规定的流转格式是：
封装转测试 HP-10010 10 只 2301 批 @张三 但是具体到操作员发到群聊的时候，就变味了，各种五花八门的表达都有，这也就导致原本可以使用正则来提取信息变得困难，比如：
转测试 HP-10010 10 只 2306 周 @张三 HP-10010 转高低温测试 10 只 2306 周 @张三 如果用 NLP 来处理，如分词、词法分析、自动摘要，都不符合上述场景。
所以请教大家，有没有一个 NLP 功能，我可以自定义词库，如产品型号、工序名称，使得它能正确的识别到这是 1 段关于工序流转的语言，从而提取出关键信息。
 | 1 F281M6Dh8DXpD1g2 2023-02-09 14:20:34 +08:00 三元组提取呗 都不用 chatgpt,一般的 gpt2 模型都能做 看看清华搞出来的那个 ，可以直接 few shot 训练 |
 | 2 vsitebon 2023-02-09 14:41:23 +08:00 如果你产品型号长度固定而且搭配类似，然后只前边一定有数字，且周前边有数字，我觉得这个问题用个正则，或者两三个正则就能解决了。。。 |
 | 3 s609926202 OP @vsitebon 目前用的正则，不理想，主要是各种表达都有 |
 | 4 TimePPT PRO 实体提取，常规任务，最简单就是政策，追求泛化，需要一些数据做训练语料。 |
 | 5 VincentLee9527 2024-04-02 20:31:28 +08:00 NER ，中文叫命名实体识别。任务就是从非结构化的文本中抽取出结构化的信息，然后保存到数据库中。 关键信息--即实体类型。 三种方案可以做: 1. 规则匹配的方式，这个复杂度最高，需要算法分析各种情况，然后写正则进行拟合。 2. NLU 模型，自然语言理解模型。先标注 NER 的数据，然后训练一个 NER 的模型，常见的模型架构如: BERT + CRF 、BERT-MRC 等。 3. NLG 模型，自然语言生成模型。现在最火的 chatGPT 等 LLM 。设计 prompt ，让 LLM 生成你要的数据格式。最好让 LLM 生成 json 格式的文本，这样好用规则进行提取。 最后，可以私聊我，有偿进行指导。 |
Select Language