目的：在一个垂直领域内，通过输入自然语言判断用户的意图。意图可以被枚举出来，自然语言在一个范围内。
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
要求：性能希望能在 100ms 以内，越快越好
目前调研 RASA 中，不知道各位大佬有别的建议吗
This topic created in 491 days ago, the information mentioned may be changed or developed.
 | 1 mumbler Jan 7, 2025  1 用 grop 的大模型 API |
 | 2 ggbond2233 Jan 7, 2025 1 哈哈哈哈,这题我会 但是 100ms 国内目前做不到 |
 | 3 wvv8oo OP |
4
mumbler Jan 7, 2025 @wvv8oo #3 自己部署 100 毫秒不可能，要尽量快就只能用 3B 以下的小模型，4090 去跑，推荐 gemma2 2B 模型，完成分类还是够用了
| 5 ggbond2233 Jan 7, 2025 用小模型,分类可以做,自己服务器很吃力的 就用之前各家对话平台的模型 都可以实现 |
Select Language