这是一个创建于 673 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前主要有俩需求：
- 对于常用知识进行问答，对于公司内部知识（如请假流程，内部代码建议等）可以训练并问答
- 可对于目前的内部流程，销售等进行建议；我们公司各个部门内部流程上千。
感觉是需要大模型进行训练，但又苦于不知去哪找到合适的；部署的话可以利用公有云或者私有云都可；（公司内部有私有云） 常识性公开的问答可以用 chatgpt 我这边可以按照 api 进行弄个前端搞，基于 gtp3.5 但是内部流程的话或者销售数据公司领导不想给到外部进行训练。 请问有没有好的方式进行实施，交作业
 | 1 Aruen8 2023-12-12 09:18:34 +08:00 哪个公司呀？ |
 | 3 Solix 2023-12-12 09:25:54 +08:00 via iPhone 首先买一个 a100 或者买至少 4 块 4090 ，然后找个中文开源大模型框架训练即可，然后训练完你需要 gpu 服务器部署或者用 a100 部署，不知道你们公司财力怎样，要求并发的话一个月至少话 1 万？ |
 | 4 sweat89 2023-12-12 09:28:33 +08:00 RAG |
 | 5 linch97 2023-12-12 09:29:54 +08:00 chatglm 6B 或者 13B ？这俩训练成本没那么高，只是问答应该也足够用了 |
 | 6 bk201 2023-12-12 09:30:25 +08:00 找个外部提供服务的进行私有部署 |
 | 7 x86 2023-12-12 09:31:35 +08:00 |
 | 8 luny 2023-12-12 09:35:05 +08:00 智谱 AI 大模型，好像可以私有化部署，算力要求不高，可以了解下 |
 | 9 0703wzq 2023-12-12 09:36:17 +08:00 试试看这个能不能满足： https://github.com/labring/FastGPT |
 | 10 listenfree 2023-12-12 09:37:14 +08:00 https://github.com/chatchat-space/Langchain-Chatchat 找类似的 chatglm3 + langchain ，完成你说的两个任务，调整好参数，适当修改知识库内容，花不了多少钱。 |
 | 11 kidult 2023-12-12 09:41:51 +08:00 3 楼的方案可以，用 gpt 的话肯定是要外泄数据的，如果只需要 3.5 的能力还是申请公司资源自己搞吧，搞完直接升职加薪 |
 | 12 c5QzzesMys8FudxI 2023-12-12 09:44:06 +08:00 最近我也在研究本地化部署问答知识库，正在使用 FastGPT + M3E + chatglm3 |
 | 13 holysin 2023-12-12 09:48:45 +08:00 上次开会听说很多公司都有对应的解决方案，但是肯定是要微调的，你们还得买几张卡.... |
 | 14 lozzow 2023-12-12 09:51:29 +08:00 我司有解决方案，要不要联系下，低成本 |
 | 15 PaulSamuelson 2023-12-12 09:52:36 +08:00 你看看这个https://segmentfault.com/a/1190000044459875#item-6 这个是直接用人家现成的。你可以先试用一下，看看效果。 它这个的优势是，只需要提供文档，然后就可以提问了。 |
 | 16 graetdk 2023-12-12 10:04:16 +08:00 |
 | 17 churchmice 2023-12-12 10:12:48 +08:00 @graetdk #16 网页做的不错，然而随便聊几句真是呵呵 |
 | 18 lneoi 2023-12-12 10:20:37 +08:00 网上开源的可私有部署模型 + langchain 可以实现知识库相关的系统 |
 | 19 qdlidada 2023-12-12 10:29:26 +08:00 我司有现成解决方案,可提供私有化部署,需要联系 |
 | 21 hui9000 OP |
 | 22 so1n 2023-12-12 1:41:37 +08:00 |
 | 24 karatsuba 2023-12-12 10:59:42 +08:00 1.用 chatgpt 自带的功能挂 langchain 解决，缺点是收费 2.用本地跑模型训练或者外挂知识库，缺点是有硬件门槛而且没有 chatgpt 好使 |
 | 25 RealJacob 2023-12-12 11:17:44 +08:00 简单弄都不需要训练吧，弄个向量数据库存一下你们的相关信息，langchain 接一下 gpt 和这个向量数据库就完事儿了 |
 | 26 clino 2023-12-12 11:58:15 +08:00 王健硕的 chato 是不是就是搞这个的 https://chato.cn/ 就是不知道能不能私有部署 |
 | 27 em70 2023-12-12 12:06:22 +08:00 知识库不需要微调,通过向量库把资料给到 prompt 就行了,私有部署建议用通义千问 14B,是目前消费级显卡能跑的最好的中文开源模型,chatglm 问题太多了,6B 能力也有限. 更强的模型显存超过 24G,需要 A100,H100,你们买不得,也没必要 |
 | 28 mylastfire 2023-12-12 12:13:01 +08:00 @em70 请问个人在家庭服务器上想部署知识库，您这个是最佳选择吗？ |
 | 29 kkhaike 2023-12-12 12:13:23 +08:00 之前用 longchain 接过。。感觉效果不好，就像 gpt 帮你搜索出来结果打出来一样，不像从 gpt 自己嘴里说出来那样 |
 | 30 Hider5 2023-12-12 12:30:17 +08:00 fastgpt |
 | 31 jingcoco 2023-12-12 12:33:23 +08:00 从哪搞 GPU ,感觉现在方案好多,就缺价格合适的显卡 |
 | 32 zhumengyang 2023-12-12 14:04:46 +08:00 |
| 33 em70 2023-12-12 14:09:14 +08:00 @mylastfire #28 是,淘宝买一块 2080ti 魔改 22G, 大概 2500 元,就能跑 14B 模型 |
| 34 em70 2023-12-12 14:11:18 +08:00 @kkhaike #29 知识库搭起来容易,但真的要工作,需要花大量时间做数据对齐和调试 prompt,做一个好产品从来都不是容易的事 |
 | 35 znonymous 2023-12-12 15:18:49 +08:00 |
 | 36 vacuitym 2023-12-12 15:22:15 +08:00 这个 openai 的 assistant 很适合啊，专门有个根据文档回答问题的，我有对接，你可以试下： https://chat.vacuity.me/ |
 | 37 jmljava 2023-12-12 15:31:33 +08:00 大模型加向量化考虑一下,特定内容向量化问答,通用问题大模型生成 |
 | 38 datoujiejie221 2023-12-12 15:45:03 +08:00 |
 | 39 TimePPT PRO  2 RAG 检索 / ES 检索，得出 TopN 结果，输出给 GPT ，然后再融合生成最终结果。 效果关键： 1. 语料预处理要好，本身的结构清晰、不重不漏。 2. Prompt 约束完整，写清楚目标，链路，给出正例。并对 badcase 情况明确说 Don't Do It! |
 | 41 laminux29 2023-12-12 17:20:36 +08:00 楼上那些人都没认真看要求吗？ 楼主说了，不希望用公共的 AI ，因为担心公司数据外泄。 这种情况只能选不联网的私有化部署的开源大模型才行。 |
 | 42 blessu 2023-12-12 20:36:59 +08:00 微软云的 openai service 不知道能不能用，可以的话就从服务合同的角度避免外泄 |
 | 44 clemente 2023-12-12 23:05:37 +08:00 LLAMA2 完事了 |
 | 46 Dav1s 2023-12-13 10:25:45 +08:00 借贴问问 像这种需求 oa 中大量各种格式文档应该如何处理？ |
| 47 TimePPT PRO 1 @hui9000 如果直接调取 GPT ，有一定安全合规风险，要求不是很高可以考虑 RAG 完的结果做下脱敏再扔给 GPT ，回复结果里再把脱敏信息还原。 如果安全合规要求很高，保险期间用私有化部署的开源模型也行，可以找下魔改过的对中文友好的 llama2 ，或者国产可以看下 Yi / Baichuan 之类的 |
| 48 TimePPT PRO @crazychang 格式文档预处理有一些开源框架能做，比如 PDF 、Excel 之类的解析，不过如果长期方案，建议做下归一化处理成结构、半结构化的统一格式做索引比如 Markdown or json ，这样有其他诉求，上 DB 也方便 大模型自己去解析封装好的格式文档基本不靠谱，GPT 之类的应该也是做了前置解析处理的 |
 | 49 blackbookbj277 2023-12-13 14:07:52 +08:00 关注下，同样需求不联网的私有化部署的开源大模型的问答系统，单位工作需要大量的法律、规章制度等内容，如果能不联互联网情况下部署最好了，私有云有 GPU 资源是不是可以用。 |
| 50 hui9000 OP @blackbookbj277 我稍微研究了几天，也结合了大家的建议，你跟我的需求大致差不多，对于内部知识资料等可以用开源模型搞就行，类似知识库这种上面有； 问答还是交给 chatGPT ；结合两者可以构建应用，也就是所说的基于 api 构建问答系统； 我现在在研究 https://docs.dify.ai/v/zh-hans/getting-started/readme 这个 |
| 51 hui9000 OP |
 | 52 LDa 2023-12-14 10:27:25 +08:00 建议推掉这种活，不要高看公司能给你的数据质量 |
 | 53 smalltong02 2024-01-26 08:02:42 +08:00 可以试试这个开源项目： https://github.com/smalltong02/keras-llm-robot |
 | 54 wwhc 2024-02-11 09:13:35 +08:00 1 不是应该用类似 github.com/imartinez/privateGPT 之类的开源项目么？ |
Select Language