公司一个台式机想作为服务器部署本地大模型，怎么在局域网使用呢

直接 ollama 就能启动并暴露 OpenAI 兼容的 API ，然后再随便套个 GUI 就行了。

台式机的性能够吗。

@cheng6563 直接通过局域网 IP 例如 192.168.1.100 这种就可以吗？

@xzg1993 正常来讲是不够的，台式机显存太小了。

看 github 上各种神仙后续优化了，会不会有技术突破。

本地只能跑残血版，还不如让同事直接用满血版 API 。

内网使用有内网 IP 就行了，用 ollama 有 api ，本地装一个客户端就行了

我们搞了一台 8 卡 4090 不太够用

得 8 张 H100 才能跑 671b 全量版本，价值人民币 200 万元。

”一个台式机“
这种情况，本地部署不是用来学习的吗

把防火墙关了，然后套个 openwebui 就可以给别人用了

现在就连不会计算机基本操作的人都要搞 AI 了
我看这 AI 很快就要凉了

@julyclyde 这才是互联网的魅力好吧

@wangyuescr 用户玩玩闹闹也就算了；从业人员不宜这样

@julyclyde 老哥，我只是不懂网络，我之前开发都是云上开发的，没本地局域网部署过

@xinhaiw 不止。你对服务器应该也没什么概念

@julyclyde 我开发好几个电报机器人，都盈利了，你说我不懂...

@xinhaiw 啊，TG 机器人找台服务器吧

@xinhaiw 拿结果反推，缺乏基本逻辑啊
逆命题和原命题就没什么关系

再说 tg bot 才费多少资源

@xinhaiw 只能说你基本功太差，这种问题，问 deepseek 就行，还专门开一贴。属实菜。

本地部署的话完全可以封闭，应该不需要公网 ip

大佬，请问怎么实现让 deepseek 这种存文字模型的可以解析图片？