关于公司搭建 AI 问答的一些风险 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
hui9000
V2EX    问与答

关于公司搭建 AI 问答的一些风险

  •   hui9000 2023-12-19 08:51:22 +08:00 4267 次点击
    这是一个创建于 667 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这是上一个问题,t/999563#reply52 关于搭建 AI 问答的 经过几天研究讨论,最终定下我们内部先搭建一个基于 chatGPT3.5-turbo 的问答的应用,先让公司内部习惯使用此工具; 这里有几个问题问一下各位大佬彦祖: 公司背景:处于国内,非互联网公司,传统零售业

    1. 肯定需要 vpn ,如果我使用买的 vpn 是否有风险,改应用只限内部使用,也就是公司内网,以后也不会开放外部人员使用;
    2. 如果 1 有风险,使用中转 api 是否有稳定可行;
    3. 开发聚合的多模型的类似这种 https://anakin.ai 有没有成熟的方案? 最后:其实我理解上层的想法,就是增加效率,降低成本,都不好过; 将来可能会淘汰一部分运营,设计,做报表的。
    37 条回复    2023-12-27 14:09:30 +08:00
    asche910
        1
    asche910  
       2023-12-19 08:56:49 +08:00
    之前不有个老哥自己搭建的,被裁了还一堆屁事被公司告。
    gletec
        2
    gletec  
       2023-12-19 09:01:35 +08:00 via Android
    @asche910 对这事有印象,有啥后续没?
    halobugTurbo
        3
    halobugTurbo  
       2023-12-19 09:04:03 +08:00
    我是使用 Azure OpenAI 的服务,不需要 VPN 就可以调用。(即便是使用了 VPN 改善了网络环境,但是推理速度也不会很快!)
    lianglianglee
        4
    lianglianglee  
       2023-12-19 09:04:35 +08:00
    可以让公司把服务器买在国外,开 IP 白名单,只对公司的 IP 开放。所有费用、账号,都用公司的。个人可以垫付后报销。
    paopjian
        5
    paopjian  
       2023-12-19 09:13:32 +08:00
    字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊字节不都说他们买了 azure 的服务么,感觉大公司表面上都是有访问外网的权利的,是不是得申请什么啊
    Ghostsss
        6
    Ghostsss  
       2023-12-19 09:14:42 +08:00
    3 楼+1 ,可以试试 azure 的,以公司名字注册申请该账号,后续消耗费由公司承担。
    whoami9426
        7
    whoami9426  
       2023-12-19 09:15:52 +08:00
    可以试试 cloudflare 的 worker 转发 api
    boolstone
        8
    boolstone  
       2023-12-19 09:19:14 +08:00
    1 、cloudflare 代理
    2 、中转 api 找个稳定的就是
    asche910
        9
    asche910  
       2023-12-19 09:19:14 +08:00
    @gletec 没,找不到了。。
    LuJason
        10
    LuJason  
       2023-12-19 09:25:13 +08:00   3
    @gletec 在这里
    上:[我给公司部署了一套 ChatGPT, 老板说没有目的性, 给我这件事的绩效打了个 C, 如何评价这一现象?]( t/963224)
    中:[我就是上次给公司部署 ChatGPT 的, 今天被开了]( t/966243)
    下:[我是 GPT 老哥, 现在公司因为我下了自己的 API-KEY 威胁我, 我可以怎么办]( t/966984)
    huhu4018
        11
    huhu4018  
       2023-12-19 09:33:00 +08:00
    我有点好奇公司为什么要搭建这个?有什么应用场景呢,如何提高生产效率?
    whoiskoala
        12
    whoiskoala  
       2023-12-19 09:36:09 +08:00
    3.5 可以使用中转 api ,可以不用 vpn ,而且价格还便宜
    Anshy
        13
    Anshy  
       2023-12-19 09:57:17 +08:00
    反正不需要自己出钱,省事点,直接用中转 api ,然后中转 api 多找几家就好了
    hui9000
        14
    hui9000  
    OP
       2023-12-19 10:05:08 +08:00
    @zh584728 我草 有点汗流浃背了哥
    hui9000
        15
    hui9000  
    OP
       2023-12-19 10:05:49 +08:00
    @whoiskoala 有没有稳定的推荐呀
    hui9000
        16
    hui9000  
    OP
       2023-12-19 10:08:15 +08:00
    @huhu4018 基本的运营是可以代替的,我们很多员工不懂计算机或者流程 我们都有专人管弄飞书服务台进行回复
    还有一些海报设计,促销什么的;还有一些给老板看的销售报表都是人工弄;
    chitanda
        17
    chitanda  
       2023-12-19 10:10:30 +08:00
    我在几家自己接入 ChatGPT 的公司干过,一家是集成到飞书里自己内部使用,走的香港亚马逊到米国的服务器,没有被 ChatGPT 封过。一家是客服性质的,用来做商业化的客服机器人,自己用的什么机场,ChatGPT 账号被封过,然后从什么黄牛那里买了 azure 的接口,后来 ai 管理法出来了,就转成了国内的。
    cherryas
        18
    cherryas  
       2023-12-19 10:12:24 +08:00
    国内非互联网公司搞什么 gpt3.5 ,不会是你主推的吧?到时候开发票你就搞不定。
    churchmice
        19
    churchmice  
       2023-12-19 10:21:55 +08:00
    将来报道出了偏差,lz 可是要负责任的
    paopjian
        20
    paopjian  
       2023-12-19 10:22:54 +08:00
    你要真这么怕,还是直接找百度吧
    Maco
        21
    Maco  
       2023-12-19 10:25:18 +08:00
    公司用 VPN 的话,建议采购中国联通的 SDWAN 方案,合法的; 5M 大概 1400 人民币/月 + 一个境外的服务器即可。
    phytry
        22
    phytry  
       2023-12-19 10:27:38 +08:00
    用 azure 吧,需要提交公司资料申请 azure ai 的使用权,账号和信用卡绑定都用公司提供的就好了,自己只是协助公司开通和部署业务
    reeco
        23
    reeco  
       2023-12-19 10:39:11 +08:00
    请我当顾问,帮你搭一个完全私有部署的 :-)
    em70
        24
    em70  
       2023-12-19 10:44:32 +08:00
    用 VPN 不是个好方案,应该部署一个海外代理服务器,阿里云有精品网络走国内,可以保证稳定
    reoah2
        25
    reoah2  
       2023-12-19 10:47:24 +08:00
    建议 azure+langchain
    em70
        26
    em70  
       2023-12-19 10:48:12 +08:00
    @reeco #23 搭一个跑起来很容易,但要精准召回,需要自己做数据对齐,特别在资料有表格和公式情况下,难度不亚于开发一个垂直搜索引擎
    weilongs
        27
    weilongs  
       2023-12-19 11:09:09 +08:00
    感觉搞这事就是搞事。 惹一身骚。
    Seulgi
        28
    Seulgi  
       2023-12-19 11:45:29 +08:00
    如果用 openai 的 gpt ,发票就开不出来。所以合法合规就是用 azure openai ,至少有国内团队洽谈商务,都是出海正规做法。
    kalman03
        29
    kalman03  
       2023-12-19 11:59:13 +08:00
    问楼主:你是如何有 openai 的 api 权限的(你搞定绑卡了吗)?如果连 API 权限都没有,你考虑怎么调用没意义吧?
    ShawBen
        30
    ShawBen  
       2023-12-19 12:01:06 +08:00
    Azure+1,不需要 VPN
    Rnreck
        31
    Rnreck  
       2023-12-19 12:51:35 +08:00
    @hui9000 #14 别做吃力不讨好的事情,,
    hui9000
        32
    hui9000  
    OP
       2023-12-21 09:21:44 +08:00
    @cherryas 领导下达的任务,我也很难办,也在全体会议上公布了我负责研究搭建。难搞
    hui9000
        33
    hui9000  
    OP
       2023-12-21 09:25:23 +08:00
    @weilongs 我也有这担心,弄好了怕出其他幺蛾子,弄不好,又怕领导怪罪。
    @Seulgi @kalman03 走中转方案 找能开票的中转 api 应该能避免这个;
    hui9000
        34
    hui9000  
    OP
       2023-12-21 09:25:48 +08:00
    @Rnreck 兄弟我现在是骑虎难下了
    whoiskoala
        35
    whoiskoala  
       2023-12-26 08:57:43 +08:00
    @hui9000 我这边有,怎么联系你呢?
    hui9000
        36
    hui9000  
    OP
       2023-12-27 08:54:25 +08:00
    @whoiskoala 能开票么?
    whoiskoala
        37
    whoiskoala  
       2023-12-27 14:09:30 +08:00
    @hui9000 能得
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     951 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 28ms UTC 19:42 PVG 03:42 LAX 12:42 JFK 15:42
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86