公司内大模型应用,领导打算从阿里百炼平台切换到私有化部署,如何打消他的安全隐私顾虑? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
boringwheat
1.09D
V2EX    职场话题

公司内大模型应用,领导打算从阿里百炼平台切换到私有化部署,如何打消他的安全隐私顾虑?

  •  
  •   boringwheat 2025 年 5 月 13 日 3100 次点击
    这是一个创建于 257 天前的主题,其中的信息可能已经有所发展或是发生改变。
    1. 业务平台已经在阿里云 ECS 上了;
    2. 去年用百炼搭建了一个 RAG 应用( OSS+百炼向量知识库+API 调用千问);
    今年领导觉得用云平台不安全,打算自建,我应该如何打消他的顾虑;(公司就我一个 IT,如果购买大概率就是买 deepSeek 一体机,实在不想自己再额外看护一套设备)。
    目前几个理由:平台的隐私说明,保密协议,大模型的迭代速度,MCP...
    29 条回复    2025-05-15 09:58:47 +08:00
    cat9life
        1
    cat9life  
       2025 年 5 月 13 日
    好像还真没有充分的理由来证明国内(外)云厂商没有隐私问题。只能拿协议、合同说事。
    jstony
        2
    jstony  
       2025 年 5 月 13 日
    这种领导你说服不了的,买吧,反正一体机也没多少钱,百八十万肯定能买到了。
    boringwheat
        3
    boringwheat  
    OP
       2025 年 5 月 13 日
    @cat9life 我的想法是,业务平台(核心保密数据)已经在云上了,基于业务数据的一些 AI 尝试再弄到本地,费时费力不说,开源的效果肯定也比不上付费的,机房环境也不好,我也没有模型本地调优的精力
    boringwheat
        4
    boringwheat  
    OP
       2025 年 5 月 13 日
    @jstony 倒不是想替公司省钱,单纯就是不想麻烦,而且效果可以预见的是不如云上的
    Mithril
        5
    Mithril  
       2025 年 5 月 13 日
    不太明白,业务都挂在阿里云上还在这个?

    至于换不换的,你可以给他算算账。看看你们在知识库和 API 调用上花了多少钱,买台这个一体机要多少钱。
    xuxuxu123
        6
    xuxuxu123  
       2025 年 5 月 13 日
    不要去识图劝说,就直接办就行了;

    对接厂商采购硬件的时候,直接沟通清楚风险点:
    1 、响应速度
    2 、整体费用
    3 、后续维护成本
    4 、稳定性
    .....

    把这些情况与厂商沟通结果给领导看,领导自己去做决策用还是不用;最终大概率就是不用了
    xuxuxu123
        7
    xuxuxu123  
       2025 年 5 月 13 日   1
    @xuxuxu123 你说的问题,那是你的问题;厂商说的问题,那就是真的问题;
    renfei
        8
    renfei  
       2025 年 5 月 13 日
    云厂商如果真的想看你们的数据,他们还真能看
    boringwheat
        9
    boringwheat  
    OP
       2025 年 5 月 13 日
    @xuxuxu123 有道理
    bzj
        10
    bzj  
       2025 年 5 月 13 日
    为什么要打消顾虑,本地部署就得采购硬件,促进消费,部署也麻烦不了多少,你也有了业绩,如果长期大量用可以节省不少成本,多赢的事情
    sparkssssssss
        11
    sparkssssssss  
       2025 年 5 月 13 日
    你多虑了,买一体机你们只管用而已,有问题了,也不用你来处理啊
    如果让你窜机器,那才是你该头疼的事情
    snow0
        12
    snow0  
       2025 年 5 月 13 日
    自己部署的机器弱鸡性能能满足多个人同时使用?
    snow0
        13
    snow0  
       2025 年 5 月 13 日
    @snow0 google 为了支持 AI 都要建三座核电站了
    murmur
        14
    murmur  
       2025 年 5 月 13 日
    私有化 deepseek1.5t 显存,嘿 jb 贵,不是大企业根本玩不起,机房还要硬件改造
    null2error
        15
    null2error  
       2025 年 5 月 13 日
    把看护的钱也一并报到项目里面,让乙方来干呀,你不愿意干的事情,有的是乙方愿意干
    SuperGeorge
        16
    SuperGeorge  
       2025 年 5 月 13 日
    可以去买阿里云大模型本地化部署的一体机,大概 100 多个 W 。
    Meteora626
        17
    Meteora626  
       2025 年 5 月 13 日
    百炼那玩意 真不好用,开源的 ragflow dify 都差不多东西,迭代还快 mcp 啥的都能接
    frandy
        18
    frandy  
       2025 年 5 月 13 日
    我们公司就是一体机,最便宜的那种,模型能力就是幼儿园水平。没什么好让领导打消的,要做好模型的选型,比如你百炼用的满血的,自己部署,用的量化的,出来效果不好,那是你的问题,所以前期做好自己运维大模型的能力。换个角度想想,自己的技能数有多点亮了几个,外加现在招聘市场对 AI 这种渴求度,自己的不满也就打消了。
    lower
        19
    lower  
       2025 年 5 月 13 日   1
    真正的反对是把这件事按 200%去执行!
    sansam
        20
    sansam  
       2025 年 5 月 13 日
    @xuxuxu123 #7 兄台深谙职场之道啊
    fredweili
        21
    fredweili  
       2025 年 5 月 14 日
    有多少访问量啊?需要多少 GPU 啊?开源模型将来的路线路啊?
    这个东西就是成本算账,隐私这玩意说不通
    yinmin
        22
    yinmin  
       2025 年 5 月 14 日 via iPhone
    云上用 ai ,有 2 种方式:调用 api 按 token 收费,租算力自搭建 ai 按服务时间收费。如果领导担心第三方 api 截取对方记录,可以在云上租算力(服务器)搭建 ai

    目前 ai 进展太快了,自购硬件可能没几个月就落伍了,不如按月租云服务器
    boringwheat
        23
    boringwheat  
    OP
       2025 年 5 月 14 日
    @yinmin 我也在推荐云上租用服务器的方案
    boringwheat
        24
    boringwheat  
    OP
       2025 年 5 月 14 日
    @Meteora626 我算是花钱买服务了,有问题提个工单;另外业务系统的文件都是存在阿里的 oss 的,百炼支持一键导入知识库
    boringwheat
        25
    boringwheat  
    OP
       2025 年 5 月 14 日
    @fredweili 面子工程,访问量几乎为 0 ;现在大部分公司的 AI 都是找使用场景, 我们今天也在打算强制在某些场景使用(比如决策环境的风险提示)
    Meteora626
        26
    Meteora626  
       2025 年 5 月 15 日
    @boringwheat 开源平台基本上都支持 api 导入文件,自己写个定时任务就行了。 但是私有化部署 和商业版本还是有区别的
    gaigechunfeng
        27
    gaigechunfeng  
       2025 年 5 月 15 日
    楼主请教一个问题,我们现在是直接调用百炼的 qwen-plus 的 api ,根据进出的 token 收费,但是没做任何定制和训练。我得问题是:百炼是否支持自己提供一些打点数据去做专门的训练?然后如果自己去训练了大模型,收费怎么算?还是根据 token 收吗?
    boringwheat
        28
    boringwheat  
    OP
       2025 年 5 月 15 日
    @gaigechunfeng 模型调优吗?支持是支持的,但是好像是要租用云主机了,我理解应该租用后按照主机配置、时间收费,跟 tokens 就无关了
    boringwheat
        29
    boringwheat  
    OP
       2025 年 5 月 15 日
    @gaigechunfeng 建议直接开工单找售前的人聊,可以让本地供应商上面讲解一下
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     991 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 92ms UTC 23:23 PVG 07:23 LAX 15:23 JFK 18:23
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86