k8s 私有化部署,存储方案应该怎么选择? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
sniperking1234
V2EX    Kubernetes

k8s 私有化部署,存储方案应该怎么选择?

  •  
  •   sniperking1234 2023-03-29 19:14:30 +08:00 5082 次点击
    这是一个创建于 931 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前用的 juicefs 做存储,但是发现 iops 性能太低,不适合给数据库类型的服务提供存储,用 ceph 感觉太重了,除此之外,还有没有其他比较轻量级的方式?

    27 条回复    2024-05-18 02:31:58 +08:00
    perfectlife
        1
    perfectlife  
       2023-03-29 19:17:44 +08:00 via Android
    local pv 省心
    sniperking1234
        2
    sniperking1234  
    OP
       2023-03-29 19:21:02 +08:00
    @perfectlife 使用 localpv 的话,pod 一旦建出来就不能调度到其他 node 了吧,那么如果 node 挂了该怎么处理呢
    ysjiang4869
        3
    ysjiang4869  
       2023-03-29 22:01:14 +08:00 via Android
    pmx1990
        4
    pmx1990  
       2023-03-29 22:17:26 +08:00
    我记得 ceph 用起来坑也不少,之前公司 all in 容器,local 是最佳方案
    做到 pod 不漂移 ip 不变等特性就好
    fisherwei
        5
    fisherwei  
       2023-03-29 23:38:21 +08:00
    你先说说规模呀,多少个 K8S 节点的集群,规划的存储容量是多少。
    ExplodingDragon
        6
    ExplodingDragon  
       2023-03-29 23:38:39 +08:00
    可以试试 nfs-subdir-external-provisioner ,这个需要外部 NFS 服务器,

    或者可以试试 nfs-server-provisioner ,在一个节点建 local-pv 通过 nfs 自动挂载到其他节点

    但 ... 两者 IO 性能并不高
    drizztdu
        7
    drizztdu  
       2023-03-29 23:53:32 +08:00 via iPhone
    Longhorn
    dayeye2006199
        8
    dayeye2006199  
       2023-03-30 00:42:16 +08:00 via Android
    Openebs
    locoz
        9
    locoz  
       2023-03-30 01:44:28 +08:00
    ceph 其实不算重,rook 已经帮你简化很多了,按着要求配置就行。但 ceph 的问题在于维护起来需要有一定的专业知识,在不了解 ceph 的架构和一些设计细节的情况下,出了问题不好解决(虽然通常都可以自动解决)。
    hefish
        10
    hefish  
       2023-03-30 08:50:37 +08:00
    数据库跑到共享存储上去啊,这个注定 IO 不高吧。。。
    zzl22100048
        11
    zzl22100048  
       2023-03-30 08:56:27 +08:00
    directpv/local-path-provisioner
    sampeng
        12
    sampeng  
       2023-03-30 09:06:24 +08:00
    数据库你放 k8s ?是想学死字的 n 种写法吗?
    云端也尽量不要放在 k8s 里啊。虽然他可以漂移。你线上环境飘一个试试看?
    sampeng
        13
    sampeng  
       2023-03-30 09:10:05 +08:00
    ceph 真的已经是简单到爆炸了的东西。。。只要你肯大力出奇迹。就不会出问题。
    比如我上一家,大力出奇迹。两台 dell 的 40T 磁阵。10 台服务器。组成一个 ceph 集群。并且是光交相连所有设备。再来 36 台的 16c64G 的服务器当 k8s 服务器。稳如泰山。2 年到我离职我都没去碰过他,全程默认值。最后一看,也就用了 10T 不到。。也就 2000 来个 pod 吧
    defunct9
        14
    defunct9  
       2023-03-30 09:19:26 +08:00
    glusterFS
    sniperking1234
        15
    sniperking1234  
    OP
       2023-03-30 09:19:37 +08:00
    @fisherwei 规模是 5-10 个节点左右,不算是大规模,所以想找个轻量级的存储
    sniperking1234
        16
    sniperking1234  
    OP
       2023-03-30 09:20:47 +08:00
    @sampeng 现在我们集群规模没有这么大,所以感觉 ceph 有点重了
    sniperking1234
        17
    sniperking1234  
    OP
       2023-03-30 09:22:16 +08:00
    @sampeng 我们是私有部署 k8s ,直接一套集群交出去就行了,要是再单独找机器部署数据库,相当于是两套部署逻辑了
    derek80
        18
    derek80  
       2023-03-30 09:40:19 +08:00
    这块兼顾稳定性和性能的话,商业产品还是领先一些。如果动手能力强可以用下 https://github.com/LINBIT/linstor-server
    sniperking1234
        19
    sniperking1234  
    OP
       2023-03-30 09:48:10 +08:00
    @derek80 我去看下,感觉架构也是挺复杂的
    perfectlife
        20
    perfectlife  
       2023-03-30 10:19:00 +08:00
    @sniperking1234 老实讲如果是小门小户的就这几个节点,技术团队可能也不太强大,没必要有状态服务往 k8s 里扔,找个物理机器部署最安逸。至于 node 挂了该怎么处理呢,首先 node 挂的机率不大,如果是自己机房的机器,参考你日常服务器挂了咋处理。分布式存储用起来爽,出问题直接火葬场
    coefu
        21
    coefu  
       2023-03-30 11:57:19 +08:00
    rook-ceph.
    sniperking1234
        22
    sniperking1234  
    OP
       2023-03-30 12:37:08 +08:00
    @perfectlife 说的也是,先考虑用 local pv 了
    sniperking1234
        23
    sniperking1234  
    OP
       2023-03-30 13:01:19 +08:00
    @ExplodingFKL 用作数据库的存储感觉就不太合适了
    sniperking1234
        24
    sniperking1234  
    OP
       2023-03-30 13:01:34 +08:00
    @zzl22100048 local-path-provisioner 是不是 openebs 的 pv 类似
    runzhliu
        25
    runzhliu  
       2023-04-12 16:38:03 +08:00   1
    我们之前的私有化方案里用的是 Longhorn+Minio ,可以参考一下
    sniperking1234
        26
    sniperking1234  
    OP
       2023-04-12 17:30:19 +08:00
    @runzhliu 性能和本地存储比怎么样
    Int100
        27
    Int100  
       2024-05-18 02:31:58 +08:00
    @runzhliu #25 谢谢分享,我试试
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5283 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 29ms UTC 07:09 PVG 15:09 LAX 00:09 JFK 03:09
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86