单机器(4C 或 2C)OLAP 数据库选型 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
annoygaga
V2EX    数据库

单机器(4C 或 2C)OLAP 数据库选型

  •  1
     
  •   annoygaga 238 天前 1881 次点击
    这是一个创建于 238 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前每天的数据量其实不大,但是有比较复杂的 SQL 分析需求,希望走一个 OLAP 数据,目前用的 clickhouse ( 2C ,4GB ),但每时每刻都会有不少 mem 和 cpu 消耗,想问问类似情况下哪些数据库在这个场景比较好呢?

    16 条回复    2025-03-12 16:11:52 +08:00
    lyt001
        1
    lyt001  
       238 天前
    单机的情况下 ck 算是最好的选择之一了吧,目前用 ck 有什么问题?
    annoygaga
        2
    annoygaga  
    OP
       238 天前
    @lyt001 其实就是每时每刻都会有不少 mem 和 cpu 消耗,以及维护成本,希望尽可能省事。毕竟不是大场景,吃了太多人力也不好
    lyt001
        3
    lyt001  
       238 天前
    追求更加轻量化的话据我所知 duckdb 可能可以满足你的要求
    annoygaga
        4
    annoygaga  
    OP
       238 天前
    @lyt001 duckdb 是进程内的,我希望可以单独一个服务,而且可以维护磁盘数据
    opengps
        5
    opengps  
       238 天前
    这种需要动态扫描的计算类脚本,cpu 和内存消耗免不了,通过选型能解决的问题并不多
    F281M6Dh8DXpD1g2
        6
    F281M6Dh8DXpD1g2  
       238 天前
    复杂的 sql 你用 clickhouse ?
    用 pg 完事
    spritecn
        7
    spritecn  
       238 天前
    ck 一个查询 CPU 跑满重启都不行,日志场景可以考虑 openobserve
    8355
        8
    8355  
       238 天前
    个人理解 clickhouse 应该单机最好
    云厂商一般是 1:4 你升成 4c 16G 试下看看

    我们目前买阿里云 8c 32g 也是单机最低配 单表在算超过 110 亿聚合
    annoygaga
        9
    annoygaga  
    OP
       238 天前
    @opengps 是的,所以希望看看方案
    annoygaga
        10
    annoygaga  
    OP
       238 天前
    @liprais 分析的需求,pg 这种点查比较擅长把
    annoygaga
        11
    annoygaga  
    OP
       238 天前
    @8355 2c 8G 可以考虑,4C 太贵了,这需求也不是很值钱
    jimyag
        12
    jimyag  
       238 天前
    duckdb 可以通过 EXPORT DATABASE 把数据导出,也可以通过 import 导入。

    duckdb 也有很多语言的驱动,用代码也能管理

    https://duckdb.org/docs/sql/statements/export
    https://duckdb.org/docs/clients/overview
    annoygaga
        13
    annoygaga  
    OP
       238 天前
    @jimyag 还是希望一个类似 clickhouse 的单独服务的东西
    zzmark06
        14
    zzmark06  
       235 天前
    那你就 clickhouse 呗,4c32g 能跑很多东西了。
    小内存建议缩缩参数,参考 altinty 的手册

    https://kb.altinity.com/altinity-kb-setup-and-maintenance/configure_clickhouse_for_low_mem_envs/
    linhrdom
        15
    linhrdom  
       211 天前
    ETL 的过程用的什么? Spark ?想再组合一个 clickhouse
    linhrdom
        16
    linhrdom  
       211 天前
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3395 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 33ms UTC 04:28 PVG 12:28 LAX 21:28 JFK 00:28
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86