求教 10T 的 postgresql 数据库应该怎么设计才能保证查询较快， 30s 级别？

持续关注...

挑战单机极限，这个话题值得关注

设计没用 上 citus data

我在想，这么大数据，应该都用分布式了吧

10T 的数据不考虑换架构吗?

持续关注，目前依然是用 pgsql

@huiyifyj 10T 只是一块硬盘。。。算起来也就是 2 块硬盘吧

@endershadow cool，看起来很棒。

关注

推去看看阿里大佬 https://github.com/digoal/blog/blob/master/README.md 的 blog

Citus is an extension to Postgres that transforms Postgres into a distributed database.
Pex uses Citus to ingest 80B data points per day and analyze that data in real-time. They use a 20+ node cluster on Google Cloud.
Agari uses Citus to secure more than 85 percent of U.S. consumer emails on two 6-8 TB clusters.

看起来 citus 好棒啊，有起是 agari 的案例，两个节点？

这是一个值得探讨的问题

方案很多, 你这个数据量 pivotal 家的 green plum 更适合

@luozic 特别棒， 当单库超过 100T 尚未完成写作。
能提醒一下看哪一篇吗？

@endershadow 能告知下理由吗？

楼主你也得说一下你的机器的配置吧

机器也很弱机 DELL t630。

@sjmcefc2 如果数据量就是这个规模的话, green plum 中文资料多,上手更容易.pivotal 国内也有研发中心

@endershadow 数据量基本是这个规模了，最多能再加一个节点。pivotal greenplum 貌似是个数据分析平台了？
需要购买？还是开源呢？导入数据可以 pgloader 之类工具不？

不讲数据结构和查询需求就可以银弹优化？

@endershadow Pivotal Greenplum 基于 PostgreSQL 和 Greenplum 数据库，可让用户更好地控制所部署的软件，减少供应商锁定，产品方向也更加开放。看起来 pivotal greenplum 和 greenplum 是不同的。

@sjmcefc2 都是开源的,greenplum 有自己的导入工具 gpload.其实两种方案都可以,代表两种不同的架构,一种是传统的 MPP 架构,一种是分布式架构.本质区别我也在学习中.

@sjmcefc2 greenplum 本来是商用的分析型数据库,后来被 pivotal 收购开源了

只要优化好查询条件，10T 也不算问题啊

@mooncakejs 只要。。。。您这个要求其实特别高。

@endershadow 感谢解答。看起来 citus 和 pivotal greenplum 好像都能够满足，citus 一直强调自己不是一个 fork，而 pivotal greenplum 应该是 fork 吧

当初特意搜寻过 postgresql 能不能当大数据的物理存储，最后的结论是：虽然 postgresql 能支持超大文件，但它不支持分布式存储，所以不能作为大数据的物理存储。

100GB 的数据量，sql 写的烂的话照样反应慢。如果架构方面的优化，gp 会是个比较好的选择，mpp 架构会让你爽的不行，不过在表 join 方面会比较麻烦。如果继续用 postgresql 话，不知道能达到什么程度，还是要看的你 sql 是怎样的，不过多建几个备库，适当的读写分离能解决一些问题。

@sjmcefc2 一般查询条件很复杂的，都是太追求一致性，不想存多份数据。

@maierhuang 应用中大量的 join，写动作很少，大量查询。主要应用就是查询、分析，看起来 gp 对口。

@passerbytiny 如果不支持分布式存储，citus 又是如何实现呢？或者效果为何如它说的那么好？

@mooncakejs 主要是不少的 join 操作。

还是要分析 sql 吧，
没有针对 sql 进行解析，都是扯淡，
该触发器就触发器，
减少 count,group by, file sort,
慢查询日志都没有，没有优化的前提，
阿里云 2000 一年的 MYSQL 数据库，放了数亿的数据，查询也是毫秒级啊。

gp 主打是 olap 场景，主打还是数据仓库的场景，主要是利用多台计算机的计算能力。citus 还是 oltp 的场景更多些，主打的还是 scale out 的功能。

10T，用 m2 组 raid 貌似 io 可解，剩下就是大内存，256,512 是必须的，然后多核。

不给数据结构只给数据量咋看，如果一个查询要 10T 全算一遍任谁也不行（

都 10T 了，应该上 Hive，或者花钱上 GoogleCloud 的 BigQuery、spanner

@maierhuang 非常感谢。gp 的网站貌似也是数据科学更多一些，citus 更像一个外挂？不知道理解的对不对

pg 版本是多少，先升级到 11，可以多核并行查询，并行排序，并行 join

@lbp0200 hive 30s 不可能的吧，hive 查询都是分钟级别的

苏宁有张比较图 https://slide.cdn.myslide.cn/937ff3b95141e4e75006bb646fae37568998512a/slide-06.jpg

刚反应过来：目前的 10T 是通过多块硬盘组 Raid 实现的吧，所以硬盘 io 性能才够用

@wanganjun 先试试这个升级，目前是 10. 现在 11 都有这特性了啊

@endershadow 最后苏宁选择了 citus?

就看 9 楼提供的阿里云大佬的链接，里面有针对并行的简要总结，也有一些说明和实践

citus 几乎没有事务隔离，建议选择场景谨慎使用。。。