这是一个创建于 1822 天前的主题，其中的信息可能已经有所发展或是发生改变。
大致需求是 所有系统的数据可以抽出来放入数据中心里，所有系统可以通过固定规范访问数据中心获取对应数据。进入到数据中心的数据需要经过一定的校验，否则会生成 csv 文件，人工修改后再选择传入数据中心。数据中心本身需要有一定的简单的业务处理能力，能对外提供查询服务（全文检索），并且可以对已有的数据进行分析的功能。
我自己的想法是可以先通过 es 实现。但是架构师后来给我提了什么数据仓库或者类似数据湖的概念，我查询了下又觉得 es 不足以能够实现或者替代 数据仓库和数据湖的思想。这种需求还有什么其他的解决思路么。
ps:个人感觉我一年的 java 开发经验上手做这种东西有点蛋疼了:( 不过创业公司，架构师基本上是一个大功能模块放出来，给我们一个思路让我们自己去尝试实现，只能加把劲争取做了。
路过的大佬给点思路！跪谢！
 | 1 tomczhen 2020-11-10 11:01:09 +08:00 via Android 性能指标，功能指标，预算指标啥没有，就用云架构吧。 |
 | 2 tabris17 2020-11-10 11:03:31 +08:00 碰到过好几次 es 掉数据了。不是很可靠的数据存储后端。 |
| 3 tabris17 2020-11-10 11:07:34 +08:00 另外 es 基本上没什么业务处理能力。不如考虑下 pgsql 或 hive 吧 |
 | 5 snappyone 2020-11-10 11:08:47 +08:00 es 做搜索，存储用 hadoop 这种，计算用 spark 。一年经验确实难为你了 |
 | 6 huifer 2020-11-10 11:10:37 +08:00 基础技术选型: Spark/Hive/Flink 这类提供查询方式的. 并不一定是 ES , es 提供全文搜索, 更适合于文档. 非结构化数据. 确定技术选型后需要制作 ETL 即 各类数据源数据收集处理, 转换成数据中心(数据仓库)的数据对象(数据结构) 数据转移完成后进行数据分类, 此时接入 ES 或者 MONGODB 我认为相对合适. 此时接入 ES 主要是进行归档数据存储, 后续对外暴露服务可以通过 Spark sql + es 搜索 等技术进行暴露服务, 编码语言等不做限制, |
 | 7 ssssshi 2020-11-10 11:11:59 +08:00  1 直接搜数据中台技术架构 ,照着大厂的架构挑对自己公司有用的来,选型的时候多结合自己公司的业务和各产品特点,比如 CK 查询快,redis 数据新,计算用 hive spark flink 之类的,存储 hdfs,抽取 flume 等等... 一开始的时候架构分层要清晰,不要各种生命周期的数据混在一起 |
| 8 huifer 2020-11-10 11:12:51 +08:00 就针对数据处理而言可能需要采用 MQ 或者 主从数据库等形式来尽可能减少对线上环境的影响....考虑不是很全面. 请多指教 |
 | 9 Renco OP 感谢！ |
 | 11 silentt 2020-11-10 11:17:05 +08:00 给你一条生产上的建议，选型一定要选 SQL 语法支持完备的数据库做数仓。你会发现绝大部分大数据的工作都是写 SQL 。 |
 | 13 GBdG6clg2Jy17ua5 2020-11-10 12:58:17 +08:00 via iPhone 要是我说上 oracle，大家会不会打我 |
 | 14 rapperx2 2020-11-10 13:09:37 +08:00 ClickHouse |
 | 16 evil0harry 2020-11-10 13:19:23 +08:00 clickhouse + kafka |
 | 17 levelworm 2020-11-10 13:21:30 +08:00 via Android 我们用 vertica 和 kafla，但是不知道你具体情况不好推荐。。。 |
 | 18 zorui 2020-11-10 13:23:49 +08:00 阿里云 的话 dla 可以满足 |
 | 19 jadec0der 2020-11-10 13:28:09 +08:00 ES 和数据湖是两个场景，数据湖里的数据做分析，是不在数据库端做条件查询的。比如一个 data scientist 用 Spark 分析订单数据，他会取全量的订单数据放到 Spark 里，然后写 Spark SQL 在内存里对数据进行查询。既然在数据库端不需要做查询，那就不需要对存储的数据做索引，数据存 csv 格式放对象存储里就行了。所以关键看数据怎么用，你得先把这个搞清楚。 |
 | 20 zyuu2 2020-11-10 13:34:31 +08:00 1 postgresql+clickhouse 。clickhouse 存量大的、日志型数据，postgresql 存量小的、聚合后的数据。 |
 | 21 teddy2725 2020-11-10 15:20:10 +08:00 这就是典型的数据仓库场景嘛，看来还有些元数据管理和数据治理的需求。让你一个一年经验的 java 搞这不是为难你嘛。架构师不出方案的嘛。 |
 | 22 a719114136 2020-11-10 16:50:11 +08:00 能用现成的就用现成的吧，阿里云有个 MaxCompute 可以试下。 |
 | 23 stephenxiaxy 2020-11-10 18:44:46 +08:00 clickhouse |
 | 24 yangzh 2020-11-10 19:03:26 +08:00 via iPhone 如果是分析数据的话，楼主可以搜索一下以下关键词：spark/clickhouse/postgresql，此外数据入库可以搜索以下关键词 flink/kafka 等。分析场景和 ES 还不太一样。 此外有条件的话可以考虑上云，例如楼上说的某云的 maxcompute （利益无关，几大公有云应该都有解决方案），否则运维会耗费精力。 |
 | 25 NCE 2020-11-10 19:50:17 +08:00 你们公司真有钱，可以让架构师这么嚯嚯。 |
 | 26 springz 2020-11-10 20:46:37 +08:00 看需求还是推荐 Greenplum，所谓的数据分析，大数据工程师，其实都是 SQL 工程师。 |
 | 27 lrvy 2020-11-10 20:53:00 +08:00 logstash 采集 --> kafka --> ETL --> ClickHouse/Hive， 短期日志放 ch，冷数据丢 hive |
 | 28 mason961125 2020-11-10 20:54:39 +08:00 好家伙，点进来之前以为要建 DC |
Select Language