这是一个创建于 2731 天前的主题，其中的信息可能已经有所发展或是发生改变。
用 spark 查询 es 集群的时候特别慢，es 集群有三个节点，总共大概有 200 亿条数据，jvm 堆内存 32G。
spark 查询时 pushdown 了之后结果集大概有 20 亿条数据，一个简单的字段匹配查询要跑一两个小时，目前连接时只用到了这些配置
es.scroll.size="10000"
pushdown="true"
es.scroll.keepalive="10m"
有人有经验给点优化建议么？
spark 查询时 pushdown 了之后结果集大概有 20 亿条数据，一个简单的字段匹配查询要跑一两个小时，目前连接时只用到了这些配置
es.scroll.size="10000"
pushdown="true"
es.scroll.keepalive="10m"
有人有经验给点优化建议么？
 | 1 oaix 2018-06-25 14:47:06 +08:00 是很慢的. 简单字段匹配也是要把整个 es 扫一遍. spark 读带 shard 的 mongo 会快一点. 最好是把 es 的数据定期写到 hdfs 里面去. |
 | 2 Mvpanswer7 OP @oaix 用 elasticsearch-spark 是会 pushdown 的啊，而且是 scroll 方式 |
| 3 oaix 2018-06-25 22:46:20 +08:00 @Mvpanswer7 你可以把 `用 elasticsearch-spark 是会 pushdown 的啊` 的来源发出来吗？ rdd 在 filter 的时候，传参是你自定义的 java 方法，我不认为 elasticsearch-spark 可以这个自定义的过滤翻译成一个 es 查询。 |
| 4 oaix 2018-06-26 09:31:45 +08:00 我知道你说什么了, 你用的是 spark SQL |
 | 5 bzzhou 2018-06-26 09:37:15 +08:00 贴一下 explain ？确认查询是否真的 pushdown 到了 es |
| 6 Mvpanswer7 OP @oaix 是的是的 |
| 7 Mvpanswer7 OP @bzzhou 能打印出来 pushdown 后的 query 里确实有 sql where 里的条件 |
Select Language