关于时空大数据的存储和查询,目前业界常见的解决方案以及难点有哪些? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
rogergood
V2EX    程序员

关于时空大数据的存储和查询,目前业界常见的解决方案以及难点有哪些?

  •  
  •   rogergood 2019-03-11 20:56:27 +08:00 3545 次点击
    这是一个创建于 2483 天前的主题,其中的信息可能已经有所发展或是发生改变。

    这里的时空大数据指的是包含空间信息(经度、维度)和时间信息的多维度数据。常见的应用场景包括打车服务(指定时间段指定区域的范围查询)、指定区域内的广告推荐和投放等。

    这个是毕设在做的东西,目前也调研了一些方案

    • 基于 PostgreSQL+PostGIS,这种对地理信息有着较好的支持。

    • 有论文提出基于 HBase 等这种分布式的 NoSQL 来进行改进,使其支持这种多维度的数据查询。

    目前比较疑惑的有下面一些

    • 目前业界常见的存储和查询的解决方案是怎样的?用 PostgreSQL+PostGIS 这种传统的数据库,大数据量下扩展和维护成本似乎很高,时间维度的支持也较为一般。而 HBase 这些对多维度信息的查询功能较单一,只能满足某些特定的查询需求。

    • 业界在这方面的难点还有哪些?

    6 条回复    2019-03-12 09:56:30 +08:00
    TypeErrorNone
        1
    TypeErrorNone  
       2019-03-11 21:28:05 +08:00
    1
    jzmws
        2
    jzmws  
       2019-03-11 21:43:26 +08:00
    你是搞 gis???
    rust
        3
    rust  
       2019-03-11 23:28:15 +08:00 via Android   1
    MongoDB
    hilbertz
        4
    hilbertz  
       2019-03-11 23:49:50 +08:00   1
    只有 postgis 的 n 维索引才能真正高效的支持时空索引,其他基于时空填充曲线和 btree 的索引都是低效的,时空数据本身就能很好的分区,postgresql 完全能处理海量数据
    cheava
        5
    cheava  
       2019-03-12 02:37:24 +08:00 via Android   2
    基于 hbase 的时空数据库 geomesa 了解下?
    rogergood
        6
    rogergood  
    OP
       2019-03-12 09:56:30 +08:00
    @< href="/member/jzmws">jzmws 嗯最近以及后一阶段会搞 gis 相关的大数据

    @hilbertz 请问一下,postgresql 表是有大小限制的,在处理海量数据时,是不是需要人为的按照时间(比如说年份)、地理区域进行分表或分库的操作?

    @cheava 好的,我看一下

    @rust 我看到一篇博客( https://www.cnblogs.com/zhenbianshu/p/6817569.html )里提到 MongoDB 中的空间索引在较大数据量下,性能较 postgis 会有一定的下降
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2460 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 04:22 PVG 12:22 LAX 20:22 JFK 23:22
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86