海量数据访问

rocksdb 之前试过 1000qps 没问题

我也想学习一下

duckdb

优先吞吐还是低延迟，请求数据是否完全随机，有没有热点，预先缓存，不用 redis 是因为内存不足？

Bitalostored

@dode 优先低延迟，请求数据完全随机，可以理解为全量数据都是热点...不用 redis 确实是因为内存不足

@superliy 我们在测试 rocksdb 的方案，2000w 数据就已经慢到 200ms 了

@luvcoriander ssd ？

@superliy #8 是的

@superliy #8 主要给的 key 是随机的,缓存给了 50%数据总量吧。感觉还得靠内存解决速度问题

假如这些数据都是一次写入是静态固化的，每次查找时预先把所有的 key 完成排序，批量查找，叠加配置 redis 固定内存限制，自动超时过期；叠加多块 ssd raid0 提高 IO 速度；
为数据进行分区；，将数据按 Hash Key 排序后，直接以二进制格式写入文件
建立一个 完全静态的索引文件（例如每个 Key 的 Offset ）。
使用操作系统的 mmap 将文件映射进地址空间。