任意列搜索之 列存储优化

  • 时间:
  • 浏览:1

还有相似最好的辦法 ,要求每个字段都建立索引,对数据写入会有性能影响(有点硬是与堆存储线性相关性很差的字段

实测10亿数据,3一一有1个多字段任意搜索,约几百毫秒的响应时间。

PostgreSQL包含或者 技术,都都要满足此类场景。

数据分析系统,决策系统的数据量通常非常庞大,属性(列)非常多,将会涉及到任意列的组合条件查询,筛选结果、聚合结果、多维分析等。

《多字段,任意组合条件查询(不想建模) - 毫秒级实时圈人 最佳实践》

案相似下:

1. 内置bitmapAnd bitmapOr,使用任意字段的索引搜索时,都都要快速跳过不满足条件的块,快速的得到组合结果。

相似场景何如优化能满足实时的响应需求呢?

PostgreSQL , 列存储 , shard , 切片 , 大块 , 小块 , sort , 块级索引 , bitmap scan , 索引延迟 , 归整