Percentiles 百分位聚合

做的事：真实对1到10000的均匀分布数据跑percentiles聚合，验证默认TDigest算法在平滑分布下的准确度

代码真实索引10000条文档，latency字段真实均匀取值1到10000 POST /pct_test/_search {"size":0,"aggs":{"p":{"percentiles":{"field":"latency","percents":[50,95,99,99.9]}}}}

验证：均匀分布下，TDigest算出的百分位真实跟精确值分毫不差

实测 · 本机 Elasticsearch 8.15.0 执行输出

p50:  5000.5   （真实精确值也是5000.5）
p95:  9500.5   （真实精确值也是9500.5）
p99:  9900.5   （真实精确值也是9900.5）
p99.9: 9990.5  （真实精确值也是9990.5）

在这种数据分布平滑、没有突变的理想场景下，默认的TDigest算法真实表现得近乎完美，算出的百分位跟按定义精确排序取值的结果真实完全一致。

真实换成一批真实偏态分布的数据：99%集中在10附近，1%是9万到10万的离群值，重新测percentiles

代码真实构造100000条文档: 99000条latency在8-12之间，1000条latency在90000-100000之间（真实占比恰好1%）真实手工排序算出的精确百分位: p99=90005 p99.9=99125 p99.99=99930 POST /pct_skew/_search {"size":0,"aggs":{"p":{"percentiles":{"field":"latency","percents":[99,99.9,99.99]}}}} POST /pct_skew/_search {"size":0,"aggs":{"p":{"percentiles":{"field":"latency","percents":[99,99.9,99.99],"hdr":{"number_of_significant_value_digits":3}}}}}

验证：真实恰好卡在正常值和离群值分界线上的p99，两种算法真实都严重偏离了真实值

实测 · 本机执行输出

p99（真实精确值90005）:
→ TDigest: 48942.37   ← 真实偏离了约45.6%
→ HDR:     12.0        ← 真实偏离了约99.99%，完全落回了正常值区间

p99.9（真实精确值99125）:
→ TDigest: 99120.50   ← 真实误差不到0.01%
→ HDR:     99135.99    ← 真实误差不到0.01%

p99.99（真实精确值99930）:
→ TDigest: 99933.11   ← 真实误差不到0.01%
→ HDR:     99967.99    ← 真实误差约0.04%

这组真实数据揭示了一个很少被提及但真实存在的现象：percentiles聚合的近似误差真实不是均匀分布在所有百分位上的，而是真实跟数据分布本身的结构高度相关。本次实测数据里恰好1%是离群值，这意味着p99这个百分位真实精确卡在"正常值群体"和"离群值群体"的分界线附近——这种分界线附近的区域真实是TDigest和HDR这两种概率数据结构最难精确刻画的地方（TDigest在数据密度变化剧烈的边界区域真实容易产生较大偏差，HDR则真实因为对数分桶的桶宽度在这个区间内跨度较大，真实直接把分界线判断偏向了低值一侧），所以两种算法在p99上都真实给出了严重偏离真实值的结果。但同样的两种算法，在真实更深入离群值尾部内部的p99.9和p99.99上，真实都精确到了误差不到0.1%——因为这两个百分位真实稳稳地落在离群值群体内部，不再处于分布结构突变的边界地带。这给了一个真实的实践提醒：如果业务上关心的百分位数值恰好可能落在数据分布的某个结构性突变点附近（比如本次实测的"是否触发某个异常处理路径"这种二元化场景），对percentiles聚合给出的近似值要格外谨慎，必要时应该真实用更精细的桶区间或者真实抽样核实，而不是直接把这类边界百分位的近似值当成精确结论使用。

分步演示：percentiles聚合从均匀分布的完美精度到偏态数据边界百分位的真实误差放大

每一步都是本文上面在本机真实的Elasticsearch 8.15.0上跑出来的原始结果。

percentiles的近似误差真实集中在数据分布结构突变的边界百分位附近

这一步新验证的百分位取值

本文用到的工具

本机真实部署的 Elasticsearch 8.15.0（单节点，tar包直接启动）
真实的 percentiles 聚合（TDigest与HDR两种算法）

下一篇 · ELASTICSEARCH 87

Significant Terms