只读一个字段要解多少:各格式的解码成本

  JSON 数组(整批 json.loads)             每次查询   42.8016 ms(每次要处理约   7045.1 KiB 的输入)
  JSON 数组(整批 orjson.loads)           每次查询   21.6310 ms(每次要处理约   7045.1 KiB 的输入)
  JSON Lines + 行偏移索引                 每次查询    0.0030 ms(每次要处理约      0.4 KiB 的输入)
  MessagePack 数组(整批 unpackb)         每次查询   31.1409 ms(每次要处理约   6208.3 KiB 的输入)
  MessagePack 逐条 + 偏移索引              每次查询    0.0017 ms(每次要处理约      0.3 KiB 的输入)
  Protobuf Batch(整批解析)               每次查询    3.7981 ms(每次要处理约   4799.2 KiB 的输入)
  Protobuf 逐条 + 偏移索引                 每次查询    0.0011 ms(每次要处理约      0.2 KiB 的输入)

  json.loads 后求和                           中位    42.8 ms(42.2–43.7),求和 1105543.79 ✓
  orjson.loads 后求和                         中位    21.0 ms(20.5–21.5),求和 1105543.79 ✓
  msgpack.unpackb 后求和                      中位    32.1 ms(31.2–37.5),求和 1105543.79 ✓
  Protobuf 完整 schema(11 个字段)               中位     6.3 ms(6.3–6.3),求和 1105543.79 ✓
  Protobuf 只声明 price 一个字段的 schema          中位     3.9 ms(3.9–4.0),求和 1105543.79 ✓
  JSON Lines 上用正则直接扫 "price":              中位     6.9 ms(6.8–6.9),求和 1105543.79 ✓
  正确的和是 1105543.79

  同样的数据用 json.dumps 默认写法(冒号后面有空格):正则 "price":([0-9.]+) 扫出 0 个,和 0.00(真实和 1105543.79,共 20000 条)
  每 100 条里有 1 条的 seller 对象里也有一个 price 键(值 1.0,共 200 条):正则的和 1105743.79,顶层 price 的真实和 1105543.79,多算 200.00(正好是嵌套的 price 之和)
  title 里含有 "price":999 这样的文本时,json.dumps 会把引号转义成 \",所以正则 没有被骗:找到 1 个 price(正确是 1 个)

  schema 里声明  1 个字段:中位    4.0 ms(4.0–4.1)
  schema 里声明  3 个字段:中位    4.3 ms(4.3–4.4)
  schema 里声明  6 个字段:中位    4.6 ms(4.6–4.9)
  schema 里声明 11 个字段:中位    6.4 ms(6.3–6.4)
  投影 schema 解析后再序列化:4914350 字节(原 4914350 字节)——未声明的字段作为未知字段全部保留

      每块条数       压缩后总字节     压缩比       点查中位耗时
         1      5771649   1.25×     0.0044 ms
        10      2472557   2.92×     0.0084 ms
       100      1746783   4.13×     0.0425 ms
      1000      1421724   5.07×     0.3583 ms
     20000      1331194   5.42×     6.9427 ms