知其然,知其所以然
Scrapy 内部原理 2026-10-12

请求积压:内存占用与 JOBDIR 的取舍

实测请求积压的内存:内存队列每个请求约 1 KiB(50,000 个增加 54.9 MiB,带 1 KB meta 变 120.1 MiB),启用 JOBDIR 后 RSS 只涨 0.2 MiB、start() 慢约 20%、落盘 11.1 MiB(每个请求约 234 字节)。

Scrapy 请求积压 内存队列 JOBDIR RSS 真实验证 动画演示
Scrapy 内部原理 2026-10-12

Request.priority:数值怎么影响出队顺序

实测 Request.priority:必须是整数(浮点、字符串、None 构造时 TypeError,负数和 10**30 都行);出队严格按优先级但并发高时到达顺序会乱(并发 60 时 133 个逆序对);优先级只比较出队那一刻已排队的请求,链式产生的高优先级请求不会饿死排队的低优先级请求。

Scrapy Request.priority 调度器 优先级 真实验证 动画演示
京ICP备2026067502号-1京公网安备11010502063487号