做采集的同学大多踩过两个坑:请求头没带全被 403,翻页翻到一半 token 悄悄失效。这里的笔记把一次完整接口调用的字段、依赖和取舍记下来,目标是复制粘贴就能在本地跑通一条最小链路。
限速是所有采集任务的底线。优先看响应头的 X-RateLimit-Remaining,按剩余配额动态 sleep,比写死固定间隔稳得多。并发超过个位数时,务必给每个 worker 单独持有锁重试计数,公共计数器在高并发下会算错退避时间。
鉴权 token 的刷新要和请求重试解耦。常见做法是单独开一个协程检查过期时间,早于 5 分钟就预先刷新,避免业务线程拿着过期凭证去试错。
响应体不要一律落盘。字段多、体积大的接口,先按业务键去重再序列化,能省下大量 IO。