社媒数据的翻页深度天花板,以及正确的增量落库姿势
2026-11-19 · Finewisdom 技术笔记
先说结论:任何第三方接口都拿不到超出平台可见范围的历史数据。你翻到第 N 页拿不到更多,不是接口的问题,是上游不给了。能做的只有三件事——把平台当前给的东西及时、去重、可续地存下来。
一、四种翻页参数,混用就是白花钱
同一个「翻页」动作,在社媒平台上至少有四种实现,接口文档里长得不像,行为差很远:
| 形态 | 典型参数 | 行为 | 常见踩法 |
|---|---|---|---|
| 页码 | page | 服务端按偏移切页,第 1 页和第 50 页成本一样 | 当成游标用,跳过中间页(中间页照样计费) |
| 游标 | cursor / start / max_id / min_id | 必须拿上一页返回的游标才能取下一页 | 传页码进去,返回的还是第一页 |
| 服务端偏移 | offset | 有的要求首页必须传 0,之后用返回的 next_offset | 自己算 offset += 20,结果错位 |
| 令牌 | buffer / page_token / continuation_token | 一次性令牌,下一跳完全依赖它 | 把它当静态参数缓存下来复用,第二页就废了 |
"四者混用"是接入期最常见的 bug。判断方法很简单:调第一页,看返回里有没有一个像游标/令牌的字段。
有,就必须用游标的方式翻;没有,才考虑 page。
# 判断翻页形态,而不是猜
d = call("xhs_note_comments", note_id=nid)
print(sorted(d.keys())) # 找 _next_offset / cursor / max_id 这类字段
print(d.get("_next_offset")) # 有值 → 游标翻页;None → 可能只有单页
二、天花板在哪:三种"翻不动"的原因
- 上游截断:平台自己只对前 N 页返回结果,第 N+1 页直接空。抖音、小红书的评论区普遍是这个形态。
- 风控降级:请求被判定异常后,上游不再返回新数据,但 HTTP 仍是 200、结构仍然合法 —— 只是列表空了。
- 去重后的空页:平台对同一账号的重复翻页会去重,你可能拿到"结构正确但全是你见过的项"的页。
这三种现象在客户端看起来一模一样:空列表。所以"空列表 = 该翻完了"这个判断是错的, 正确做法是给每一轮翻页设页数上限和连续空页阈值,两个都到头就停,而不是无限重试。
三、去重比翻页更重要
按内容 ID 建唯一索引,落库用 UPSERT,而不是 append。互动数会变(点赞涨了), 所以"重复数据"的正确处理是更新计数、保留首次见到的快照时间:
-- 每次采集都写一行快照,主键把时间维度带上
INSERT INTO comment_snapshot
(platform, comment_id, content_id, like_count, collected_at)
VALUES (%s, %s, %s, %s, NOW())
ON DUPLICATE KEY UPDATE like_count = VALUES(like_count);
只存最新值会丢掉"这条评论三天涨了多少赞"这类信号,而这类信号恰恰是做情感分析和爆款判断时最有用的。
四、日报和深度任务必须分开
这是我踩过的最贵的坑:把"每天巡检一遍"和"把一个账号的历史全拉下来"写进同一个 job, 结果日报越跑越慢,最后超时崩掉,连带把增量水位弄乱。
| 任务 | 目标 | 每次调用量 | 频率 |
|---|---|---|---|
| 日报/巡检 | 发现"有没有新的" | 每源 1 页 | 每天 1~N 次 |
| 深度任务 | 把某个目标拉全 | 按目标页数上限 | 按需触发 |
日报只回答"变了没有",成本可以压到每天几毛钱 —— 品牌舆情日报 6 个平台 + 4 个榜单只要 ¥1.4/天 (完整方案与代码)。深度任务按需触发,失败可重跑,互不影响。
五、断点续采:别让 2 小时的采集死在最后一页
每个任务落一张进度表,记 (target, cursor, page_index, status)。重跑时从最后一条成功的游标继续,
而不是从头再来。因为翻页也计费,从头再来等于把钱重花一遍。
state = load_progress(target_id) # {"cursor": "...", "page": 7, "status": "running"}
rows = crawl(target_id, start_cursor=state.get("cursor"), start_page=state.get("page", 0),
max_pages=state.get("page", 0) + 30)
save_progress(target_id, cursor=rows.last_cursor, page=state.get("page", 0) + 30)
六、成本上,先筛后拉
评论类接口按页计费,一页 20 条左右。所以"先把 500 条内容的评论全拉下来再筛"和"先用详情筛出 80 条再拉评论", 成本差 5 倍以上。用详情接口的互动量做粗筛,是最便宜的一刀。
具体到数字:500 条视频各拉 6 页评论约 ¥700;先按互动量筛到 100 条,成本降到 ¥140 左右, 而你要的情感分析样本量通常完全够用(看完整代码与分步成本)。
常见问题
因为上游平台只暴露到这个深度。这不是接口缺陷,换任何第三方接口结果都一样。要更早的数据只能自建库长期增量。
不算。空结果不计费,也不会报错。但你要区分「真的没数据」和「被风控降级」—— 后者通常伴随提示字段异常,建议把返回原文留档,便于回溯。
不能。限流 1 次/秒/IP,游标翻页本身也是串行依赖:第 N+1 页需要第 N 页的游标。