Finewisdom API Hub
首页 › 技术笔记 › 翻页深度 增量落库

社媒数据的翻页深度天花板,以及正确的增量落库姿势

2026-11-19 · Finewisdom 技术笔记

先说结论:任何第三方接口都拿不到超出平台可见范围的历史数据。你翻到第 N 页拿不到更多,不是接口的问题,是上游不给了。能做的只有三件事——把平台当前给的东西及时、去重、可续地存下来。

一、四种翻页参数,混用就是白花钱

同一个「翻页」动作,在社媒平台上至少有四种实现,接口文档里长得不像,行为差很远:

形态典型参数行为常见踩法
页码page服务端按偏移切页,第 1 页和第 50 页成本一样当成游标用,跳过中间页(中间页照样计费)
游标cursor / start / max_id / min_id必须拿上一页返回的游标才能取下一页传页码进去,返回的还是第一页
服务端偏移offset有的要求首页必须传 0,之后用返回的 next_offset自己算 offset += 20,结果错位
令牌buffer / page_token / continuation_token一次性令牌,下一跳完全依赖它把它当静态参数缓存下来复用,第二页就废了

"四者混用"是接入期最常见的 bug。判断方法很简单:调第一页,看返回里有没有一个像游标/令牌的字段。 有,就必须用游标的方式翻;没有,才考虑 page。

# 判断翻页形态,而不是猜
d = call("xhs_note_comments", note_id=nid)
print(sorted(d.keys()))        # 找 _next_offset / cursor / max_id 这类字段
print(d.get("_next_offset"))   # 有值 → 游标翻页;None → 可能只有单页

二、天花板在哪:三种"翻不动"的原因

  1. 上游截断:平台自己只对前 N 页返回结果,第 N+1 页直接空。抖音、小红书的评论区普遍是这个形态。
  2. 风控降级:请求被判定异常后,上游不再返回新数据,但 HTTP 仍是 200、结构仍然合法 —— 只是列表空了。
  3. 去重后的空页:平台对同一账号的重复翻页会去重,你可能拿到"结构正确但全是你见过的项"的页。

这三种现象在客户端看起来一模一样:空列表。所以"空列表 = 该翻完了"这个判断是错的, 正确做法是给每一轮翻页设页数上限和连续空页阈值,两个都到头就停,而不是无限重试。

三、去重比翻页更重要

按内容 ID 建唯一索引,落库用 UPSERT,而不是 append。互动数会变(点赞涨了), 所以"重复数据"的正确处理是更新计数、保留首次见到的快照时间:

-- 每次采集都写一行快照,主键把时间维度带上
INSERT INTO comment_snapshot
  (platform, comment_id, content_id, like_count, collected_at)
VALUES (%s, %s, %s, %s, NOW())
ON DUPLICATE KEY UPDATE like_count = VALUES(like_count);

只存最新值会丢掉"这条评论三天涨了多少赞"这类信号,而这类信号恰恰是做情感分析和爆款判断时最有用的。

四、日报和深度任务必须分开

这是我踩过的最贵的坑:把"每天巡检一遍"和"把一个账号的历史全拉下来"写进同一个 job, 结果日报越跑越慢,最后超时崩掉,连带把增量水位弄乱。

任务目标每次调用量频率
日报/巡检发现"有没有新的"每源 1 页每天 1~N 次
深度任务把某个目标拉全按目标页数上限按需触发

日报只回答"变了没有",成本可以压到每天几毛钱 —— 品牌舆情日报 6 个平台 + 4 个榜单只要 ¥1.4/天 (完整方案与代码)。深度任务按需触发,失败可重跑,互不影响。

五、断点续采:别让 2 小时的采集死在最后一页

每个任务落一张进度表,记 (target, cursor, page_index, status)。重跑时从最后一条成功的游标继续, 而不是从头再来。因为翻页也计费,从头再来等于把钱重花一遍。

state = load_progress(target_id)          # {"cursor": "...", "page": 7, "status": "running"}
rows = crawl(target_id, start_cursor=state.get("cursor"), start_page=state.get("page", 0),
             max_pages=state.get("page", 0) + 30)
save_progress(target_id, cursor=rows.last_cursor, page=state.get("page", 0) + 30)

六、成本上,先筛后拉

评论类接口按页计费,一页 20 条左右。所以"先把 500 条内容的评论全拉下来再筛"和"先用详情筛出 80 条再拉评论", 成本差 5 倍以上。用详情接口的互动量做粗筛,是最便宜的一刀。

具体到数字:500 条视频各拉 6 页评论约 ¥700;先按互动量筛到 100 条,成本降到 ¥140 左右, 而你要的情感分析样本量通常完全够用(看完整代码与分步成本)。

常见问题

为什么我翻到第 30 页就返回空了?

因为上游平台只暴露到这个深度。这不是接口缺陷,换任何第三方接口结果都一样。要更早的数据只能自建库长期增量。

空列表要算失败吗?

不算。空结果不计费,也不会报错。但你要区分「真的没数据」和「被风控降级」—— 后者通常伴随提示字段异常,建议把返回原文留档,便于回溯。

翻页能并发吗?

不能。限流 1 次/秒/IP,游标翻页本身也是串行依赖:第 N+1 页需要第 N 页的游标。

相关场景

品牌舆情监测品牌舆情日报 · 完整代码与分步成本抖音评论情感分析抖音评论采集做情感分析 · 完整代码与分步成本小红书笔记监测小红书笔记监测 · 完整代码与分步成本

文中提到的接口

douyin_video_comments参数、单价与返回结构xhs_note_comments参数、单价与返回结构weibo_post_comments参数、单价与返回结构yt_post_comments参数、单价与返回结构