第三方采集的定位与适用边界

所谓 ChatGPT Scraper,是指借助第三方采集接口,把提问批量提交后取回结构化的回答文本、引用与链接清单。这条路线面向的是需要持续记录 AI 回答的团队,而非普通用户的日常问答。

在动手之前,先把概念边界划清楚,可以避免后续返工:

  • 它是什么:通过第三方采集接口批量提交问题,拿回结构化的回答文本、引用与链接清单。
  • 它不是什么:不是官方 API 的等价物,字段与结论不能按官方 API 的预期套用;回答环境、模型版本与消费端网页可能存在差异,两条路线的结果不可混用;它也不是个人聊天记录的导出工具。
  • 它适合谁:从事 AI 回答监测与情报工作的团队,例如做品牌可见度追踪、竞品情报的 SEO、GEO 与数据团队。

核心原则只有一条:采集的价值在于「可回查」。每条记录都必须能清楚回答三个问题——当时问了什么、拿到什么回答、引用了谁。这正是后续所有文件设计的出发点:截图只有画面没有字段,复制粘贴只有文本没有上下文;只有把记录做成文件,三个月后复查仍能对上号,团队换人也不会丢失口径。这也是「监测」与「随便问问」的本质区别。

开跑前的三项准备

正式执行前需要备齐三样东西,缺任何一样都不建议开工:

  1. 采集账号与密钥:本文以 ScrapingBee 的 ChatGPT 专用接口作演示,额度、地区与费用以你控制台当前页面为准,预算按此口径核算。
  2. Python 环境:3.10 或更高版本,并安装好 requests 库。
  3. 一条提示词:第一轮只问一条、不加地区变量,空结果时才便于排查定位。

提示词应写入独立文件,示例格式如下(仅作输入示例):

Set-Content -LiteralPath prompt.txt -Encoding utf8 -Value '推荐三类适合小型外贸团队的客户管理工具,说明选择标准。请给出实际使用的来源链接;没有来源则明确说明。'

需要注意:要求回答给出来源,不等于必然存在引用,更不等于每个链接都支持结论——核对工作留到第四步。提示词同样要版本化管理:改一个词就换一个版本号,不要覆盖旧文件,前后数据才能对得上号。

执行单次请求:密钥入环境、不重试

密钥只进入本次终端环境,不写进脚本、截图、共享文件或代码仓库:

$secret = Read-Host "输入 API key" -AsSecureString
$env:SCRAPINGBEE_API_KEY = [System.Net.NetworkCredential]::new('', $secret).Password

随后执行一次请求,脚本核心如下:

response = requests.get(
"https://app.scrapingbee.com/api/v1/chatgpt",
headers={"Authorization": f"Bearer {os.environ['SCRAPINGBEE_API_KEY']}"},
params={"prompt": prompt, "search": "true"},
timeout=(10, 120),
)

有三条纪律需要在脚本中一次写死、不再改动:

  • 脚本只发一次请求,不自动重试,更不做自动充值、重复调用、并发轰炸或循环重试。
  • timeout 是连接与读取的时间预算,不是整次任务的硬截止。
  • 连接断开后服务端可能已处理完毕,重试前应先到控制台查用量,避免同一条问题被重复提交。

请求结束后立刻把原始响应完整保存到 raw.json——之后对字段有疑问,回查的就是这份原文。若发生超时,则记入 failure.json,写清发生时间与已执行步骤。

结果检查:四份文件与人工核对

请求结束后,四份文件各司其职,缺少任何一份都算流程未走完,不能只留一个 answer:

  • request.json:记录提示词、模式、状态码与采集时间,不含密钥。
  • raw.json:完整原始响应,字段变化时回查原文。
  • answer.md:回答正文,检查是否完整、有无错误页。
  • link-candidates.csv:Markdown 链接候选,初始状态为「待核对」。

链接候选清单不等于已核实的引用:需要逐条把候选链接与回答论点对照,脚本不会替你访问来源,也不会替你判断真假,这一步只能人工完成。若回答正常但候选为 0,应核查实际格式与 search 参数,既不判为失败,也不凭空造来源。

核对结论分三档:链接真实支持论点、链接存在但只沾边、回答里根本没有支撑——只有第一档能进入引用统计与报告。口径要写进表头:品牌提及、推荐、来源引用分开计数,失败请求不算作「品牌未出现」。采集 ChatGPT 网页版回答的 chatgpt web scraper 类工具同理:拿到的原始记录永远比二次解析更可信。

扩展问题集、失败处理与出口边界

单条跑通之后再扩展问题集,需遵守三条规矩:

  • 每个问题独立存目录,记录 prompt_id、版本、模式、时间与核验状态。
  • 失败请求不计入「品牌未出现」统计。
  • 比较时间变化时固定条件、重复采样,一次回答的顺序变化不构成排名结论。

失败情况按下表处理,不要一律重试:

  • 401/403:核查密钥、账号资格与错误体;修正后单条通过即为成功。
  • 429:依据错误体与 Retry-After 判断是速率还是额度问题;等待后恢复,不靠更换 IP。
  • 超时断开:查用量与任务记录,保留 failure.json;确认处理结果后再重试。
  • 空 results:核查原始 JSON 与字段变更;拿到非空正常回答即为成功。
  • 无引用:核查 search 参数与回答原文;区分正常无引用与解析漏项。

云端托管采集由服务商访问 ChatGPT,本地加代理并不会改变云端采集的地区,因此这条主线不要求额外配置动态 IP。只有当你另外搭建了有授权的浏览器工作流、确有地区与会话需求时,才需要单独评估动态住宅 IP 这类出口。若需了解相关资源,可访问 https://www.ipxss.com/ 。

常见问题解答

  • ChatGPT 采集接口等于官方 API 吗? 不等于。提供方、运行环境与输出定义均不同,接口结果不能直接冒充消费端网页观察。
  • 脚本会自动重复调用扣费吗? 按本教程写法不会:单次请求、不自动重试、不自动充值。运行前仍要核对账号费用与额度。
  • 链接候选就是 ChatGPT 引用的来源吗? 不是。候选来自回答文本解析,必须人工对照原文核对。
  • 无引用的回答是不是采集失败了? 不一定。回答本身可能就没有引用,需区分「正常无引用」与「解析漏项」,核查 search 参数与原始 JSON。
  • 这条路线需要配代理吗? 托管接口由服务商访问 ChatGPT,本地代理不改变云端地区,不要求额外配置;另建工作流时再评估。

总结

ChatGPT Scraper 的正确姿势可以概括为「单次请求、原始留档、人工核对」:密钥只进环境变量,回答、原始 JSON 与链接候选分开存放,扩展问题集时固定口径、失败单独记录,长期趋势才真实可信,也才对得起投入。托管接口由服务商在云端访问 ChatGPT,本地代理不改变采集地区;若另建工作流确有地区需求,再评估 IPxSS 动态住宅 IP 这类出口,全程守住合规采集边界与频率纪律。