TL;DR
- 网络爬虫支持在线研究，当项目需要从允许的公共网页中获取可重复的数据集时，而不是从少量来源手动复制。
- 在抓取之前，定义研究问题、来源列表、字段架构、采集窗口和停止条件；数据管道应保存源网址和检索时间。
- 将获取与分析分开：爬虫可以检索并规范化页面内容，但研究人员仍需验证主张、处理缺失数据，并评估来源偏见。
- 在可用时使用官方API和开放数据集，并在收集之前审查条款、爬虫指令、许可、隐私和研究伦理。
- Nstdata Crawl是一个用于LLM就绪数据的网络爬虫API，可以发现和呈现受限的公共网页，并返回Markdown、HTML、JSON、链接、截图或PDF；研究人员仍需决定哪些证据是可靠的。
网络爬虫如何支持在线研究？
网络爬虫可以通过将定义的允许网页集转化为一致的数据集来支持在线研究，研究人员可以检查、比较和重访这些数据集。当研究需要大量记录或重复观察时，网络爬虫尤为有用，这在手动复制时容易出错。相同的收集机制出现在自动数据收集中，但研究项目还必须记录其采样和伦理决策。
对于源检索和受限网站发现，Nstdata Crawl提供了一个用于LLM就绪数据的网络爬虫API；研究人员仍然负责采样、验证和解释。
研究用途包括跟踪公共政策更新、比较产品描述、收集公共职位列表、监测新闻稿，或分析一组组织如何描述公共问题。仅靠爬虫并不使数据集具代表性。便捷的来源可能会遗漏整个社区、网站、语言或历史页面。
威斯康星大学—麦迪逊研究数据简介将网络爬虫与归档区分开，并指出涉及人或在线社区的研究可能需要伦理审查。在收集关于人的论坛或社交数据之前，请与您的机构确认审查流程。
在收集研究数据之前应定义什么？
在发送自动请求之前，定义问题、分析单位、人口、来源、字段、时间窗口和保留计划。这些选择决定了页面记录是否相关、可比并适合保留。
写一个简短的协议，包括：
- 研究问题： 一个问题，解释数据所支持的决策或分析。
- 分析单位： 页面、文章、公共职位列表、产品或组织记录。
- 来源纳入规则： 合格的域名、页面类型、语言和日期。
- 排除规则： 个人档案、仅登录材料、不相关的页面类型或没有批准访问途径的来源。
- 字段架构： 必需值、可选值、特定来源字段和可接受的空值。
- 收集窗口： 由研究问题证明的时间段和刷新频率。
- 停止条件： 访问拒绝、速率限制、意外敏感数据、架构漂移或缺乏许可。
- 数据处理： 访问控制、保留、编辑，以及删除或归档责任。
检查该网站是否发布API、可下载的数据集、RSS源、网站地图或允许的导出。审查其访问说明和条款。爬虫排除协议，RFC 9309解释了robots.txt指令的工作原理；这些指令不能替代许可、授权、隐私或法律审查。对于互联网中介的研究，请参考互联网研究者协会伦理指导及您所在机构的审查流程；公共可见性并不能解决所有伦理问题。
网络研究收集管道如何工作？
研究收集管道从源选择到发现、检索、提取、验证和证据保留存储。每个阶段应保持足够的上下文，以解释记录的来源以及它是如何被转化的。
使用记录封装，分隔源证据和派生解释：
