MCP + Nstdata 爬虫：为 Claude 构建一个网络搜索 MCP 服务器

TL;DR

• 网络搜索MCP服务器需要两个工具，而不是一个。 一种返回候选URL的搜索/发现工具，以及一种返回供LLM实际阅读的干净页面内容的抓取工具；大多数单一工具示例跳过了后半部分。
• Nstdata Crawl适合这一模式的抓取部分。 它渲染JavaScript密集的页面，并通过Nstdata的代理网络路由请求，解决了普通HTTP请求在搜索结果页面面临的机器人检测和地理不一致问题。
• 构建服务器需要两个Python包和约50行代码。 本文版本是在撰写过程中安装、导入并针对真实的模型上下文协议（MCP）SDK运行的，包括测试客户端与服务器之间的实时标准输入输出握手。
• Nstdata Crawl返回的是作为存储引用的Markdown，而不是内联文本。 工作集成必须通过第二次调用解决该引用，才能让LLM读取内容——这一细节在大多数快速入门示例中被跳过。
• 同一服务器通过相同的标准输入输出传输与Claude Desktop和Claude Code注册， 使用claude_desktop_config.json用于前者，使用claude mcp add用于后者。
• 每次搜索调用计费为一次Nstdata Crawl的结果页面抓取， 与每次页面读取调用分开。一次用户提问触发搜索加上三次页面读取的费用是四次抓取，而不是一次。
• 这种模式并不替代专用搜索API的查询理解或排名。 它是一种为代理添加实时网络访问的方法，利用您完全控制的抓取基础设施，包括每个请求使用的代理池和渲染设置。

---

此集成功能

模型上下文协议（MCP）是一个开源标准，由Anthropic引入，现在广泛支持各种客户端和服务器，用于通过单一、一致的接口将AI应用程序连接到外部系统——数据源、工具和工作流程。单独的LLM无法搜索网络或打开URL；它只能处理其训练数据中的内容和您粘贴到对话中的任何文本。MCP服务器通过暴露可调用工具——具有名称、描述和类型架构的函数——来弥补这一空白，使主机应用程序如Claude Desktop或Claude Code能够列出、调用并将结果反馈回对话中。

如果您只想在五分钟内使用他人的基础设施使搜索工作，已经存在几个托管的、管理的网络搜索MCP服务器。构建自己的服务器以便利换取控制：您决定哪些页面进行JavaScript渲染，每个请求使用哪个代理池和地理目标，如何缓存结果，以及当目标站点阻止请求时如何处理。对于那些积极抵制普通HTTP抓取的网站，这种控制尤其重要，这包括现代网络的大多数内容以及搜索引擎结果页面本身——请参见Nstdata更广泛的网页抓取API比较，以了解Crawl的渲染和代理层与MCP环境以外的其他抓取后端的比较。

Nstdata Crawl是该构建用于填补这一空白的抓取层。它是一个面向AI的网络爬虫API：给它一个URL，它返回干净的Markdown、HTML、链接、截图或PDF输出，JavaScript渲染和Nstdata的代理网络负责底层传输。它专门为代理工具使用场景而构建——信息检索（RAG）摄取、监测，以及此服务器实现的搜索后阅读模式——而不是您自己组装和维护的抓取框架。对于MCP服务器而言，有三件事尤其重要：

• JavaScript渲染——搜索结果页面和许多现代网站在客户端渲染其内容，因此普通的HTTP GET返回的是一个空壳；Crawl首先在真正的浏览器中执行页面。
• 代理支持的请求——每次抓取都通过Nstdata的代理网络路由，而不是调用机器的IP，这确保服务器在进行几次搜索引擎请求后不会被阻止。
• 存储引用的大输出——Markdown、HTML和其他大型字段以引用令牌的形式返回，您需要单独解析，这使得即使页面内容较长，初始响应也保持较小。

`NstDataClient.submit_scrape_task_sync` 会阻塞直到抓取完成，这就是为什么这两个工具函数都是普通的 `def` 而不是 `async def` 的原因——FastMCP 支持任意一种格式。`Format.LINKS` 和 `Format.MARKDOWN` 指示 Nstdata Crawl 返回页面的哪种表示；仅请求每个工具所需的内容可以使响应更小，从而使存储引用解析步骤成本更低。