TL;DR
- CrewAI 可以使用自定义工具读取允许的 URL 并返回带有源标记的 Markdown 给代理。
- Nstdata Crawl 提供页面内容；CrewAI 决定何时调用工具以及如何使用其结果。
- 验证 URL，限制工具输出，并将网页文本视为不受信证据，而非代理指令。
- 下面的示例是一个自定义集成，而非声称的原生 CrewAI 连接器。
- 在线运行需要 CrewAI 运行时、Nstdata 令牌和配置好的模型提供者。
为什么 CrewAI 代理需要网页内容
对于一个实用的收集层，查看 Nstdata Crawl 以及下面的工作流程。
一个询问当前产品文档的代理需要一个可观察的来源，而不仅仅是模型存储的知识。一个有用的网页阅读工具返回页面的主要文本、实际请求的 URL 以及明确信息失败消息。它不应该默默地将空页面或登录提示变为研究发现。有关更广泛的代理模式，请参见 多代理 CrewAI 指南 和 URL 到 Markdown 工作流程。
从一个小的公共页面允许列表开始。一个公司研究任务可能涵盖其“关于”、“产品”和“文档”页面。代理的工作是总结这些来源并说明不确定性。它不应该推断私有数据或将网页的嵌入指令视为更高优先级的命令。
CrewAI 如何使用网页阅读工具
一个 CrewAI 中的代理 可以配置工具。代理在执行任务时选择工具。该工具是普通的应用代码，调用外部数据服务并返回文本。CrewAI 的 自定义工具指南 记录了 @tool 模式，而其 工具概念 描述了工具的输入和输出。连接关系是：
Task -> CrewAI Agent -> custom read_public_page tool -> Nstdata Crawl -> Markdown + source URL Agent -> cited research answer
