AI能干爬虫干的事吗？也就是搜集数据？

来源：编辑：时间：2025-06-28 02:40:10

刚安装好 Gemini CLI，测试用 AI Agent 来写个爬虫试试。

我本来想写复杂一点，比如告诉 AI 列表页的 URL 构造，告诉 AI HTML 页面里的 DOM 构造，告诉 AI 我都需要哪些数据等等。

后来想，既然都智能体了，干脆让 AI 自主到底，所以用了最简单的 Prompt：爬取完整的知识库 [链接]，将结果保存在一个 txt 文档里。

AI 的第一步：访问链接，获取 HTML（由于不那么信任 AI，所以我选的单次同意执行）：第二步：安装需要的库（其实…。

{dede:pagebreak/}