crawly.diffbot.com 暂未发现付费内容

Crawly 是 Diffbot 提供的网页爬虫工具，核心卖点是“不用自己写爬虫脚本”——你只需要输入一个网站地址，它就会爬取整站并自动抽取结构化数据，最后可以下载成 CSV 或 JSON。它适合想快速把某个网站内容变成可分析数据的场景，比如批量收集文章标题、正文、作者、发布时间等。前提是你已经拿到目标网站的 URL，并且该网站允许被抓取。

操作步骤

1. 打开工具并输入网址

访问 crawly.diffbot.com，在页面的输入框中填写目标网站的 Website Url（网站地址），同时页面还提供 Email Address 输入项。

2. 触发爬取

点击 Crawl My Website 按钮。Crawly 会开始爬取整站，并自动对每个页面做结构化抽取，不需要你配置选择器或写解析规则。

3. 等待处理完成

爬取和抽取需要一定时间，具体取决于网站规模。处理完成后，页面会展示提取到的结构化结果。

4. 查看并下载数据

确认结果无误后，选择下载格式：

• CSV：适合用 Excel、表格工具或数据分析脚本处理
• JSON：适合程序读取、入库或做进一步开发

Crawly 会自动提取哪些字段

根据官方页面说明，Crawly 针对文章类页面会自动抽取以下字段：

这些字段覆盖了内容采集最常用的信息，省去了逐页手动复制或写解析逻辑的工作。

常见卡点

• 只输入了首页：Crawly 会从你给的地址出发爬取整站，如果只想抓某个栏目，需要确认入口 URL 的范围是否符合预期。
• 动态渲染页面：如果目标内容依赖大量前端脚本生成，抽取结果可能不完整，建议先用少量页面验证。
• 下载格式选择：需要人工查看选 CSV，需要程序处理选 JSON，两者字段一致，只是结构不同。
• 抓取合规：使用前确认目标网站的 robots.txt 和使用条款，避免抓取受限制或敏感内容。

Crawly 的定位是“把网站变成数据”，整个流程就是输入网址、点击爬取、等待结果、下载文件四步，适合需要快速获取整站结构化内容又不想维护爬虫代码的用户。

Crawly 是 Diffbot 推出的网页爬虫工具，核心用途是把网站内容自动抓取并转换成结构化数据，官方口号是“Never Write Another Web Scraper”（再也不用写爬虫脚本）。你只需要输入一个网址，它就会爬取整站并自动提取文章信息，结果可下载为 CSV 或 JSON。它适合需要批量获取网站文章数据、但不想自己写和维护爬虫的人。

它能提取哪些数据

根据网站首页说明，输入网址后，Crawly 会自动提取文章的以下字段：

这些字段覆盖了一篇文章从内容到元信息的主要维度，省去了自己写解析规则的工作。

怎么用

流程很简单，不需要编程：

1. 打开 crawly.diffbot.com。
2. 在输入框填入目标网站地址。
3. 提交后，Crawly 会爬取该网站并自动提取上述结构化数据。
4. 完成后把结果下载为 CSV 或 JSON。

页面上还提供了邮箱地址字段，以及“Crawl My Website”按钮，用于提交抓取任务。

适合谁用

• 需要把整站文章转成表格或 JSON 做分析的人。
• 不想为每个网站单独写爬虫和解析逻辑的开发者或数据人员。
• 需要批量获取标题、正文、作者、发布时间等字段的内容整理场景。

需要注意的点

• 它面向的是“整站文章级”的结构化提取，字段以文章维度为主，不是任意自定义字段的通用抓取器。
• 结果格式为 CSV 或 JSON，适合直接进入后续数据处理流程。
• 网站资料未提及价格、免费额度或登录要求，使用前建议在站内确认当前政策。

Crawly 是 Diffbot 推出的网页爬虫产品，页面明确标注为 "Crawler By Diffbot"，版权信息为 "© 2024 Diffbot Web Crawler by Diffbot"。它的定位是替代手写爬虫：输入一个网站地址，Crawly 会自动爬取整站并提取结构化数据，无需自己编写抓取代码。使用前需要准备两样东西——目标网站 URL 和一个联系邮箱。

Crawly 与 Diffbot 的关系

从页面信息可以直接确认三点：

• 产品名称旁标注 "Crawler By Diffbot"，说明 Crawly 是 Diffbot 旗下的爬虫工具，而非独立第三方产品。
• 页脚版权为 "© 2024 Diffbot Web Crawler by Diffbot"，运营主体是 Diffbot。
• 联系入口为页面上的 Contact，涉及抓取范围、频率、合规限制等问题时，应通过该渠道向 Diffbot 确认。

因此，Crawly 可以理解为 Diffbot 面向"整站抓取 + 自动结构化"场景提供的一个入口，而不是需要单独安装的软件。

使用 Crawly 需要提供哪些信息

页面上的输入项只有两个：

填写后点击 "Crawl My Website" 提交。页面没有说明是否需要注册账号或登录，也没有公开价格信息，因此不能默认它免费或无需登录——这些条件需要以实际提交后的提示或 Contact 渠道的回复为准。

Crawly 会自动提取哪些字段

根据页面说明，Crawly 会爬取并自动提取文章级别的结构化数据，字段包括：

• Title（标题）
• Text（正文文本）
• HTML（原始 HTML）
• Comments（评论）
• Date（日期）
• Entity Tags（实体标签）
• Author（作者）
• AuthorUrl（作者链接）
• Images（图片）
• Videos（视频）
• Publisher Country（发布方国家）
• Publisher Name（发布方名称）
• Language（语言）

提取结果可以下载为 CSV 或 JSON，便于直接导入表格、数据库或后续程序处理。

适合什么场景，注意什么

Crawly 适合需要把整站文章内容批量转成结构化数据的任务，例如内容归档、语料收集、竞品内容分析。它的卖点是"Never Write Another Web Scraper"，即省去自己写解析规则的工作。

需要注意的边界：

• 页面只描述了文章类字段的提取，未说明对非文章页面（如商品页、列表页）的支持程度。
• 抓取频率、并发限制、是否遵守目标站 robots 规则等，页面均未提及，属于需要向 Diffbot 确认的事项。
• 提交邮箱后数据的存储与使用方式，页面没有说明，涉及敏感站点时应先通过 Contact 问清。

如果你的目标是快速拿到某个网站的文章标题、正文、作者、发布时间等字段并导出 CSV/JSON，Crawly 的流程就是"填 URL + 填邮箱 + 提交"；如果涉及抓取规模、合规或费用问题，先联系 Diffbot 确认再动手。

Crawly（crawly.diffbot.com）是 Diffbot 推出的网页爬虫工具，核心卖点是“不用自己写爬虫”——输入一个网址，它会自动爬取并抽取整站的结构化数据。它能提取的字段覆盖文章内容、作者信息、媒体资源和发布信息几大类，最终可下载为 CSV 或 JSON。如果你需要的是文章级结构化数据（而不是原始 HTML 全文），它基本能满足；但如果你要抓的是登录后内容、复杂交互页面或非文章型页面，就需要先确认它是否适用。

提取字段清单

根据页面说明，Crawly 会自动抽取以下字段：

这些字段适合什么用途

• 内容聚合与入库：Title、Text、HTML、Date 组合起来可以直接构建文章库，Text 适合做检索和 NLP 处理，HTML 适合保留原始排版。
• 作者与来源分析：Author、AuthorUrl、Publisher、Publisher Name、Country 可用于统计稿源分布、作者产出。
• 实体抽取：Entity Tags 省去了自己跑命名实体识别的步骤，适合做知识图谱或话题关联。
• 多媒体盘点：Images、Videos 便于建立素材索引。
• 多语言场景：Language 字段可用于按语种分流。

输出与使用方式

页面提供两种下载格式：CSV 和 JSON。CSV 适合直接导入表格或数据库，JSON 适合程序化处理嵌套结构（例如一条记录里包含多张图片、多个实体标签）。使用流程是：输入网站地址（页面同时提供 Website Url 和 Email Address 输入项），点击 “Crawl My Website” 后由系统爬取并抽取。

判断是否满足你的需求

适合的情况：

• 目标是文章型页面，需要标题、正文、作者、发布时间等标准字段。
• 希望跳过写解析规则，直接拿到结构化结果。
• 需要整站批量抓取，而不是单页。

需要先确认的情况：

• 目标页面不是文章（如商品页、列表页、表单页），字段覆盖可能不匹配。
• 需要登录才能访问的内容，页面未说明支持。
• 对抓取频率、页数上限、费用有要求——页面未列出价格或额度信息，需另行确认。

如果你的数据需求正好落在上表字段范围内，Crawly 的抽取结果可以直接进入后续分析或入库流程；如果需求超出这些字段，建议先小范围测试目标站点，再决定是否采用。