Screaming Frog SEO Spider v19.8 SEO网站爬虫工具

Screaming Frog SEO Spider是一款领先的网站爬虫工具，被全球数千名SEO专家和机构用于进行技术性SEO网站审计。作为一个网站爬虫，它的功能强大且灵活，能够高效地爬取大小不一的网站，并允许您实时分析结果。它收集关键的站内数据，让SEO专家可以做出明晰的决策。

Screaming Frog SEO Spider的吸引力在于其丰富的功能，包括找到坏链路与服务器错误，审计重定向，分析页面标题和元数据，发现重复内容，以XPath提取数据，审核机器人和命令等。同时，它可以迅速制作XML网站地图，为GA、GSC和PSI集成，爬取JavaScript网站，可视化站点架构，安排审计等，更可以渲染网页以爬取动态、丰富的JavaScript网站和框架，如Angular、React和Vue.js。

Screaming Frog SEO Spider还提供了高级配置，使您能够保存爬取结果，并访问其他强大功能。例如，你可以连接到Google Analytics、Search Console和PageSpeed Insights的API，直接在爬取过程中获取用户和性能数据，从而获得更大的洞察。用一句话概括，「爬取500个URL是免费的，为了让用户获得全面的访问权限和高级功能，用户可以选择购买许可证」。全球最大的品牌和机构使用这款软件，而且，经过高度训练的工程师和IT专家团队随时待命，为您解决问题。

查找断开的链接
立即抓取网站并查找断开的链接 （404） 和服务器错误。批量导出要修复的错误和源 URL，或发送给开发人员。

审核重定向
查找临时和永久重定向，识别重定向链和循环，或上传要在站点迁移中审核的 URL 列表。

分析页面标题和元数据
在抓取过程中分析网页标题和元描述，并找出网站中过长、过短、缺失或重复的页面标题和元描述。

发现重复内容
通过 md5 算法检查发现完全重复的 URL、部分重复的元素（如页面标题、描述或标题），并查找低内容页面。

使用 XPath 提取数据
使用 CSS 路径、XPath 或正则表达式从网页的 HTML 中收集任何数据。这可能包括社交元标签、附加标题、价格、SKU 等！

查看机器人和指令
查看被 robots.txt、元机器人或 X-Robots-Tag 指令（如“noindex”或“nofollow”）阻止的 URL，以及 canonicals 和 rel=“next” 和 rel=“prev”。

生成 XML 站点地图
快速创建 XML 站点地图和图像 XML 站点地图，并通过 URL 进行高级配置，以包括上次修改、优先级和更改频率。

与 GA、GSC 和 PSI 集成
连接到 Google Analytics、Search Console 和 PageSpeed Insights API，并获取抓取中所有网址的用户和效果数据，以获得更深入的见解。

抓取 JavaScript 网站
使用集成的 Chromium WRS 渲染网页，以抓取动态的、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。

可视化网站架构
使用交互式爬网和目录强制导向图以及树形图网站可视化来评估内部链接和 URL 结构。

计划审核
计划按选定的时间间隔运行抓取数据，并自动将抓取数据导出到任何位置，包括 Google 表格。或者完全通过命令行实现自动化。

比较爬网和暂存
跟踪 SEO 问题和机会的进度，并查看抓取之间的变化。使用高级 URL 映射将暂存与生产环境进行比较。