安装教程
1、从本站下载数据包并解压，运行安装程序，点击install。
2、Screaming Frog 16中文破解版软件正在安装，请耐心等待
3、 运行软件，点击accept
4、点击IGNORE
5、运行注册机生成注册码，然后使用注册码进行激活即可。
软件功能
1、查找损坏的链接立即抓取网站并找到损坏的链接 (404) 和服务器错误。批量导出错误和源 URL 以修复或发送给开发人员。
2、审计重定向
查找临时和永久重定向，识别重定向链和循环，或上传要在站点迁移中审核的 URL 列表。
3、分析页面标题和元数据
在抓取过程中分析页面标题和元描述，并找出网站中过长、过短、缺失或重复的页面标题和元描述。
4、发现重复内容
使用 md5 算法检查发现完全重复的 URL、部分重复的元素（如页面标题、描述或标题），并查找低内容页面。
5、使用 XPath 提取数据
使用 CSS Path、XPath 或正则表达式从网页的 HTML 中收集任何数据。这可能包括社交元标记、附加标题、价格、SKU 或更多！
6、查看机器人和指令
查看被 robots.txt、元机器人或 X-Robots-Tag 指令（例如“noindex”或“nofollow”）以及规范和 rel="next" 和 rel="prev" 阻止的 URL。
7、生成 XML 站点地图
使用 Screaming Frog，您可以快速创建 XML 站点地图和图像 XML 站点地图，并通过 URL 的高级配置来包括上次修改、优先级和更改频率。
8、与谷歌分析集成
连接到 Google Analytics API 并获取用户数据，例如会话或跳出率以及转化、目标、交易和针对抓取的着陆页的收入。
9、抓取 JavaScript 网站
使用集成的 Chromium WRS 呈现网页以抓取动态的、富含 JavaScript 的网站和框架，例如 Angular、React 和 Vue.js。
10、可视化站点架构
使用交互式爬网和目录力导向图以及树形图站点可视化来评估内部链接和 URL 结构。
软件特征
1、错误 – 客户端错误，例如断开的链接和服务器错误（无响应、4XX、5XX）。2、重定向 – 永久、临时重定向（3XX 响应）和 JS 重定向。
3、阻止的 URL – 查看和审核 robots.txt 协议不允许的 URL。
4、被阻止的资源 - 在渲染模式下查看和审核被阻止的资源。
5、外部链接 - 所有外部链接及其状态代码。
6、协议 – URL 是安全 (HTTPS) 还是不安全 (HTTP)。
7、URI 问题 – 非 ASCII 字符、下划线、大写字符、参数或长 URL。
8、重复页面 – 哈希值/MD5checksums 算法检查完全重复的页面。
9、页面标题 - 缺失、重复、超过 65 个字符、短、像素宽度截断、与 h1 相同或多个。
10、元描述 – 缺失、重复、超过 156 个字符、短、像素宽度截断或多个。
11、元关键字 - 主要供参考，因为它们不被 Google、Bing 或 Yahoo 使用。
12、文件大小 - URL 和图像的大小。
13、响应时间。
14、最后修改的标题。
15、页面（爬行）深度。
16、字数。
17、H1 – 缺失、重复、超过 70 个字符、多个。
18、H2 – 缺失、重复、超过 70 个字符、多个。
19、Meta Robots – Index、noindex、follow、nofollow、noarchive、nosnippet、noodp、noydir 等。
20、元刷新——包括目标页面和时间延迟。
21、规范链接元素和规范 HTTP 标头。
22、X-Robots-Tag。
23、分页 – rel="next" 和 rel="prev"。
24、Follow & Nofollow – 在页面和链接级别（真/假）。
25、重定向链 - 发现重定向链和循环。
26、hreflang 属性——审核缺失的确认链接、不一致和不正确的语言代码、非规范的 hreflang 等。
27、AJAX – 选择遵守 Google 现在已弃用的 AJAX 爬网方案。
28、渲染 – 通过在 JavaScript 执行后抓取呈现的 HTML 来抓取 AngularJS 和 React 等 JavaScript 框架。
29、Inlinks – 链接到 URI 的所有页面。
30、Outlinks – URI 链接到的所有页面。
31、锚文本 - 所有链接文本。带有链接的图像中的替代文本。
32、图像 – 带有图像链接的所有 URI 和来自给定页面的所有图像。图片超过 100kb，缺少替代文字，替代文字超过 100 个字符。
33、User-Agent Switcher – 以 Googlebot、Bingbot、Yahoo! Slurp、移动用户代理或您自己的自定义 UA。
34、自定义 HTTP 标头 - 在请求中提供任何标头值，从 Accept-Language 到 cookie。
35、自定义源代码搜索 - 在网站的源代码中查找您想要的任何内容！无论是 Google Analytics 代码、特定文本还是代码等。
36、自定义提取 – 使用 XPath、CSS 路径选择器或正则表达式从 URL 的 HTML 中抓取任何数据。
37、Google Analytics 集成 – 连接到 Google Analytics API 并在抓取过程中直接提取用户和转化数据。
38、Google Search Console 集成 – 连接到 Google Search Analytics API 并根据 URL 收集展示次数、点击次数和平均排名数据。
39、外部链接指标——将来自 Majestic、Ahrefs 和 Moz API 的外部链接指标提取到爬网中，以执行内容审核或配置文件链接。
40、XML 站点地图生成 – 使用 SEO 蜘蛛创建 XML 站点地图和图像站点地图。
41、自定义 robots.txt – 使用新的自定义 robots.txt 下载、编辑和测试站点的 robots.txt。
42、渲染的屏幕截图 – 获取、查看和分析抓取的渲染页面。
43、存储和查看 HTML 和渲染的 HTML – 分析 DOM 必不可少。
44、AMP Crawling & Validation – 使用官方集成的 AMP Validator 抓取 AMP URL 并对其进行验证。
45、XML 站点地图分析 – 独立或部分抓取 XML 站点地图，以查找丢失的、不可索引的和孤立的页面。
46、可视化 - 使用爬网和目录树强制导向图和树图分析网站的内部链接和 URL 结构。
47、结构化数据和验证 – 根据 Schema.org 规范和 Google 搜索功能提取和验证结构化数据。
Screaming Frog 16使用帮助
一、爬行1、抓取一个网站（子域）
在常规爬网模式下，将抓取您输入的子域，并将其遇到的所有其他子域默认为外部链接（这些子域显示在“外部”选项卡下）。
例如，通过在顶部的“输入蜘蛛网址”框中输入并单击“开始”，尖叫青蛙 www。子域名将被抓取。
在软件的许可版本中，您可以调整配置以选择爬网网站的所有子域（如果有多个）。如果您从根开始抓取，默认会抓取所有子域。
最常见的用途之一是在网站上发现错误，例如链接断开，重定向和服务器错误。请阅读我们的指南，了解如何查找损坏的链接，解释如何查看404s等错误来源，并将源数据批量导出到电子表格中。
为了更好地控制您的抓取，请通过抓取子文件夹来使用您网站的网址结构，配置选项，例如仅抓取HTML（图片，CSS，JS等），排除功能，自定义robots.txt，包含功能或者更改的模式并上传要爬网的URL列表。
2、抓取一个子文件夹
默认情况下，工具从子文件夹路径向前爬行。只需输入完整的子文件夹URL即可对其进行抓取。
例如，如果它是博客，可能是。通过直接将其输入，它将抓取/ blog /子文件夹中包含的所有URL。
默认情况下，您可能会注意到某些不在/ blog /子文件夹中的URL也会被抓取。这将是由于“ 检查开始文件夹之外的链接 ”配置。
这种配置允许将它的抓取集中在/ blog /目录中，但是当它们从内部链接时，仍然抓取不在此目录中的链接。但是，它不会再向前爬行。这很有用，因为您可能希望找到位于/ blog /子文件夹中但在URL结构中没有/ blog /的断开链接。要仅使用/ blog /抓取网址，只需取消勾选此配置即可。
如果子文件夹的末尾没有尾部斜杠，例如'/ blog'而不是'/ blog /'，则不会将其识别为子文件夹并在其中进行爬网。如果子文件夹的尾部斜杠版本重定向到非尾部斜杠版本，则同样适用。
要抓取此子文件夹，您需要使用include功能并输入该子文件夹的正则表达式（在此示例中为。* blog。*）。
如果您有一个更复杂的设置，如子域和子文件夹，您可以指定两者。例如到Spider the .de子域和UK子文件夹等。
3、抓取网址列表
通过输入网址并点击“开始”来抓取网站，您可以切换到列表模式，然后粘贴或上传特定网址列表进行抓取。
例如，在审核URL和重定向时，这对于站点迁移特别有用。我们建议您阅读我们的“ 如何审核网站迁移中的重定向 ”指南，以获得最佳方法。
如果您希望以列表模式导出数据的顺序与上传的数据相同，则使用“导出”按钮，该按钮出现在用户界面顶部的“上传”和“开始”按钮旁边。
导出中的数据将采用相同的顺序，并包含原始上传中的所有确切URL，包括重复或执行的任何修复
4、爬行更大的网站
如果您希望执行特别大的爬网，我们建议首先增加的RAM内存分配。
如果您收到“此内存已用完此爬网”警告，则需要保存爬网，增加RAM分配并考虑切换到数据库存储模式以保存到磁盘，打开爬网并恢复爬网。
可以抓取的URL数量减少到计算机上可用的内存量以及是否已分配，以及是否在默认内存存储或数据库存储模式下进行爬网。
5、数据库存储模式
对于非常大的爬网，请阅读我们关于如何抓取大型网站的指南，其中提供了可用选项的概述。
您可能希望考虑将爬网拆分为较小的部分，并使用配置来控制爬网。一些选项包括 -
如上所述，通过子域或子文件夹进行爬网。
使用包含功能缩小爬网范围，或使用排除或自定义robots.txt功能排除不需要抓取的区域 。
考虑通过爬网的总URL，查询字符串参数的深度和数量来限制爬网。
通过在的配置中取消图像，CSS，JavaScript，SWF和外部链接，只考虑抓取内部HTML 。
这些都应该有助于节省内存并将爬行集中在您需要的重要区域。有关如何抓取大型网站的详细信息，请参阅我们的更多深入指南。
二、保存和上传抓取
在Screaming Frog 16中文破解版的许可版本中，您可以保存爬网并将其打开回。这些文件保存为特定于的.seospider文件类型。
您可以通过停止并选择“文件>保存”来中途保存爬网。
要打开爬网，只需双击相关的.seospider filder，选择“文件>打开”或在“文件>打开最近”下选择一个最近的爬网。然后，如果在中途保存，您可以恢复抓取。
请注意，保存和打开抓取可能需要几分钟或更长时间，具体取决于抓取的大小和数据量。
三、组态
在该工具的许可版本中，您可以保存默认爬网配置，并保存配置文件，可在需要时加载。
要将当前配置保存为默认值，请选择“文件>配置>将当前配置保存为默认值”。
要保存配置文件以便以后加载，请单击“文件”>“另存为”并调整文件名（理想情况下为描述性内容！）。
要加载配置文件，请单击“文件”>“加载”并选择配置文件，或选择“文件>加载最近”以从最近的列表中进行选择。
要重置回原始的默认配置，请选择“文件>配置>清除默认配置”。
四、调度
您可以安排抓取在自动运行，作为一次性或选定的间隔。此功能可在应用程序中的“文件>计划”下找到。
您可以预先选择模式（蜘蛛或列表），保存的配置以及API（Google Analytics，Search Console，Majestic，Ahrefs，Moz）来提取计划抓取的所有数据。
您还可以自动保存爬网文件，并将任何选项卡，批量导出，报告或XML站点地图导出到选定位置。
为预定的爬网启动了一个新的实例。因此，如果爬网重叠，则多个实例将同时运行，而不是在上一次爬网完成之前有延迟。因此，我们建议您适当考虑系统资源和爬网时间。
请注意 - 当计划导出数据时，将以无头模式运行（意味着没有接口）。这是为了避免任何用户交互或从您面前开始的应用程序和单击选项，这有点奇怪。
此调度在用户界面内，如果您更喜欢使用命令行来操作，请参阅我们的命令行界面指南。
