谈到网络抓取的文章有很多，大部分都着重考察公司如何使用它来增加营收，产出更好的服务。针对较小的企业也开发了一些用例，随着自动化数据收集变得更加便利，这些用例越来越流行。
网络抓取常常（只在一定程度上正确）被视为直接与营收相关。它可以提高运营效率，或者创造产品或服务。至于网络抓取可以如何创造工具来改善部门甚至员工的工作效率，却少有人谈及。
内部数据抓取的优势
内部数据（即，从自家网站收集的信息）似乎很容易访问而无需使用抓取。充其量只是提到过边缘案例，例如搜索404超链接或锚文本。即使在这种情况下，SEO 工具常常可以完成这类任务，因而不值得开发内部爬虫。
但是，内部抓取确实也有优势，就是不大可能触发通常与外部数据相关的任何问题。毕竟，这是自家的网站，无需担心侵权或无意中带来负面用户体验。此外，也无需设法绕过反机器人解决方案或不稳定的网站结构。
所以，这种数据收集不会有网络抓取通常存在的任何缺陷，减少了启动这类任务所需的开销。
用于内容管理的数据
创建内容是如今所有企业都必须做的事情。落地页和博客文章会驱动自然流量，尤其是在 SEO 的帮助下。如今，创建“良好内容”的呼声很高。虽然谁也无法精确形容如何才算良好的写作，但我们大部分人似乎都能看到内容之后明白好不好。不过，要做到这一点并不容易。写作是一种短暂技能，很难传承，因为很少有什么固定的法则。每个人凭经验都知道，语法和句法不足以写出好文章。
此外，文案撰稿人常常有千差万别的弱点。一些人可能词汇量不广，导致内容的说服力欠佳。另一些人可能会使用对读者无益的寄生词句。打造通用的培训计划比其他某些领域的专业知识困难得多。
然而，内部网络抓取可以揭示潜在的改进方面。有一些前提条件:
1. 文章、博客帖子、落地页应该分配给知名作者。这种数据必须恰当管理，确保作者总是与他们产出的内容匹配。
2. 必须有大量内容已经发布，才能生成足够大的数据集。一开始最起码要有十来篇文章。
3. 写作的主题和质量必须保持一致。
制定改进计划
我们需要上述前提条件来创建基于作者的数据集，每当有新内容出现时，可以持续进行更新。这种准备工作做好之后，就可以开始数据分析，并可以拟定改进计划。
许多作者的常见误区是滥用某些习语或词语。虽然这不是大问题，但可能会破坏文字流，阻碍更有创意的写作方法。利用内部抓取，可以收集有关总体词汇和使用频率的深度统计数据。
介词、代词、连词和其他词类应该直接去除，以便更好地概述。但是，这种数据集展示了作者的词汇量有多广，以及他们是否会选择重复使用词语，从而找到明确的改进空间。
此外，可以分析句子和段落长度。人们似乎期待并倾向于认为句子和段落都应该简短，尤其是对于在线发布内容。这方面并不存在什么硬性数据支撑。利用内部抓取，我们可以了解这种主张的潜在真实性。
单独来看，这些数据集很适合用作作者自我改进的有用工具。然而，结合来看，它们可以用于分析哪些从商业视角入手是有效的。一些作者在阅读时间、滚动深度等方面有更好的表现，所有这些都直接与作品质量相关。
不过，这种数据并不会通过内部抓取本身可见。但 Google Analytics 等热门跟踪工具让我们有足够数据来扩充作者数据集，以便更轻松地分析业绩。
但是，值得注意的是，来自 Google Analytics 的数据点应该谨慎选择。并非所有指标都能证明作者的技能。浏览量这个看起来很直观的指标，就与作品质量远不相关。
如果没有内部抓取，就很难弄清楚为什么一些作者创作的内容更优秀。此外，我们也更容易被误导，因为企业关注的指标（浏览量、转化率等）并不总是反映写作质量。它们可能反映了 SEO 研究的质量或其他诸多因素。
结论
抓取具有独特的优势，因为其主要产品是数据创建。虽然它主要涉及提高企业业绩，但也可以用于许多方面，如果仅专注于前者，就会限制抓取的真正潜力。
打造内部数据库以用于改进文案撰稿，正是这样一种不寻常的抓取用途。一般而言，它可以用于自定义数据驱动型实践，帮助组建那些不太适合千篇一律培训的团队。
作者:Aleksandras Sulzenko，Oxylabs.io 产品负责人
（推广）
