《搜索引擎如何去抓取网页》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
搜索引擎抓取页面工作靠蜘蛛（Spider）来完成，抓取动作很容易实现，但是抓取哪些页面，优先抓取哪些页面却需要算法来决定，下面介绍几个抓取算法：...
我们都知道，大部分网站都是按照树状图来完成页面分布的，那么在一个树状图的链接结构中，哪些页面会被优先抓取呢？为什么要优先抓取这些页面呢？宽度优先抓取策略就是按照树状图结构，优先抓取同级链接，待同级链接抓取完成后，再抓取下一级链接...
其实按照目前的技术，实现更快频率的权重更新并不难，计算速度以及存储速度完全跟得上，但为什么不去做？因为没那么必要，或者已经实现了，但不想公布出来...
即当蜘蛛完成抓取页面并入口后，马上进行权重分配，将权重重新分配待抓取链接库，然后蜘蛛根据权重高低来进行抓取...
......
本文由站长之家用户“www.cmshtml.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
