《优化思路：搜索引擎算法之复制网页》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
为每个网页计算出一组信息指纹（Fingerprint），若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容重叠性很高，也就是说两个网页是内容复制的...
如果这N个信息指纹里面有M个相同时（m是系统定义的阙值），则认为两者是复制网页...
这种算法对于小规模的判断复制网页是很好的一种算法，但是对于像google这样海量的搜索引擎来说，算法的复杂度相当高...
这个是北大天网搜索引擎的去重算法（可以参考：《搜索引擎--原理、技术与系统》一书），以上5种算法运行的时候，算法的效果取决于N，就是关键词数目的选取...
以上肯定无法覆盖一个大型搜索引擎复制网页的所有方面，他们必定还有一些辅助的信息指纹判断，本文作为一个思路，给做搜索引擎优化的一个思路...
......
本文由站长之家用户“中国站长站”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）