《搜索引擎页面去重算法分析之I-Match算法》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
互联网中存在了大量的重复页面，据统计表明近似重复页面的数量占据网站总数量的29%，而完全重复页面占据了22%...
对于I-Match算法来说主要是根据大规模的文本集合进行统计，对于文本中出现的所有单词，按照单词的IDF（逆文本词频因子）来进行由高到低的排序，除去得分最高和得分最低的单词，保留剩下的单词最为特征词典...
获得全局特征词典之后，对需要去重的页面，扫描下就能获得该页面上出现的所有单词，对于这些单词根据特征词典过滤：保留在特征词典上出现的单词，用来表达文档的主要内容，删除没有在特征词典中出现的内容...
2.稳定性不好，对文档修改敏感...
原算法对文档的改变非常敏感，主要是因为对单一特征词典的过度依赖，改进后的I-Match就是减少对特征词典的依赖性...
......
本文由站长之家用户“youzu.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
