《萧涵：略谈百度中文分词技术》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
这里萧涵给大家谈下一百度的中文分词（当然也不局限于百度，其他搜索引擎也是差不多的）...
在总控部分的协调下，分词子系统可以获得有关词、句子等的句法和语义信息来对分词歧义进行判断，即它模拟了人对句子的理解过程...
举个例子说，“搜索引擎优化”，在字典中匹配出来可能是：搜索/引擎/优化、搜/索引/擎/优化，但经过后期的概率计算，发现“搜索引擎优化”在上下文相邻出现的次数非常多，那么基于统计就会将这个词语也加入进分词索引库...
分词准确性对搜索引擎来说十分重要，但如果分词速度太慢，即使准确性再高，对于搜索引擎来说也是不可用的，因为搜索引擎需要处理数以亿计的网页，如果分词耗用的时间过长，会严重影响搜索引擎内容更新的速度...
......
本文由站长之家用户“xiaohan86.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）