《php实现高效采集（总分模式）》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
网页自动抓取和采集的效率和速度一直是个瓶颈，查看dedecms和phpcms的采集代码并测试发现不如人意...
dedecms的还算稳定，但是速度不高，它采用的方式是总分模式，在分任务执行时是顺序模式，即，总控开关接受任务并安排执行段给接收分任务的代码块，然后代码块是连续式执行交给的代码，执行完一个任务后，跳转到下一个任务继续执行，这样的好处是总体可控，但是没有有效利用资源，没有采用并发采集，无疑对用户来说是一种时间的浪费和一定程度的失望...
同样考虑到php超时的问题，于是任务分块是必须的，为了便于把控，采用总分模式分配任务，分配后，执行模块接受任务后，并发执行任务，各管各的，基本不受相邻任务的影响，但是发现，当任务量大时，每个任务消耗的时间将增大一定，不过总体下来，效率还是蛮高的...
......
本文由站长之家用户“tojen,www.tojen.cn”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
