《为网站的Web Robot 设计路标》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
作为一个WebMaster，你可能对HTML、Javascript、Java、ActiveX了如指掌，但你是否知道什么是WebRobot？你是否知道WebRobot和你所设计的主页有什么关系？...
网络站点的管理员可以在站点上建立一个专门格式的文件，来指出站点上的哪一部分可以被robot访问，这个文件放在站点的根目录下，即http://...
/robots.txt...
允许所有的robots访问整个站点：User-agent:*Disallow:或者产生一个空的"/robots.txt"文件INDEX指令指出一个索引性robot是否可以对本页进行索引；FOLLOW指令指出robot是否可以跟踪本页的链接...
......
本文由站长之家用户“网页教学网”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
