《robots.txt设置需要注意的一个问题》文章已经归档，站长之家不再展示相关内容，下文是站长之家的自动化写作机器人，通过算法提取的文章重点内容。这只AI还很年轻，欢迎联系我们帮它成长：
两个月的坚持得到了不错的回报，网站权重挺高，发布文章一般半小时内收录，并且能够获得一个不错的排名，偶尔从一篇文章就能带来几百的IP...
但是好景不长，在4月底的时候忽然发现百度开始不收录我写的文章了，同时谷歌也停止收录，我想到是不是我在robots.txt禁止了目录的抓取，但是查看了robots.txt并没有禁止抓取，出现这样的问题让我很是诧异...
于是我把我的主域名解析上去，但是令我吃惊的是依然提示收到robots.txt限制...
这样就排除了空间商的问题，在昨天晚上我仔细观察了一下robots.txt与谷歌管理员工具，发现我的robots.txt里的确禁止了/taobao/目录，而我的文章目录为/taobaozixun/...
......
本文由站长之家用户“www.fintb.com”投稿，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完整的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请联系作者获取原文。
（举报）
