这里有一点需要注意的是,robots文件的最主要作用是,禁止搜索蜘蛛抓取页面上的内容,而不是禁止搜索引擎索引,如果某网站A在robots.txt中,禁止了所有搜索引擎来爬取网站,但是在另一个已经被搜索引擎收录和抓取的网站B上,有链接或者锚文本指向网站A,如果搜索引擎抓取并收录该链
......
111本文由站长之家用户投稿发布于站长之家平台,本平台仅提供信息索引服务。为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。
(举报)