11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
用织梦DEDECMS建站的站长会发现,DEDECMS自带的robots.txt文件设置很简单(开发者基于每个网站的目录结构和优化目的不同的考虑),并不能完全满足网站的优化要求,那怎样才能结合自己网站的情况,做好robots.txt优化呢?
其实孤藤之前看过昝辉老师的《se实战密码》,里面讲到的robots.txt只是,个人感觉还是很详细的,也没研究过大型网站都是怎么设置的,今天想起,来分析下国内微博新浪、腾讯、搜狐、网易4大平台各自的robots.txt文件的设置,robots怎么写。