不可以，必须是小写，即必须是robots.txt，而不是Robots.txt。

如果已经使用死链提交工具进行提交后，就不需要设置robots，两种方法二选一即可，建议使用死链提交工具，会提升提交的效率。

robots.txt文件应该放置在网站根目录下。比如说，当spider访问一个网站（例如http://www.chinaz.com）时，首先会检查该网站中是否存在http://www.chinaz.com/robots.txt这个文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

开发者可通过 robots 文件声明小程序中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。仅当您的小程序中包含不希望被搜索引擎收录的内容时，才需要使用 robots.txt 文件。文件上传路径为：智能小程序开发者平台->设置->开发设置->小程序资源抓取设置->点击“设置”按钮->点击“上传协议”按钮。

HTML格式不行，必须是txt格式。

不会的，你原来的页面还在，肯定会抓。

需要区分大小写。建议网站被黑后，把随机链接设置为死链，通过死链工具进行提交，并同步设置Robots屏蔽。

tag列表页一般在同一个目录下，比如目录名叫ABC，那么robots就应该是：User-agent:* Disallow:/ABC/

因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页，但百度搜索引擎数据库中已经建立的网页索引信息，可能需要数月时间才会清除。另外也请检查您的robots配置是否正确。

如果您的拒绝被收录需求非常急迫，也可以通过反馈中心反馈请求处理。

你说的无效URL是指筛选排序后产生的页面吧，建议通过robots进行屏蔽。

参考：http://zhanzhang.baidu.com/wiki/326