首页 > 优化 > 关键词  > 网站优化最新资讯  > 正文

新手建站不可不知的robots.txt文件

2011-03-24 00:22 · 稿源:www.anhuiseo.org

robots.txt是搜索引擎蜘蛛爬你站点的时候第一个查看的文件,这个文件是告诉搜索引擎的蜘蛛程序,你的站点上哪些文件给看,哪些不给看。现在主流的搜索引擎还是遵守这一规定,合肥SEO就有深刻体会,本站是20号晚上11点左右解禁robots.txt文件允许搜索引擎蜘蛛访问,21号早上一查百度居然收了,第二天谷歌也收了。

说远了,言归正传。robots.txt是一个文本文件,它必须命名为“robots.txt”并上传到站点根目录下,上传到子目录里是无效的,因为搜索引擎漫游器只会在你的域名根目录中查找这个文件。还是那句话,基础性知识合肥SEO没有实力也没必要在这浪费大家的时间,可以去百度搜索帮助中心和谷歌中文管理员博客看,在这是主要从SEO角度来介绍robots.txt在对网站优化过程中的作用。

一、利于网站优化的robots.txt使用技巧

1、在线建站提供方便之路。当我们将域名解析到服务器,可以访问站点了,可是这个时候站点还没有布局好,meta标签还一塌糊涂。乳沟此时的站点被搜索引擎蜘蛛抓取收录了,到时再更改就很不利于SEO优化。这时就可以利用robots.txt文件来设置所有搜索引擎蜘蛛不允许查询站点的所有内容。其语法格式为:

User-agent: *
Disallow: /

2、定制搜索引擎蜘蛛抓取指定内容,能让你根据站点情况来选择怎样和搜索引擎打交道。这里有两层意思。

(1)定制搜索引擎。如果你不屑度娘的所作所为的话,可以这样子让它只能对你吹胡子瞪眼。其语法格式为:

User-agent: baiduspider
Disallow: /

注:常见的搜索引擎机器人名称。

名称 搜索引擎
Baiduspider https://www.baidu.com
Scooter https://www.altavista.com
ia_archiver https://www.alexa.com
Googlebothttps://www.google.com
FAST-WebCrawler https://www.alltheweb.com
Slurp https://www.inktomi.com
MSNBOT https://search.msn.com

(2)定制站点内容。也就是说你可以指定某个目录允许spider爬行,某个目录禁止spider爬行。如所有搜索引擎蜘蛛,允许抓取目录abc下的内容,禁止抓取目录def下的内容,其语法格式为:

User-agent: *
Allow: /abc/
Disallow: /def/

3、引导搜索引擎抓取网站内容。这里最典型的做法有

(1)引导蜘蛛抓取你的网站地图。其语法格式为:

User-agent: *
sitemap:sitemap-url

(2)防止蜘蛛抓取你的网站重复内容。

4、404错误页面问题。如果你的服务器自定应了404错误页面而在你站点根目录没有配置robots.txt文件,那么搜索引擎蜘蛛会将其视为robots.txt文件,这将影响搜索引擎对你网站页面的收录。

二、特定程序建站robots.txt的写法。这里只是提供通用的,具体的情况自己斟酌哦。

1、DedeCMS建站的robots.txt文件写法

User-agent: *
Disallow: /plus/feedback_js.php
Disallow: /plus/feedback.php
Disallow: /plus/mytag_js.php
Disallow: /plus/rss.php
Disallow: /plus/search.php
Disallow: /plus/recommend.php
Disallow: /plus/stow.php
Disallow: /plus/count.php
Disallow: /include
Disallow: /templets
Disallow: /member

2、WordPress建站的robots.txt文件写法

User-agent: *
Disallow: /wp-admin
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Disallow: /wp-includes
Disallow: /?s=
Sitemap: https://www.***.com/sitemap.xml

3、phpcms建站的robots.txt文件写法

User-agent: *
Disallow: /admin
Disallow: /data
Disallow: /templates
Disallow: /include
Disallow: /languages
Disallow: /api
Disallow: /fckeditor
Disallow: /install
Disallow: /count.php
Disallow: /comment
Disallow: /guestbook
Disallow: /announce
Disallow: /member
Disallow: /message
Disallow: /spider
Disallow: /yp
Disallow: /vote
Disallow: /video

4、discuz论坛的robots.txt文件写法

User-agent: *
Allow: /redirect.php
Allow: /viewthread.php
Allow: /forumdisplay.php
Disallow: /?
Disallow: /*.php

虽然话题很陈旧,可是需要学习的内容还是很多的。有人说设置robots.txt文件会带来被“有心人”攻击的危险,作为草根的前锋来说无所畏惧了,既然是“有心人”了你也没辙(这不只是建站程序本身,还有服务器安全等等等等)。来自合肥seo: https://www.anhuiseo.org 转载请注明出处。

举报

  • 相关推荐
  • 加速Robotaxi部署 滴滴自动驾驶进入爆发前夜

    滴滴自动驾驶在第十七届国际交通技术设备展上亮相新一代L4级量产车型,配备33个传感器,展现技术突破。公司宣布将持续加大研发投入,与广汽埃安成立合资公司加速无人驾驶商业化落地。目前滴滴Robotaxi车队已在北京、广州等城市稳定运营超1800天无重大事故,并计划年内部署千台车辆。凭借多年技术积累和资本支持(累计融资超15.5亿美元),滴滴正迈向规模化商业运营新阶段。近期与广州市政府达成战略合作,进一步拓展智慧交通应用场景,标志着其自动驾驶技术进入爆发前夜。

  • 各大厂商都开始推Turbo手机 王腾用一句广告词调侃友商

    博主数码闲聊站爆料称,各大厂商都开始推Turbo系列产品,中端产品线竞争逐渐加剧,电池不断刷新行业纪录。 对此,REDMI总经理王腾表示,想起一句广告词,有人模仿我的脸,有人模仿我的面。 据了解,这句广告词出自统一食品,统一率先在行业内推出老坛酸菜系列,随后不少企业也跟风推出类似的方便面。 统一食品便邀请知名主持人汪涵拍摄广告片,这句经典广告语有�

  • A日报:月之暗面开源大模型Kimi K2;智源全面开源RoboBrain2.0;通义千问发布Qwen Chat桌面客户端

    本期AI日报重点报道了多项AI领域突破性进展:1.月之暗面推出万亿参数开源大模型Kimi K2,展现强大智能能力;2.智源研究院开源RoboBrain2.0和RoboOS2.0机器人系统;3.通义千问发布桌面客户端Qwen Chat;4.IndexTTS2实现影视级语音合成;5.HuggingFace开源机器人Reachy Mini热销;6.Meta推出实时视频生成模型StreamDiT;7.PixVerse新增多关键帧视频生成功能;8.特斯拉推出仅支持AMD处理器的Grok AI助手;9.OpenAI推迟开源大模型发布以加强安全测试;10.Liquid AI开源边缘AI模型LFM2;11.AI"时间穿越"特效在社交媒体走红。

  • 极光GPTBots实力入选《2025政务行业信创生态图谱》,赋能智慧政务新未来

    在北京召开的"2025中国信息技术应用创新峰会"上,极光GPTBots凭借在政务智能问答、办公提效、数据分析等场景的卓越表现,入选《2025政务行业信创生态图谱》。该图谱系统梳理了政务信创生态现状与趋势,为构建自主可控、安全可靠的政务创新生态提供指引。极光GPTBots深度融合国产大模型技术,在政策智能解答、办公自动化、文档处理等政务场景实现深度赋能。此次入选标志着其在推动政务数字化转型方面的贡献获得权威认可,未来将持续投入核心技术研发,深化政务场景应用探索,助力数字政府建设。

  • OPPO K13 Turbo系列真机亮相:自带风扇+RGB

    OPPO K13 Turbo系列真机已经现身在bilibili world《胜利女神:NIKKE》展区。 从图片来看,OPPO K13 Turbo系列系列后摄区域有点类似一加13T,采用了矩形金属方案,主摄下方就是散热风扇,同时外圈还自带RGB等效。 这个设计方案可以明显看出,该机是主打电竞体验。 风扇模组采用电镀镍工艺,放弃普通喷涂,带来更好的防水、防锈效果,并且号称风力提升120%,从而实现更强、更持久�

  • REDMI Turbo 4 Pro粉金新配色发布 售价1899元起

    今日,REDMI官方正式为Turbo4Pro机型推出全新粉金色版本,售价维持1899元起不变。 作为REDMI今年4月24日发布的性能旗舰,Turbo4Pro上市即成爆款,不到一个月时间便创下累计销量突破100万台的佳绩。此次新增的粉金配色,在保持原有硬核配置的同时,通过色彩创新进一步拓宽用户群体。 屏幕方面,该机配备6.83英寸1.5K LTPS直屏,采用M9发光材料,支持120Hz高刷新率、480Hz触控采样率�

  • 苹果19年来首次!今年等不到新款MacBook Pro了

    据报道,苹果似乎正在重新考虑其下一代MacBook Pro和MacBook Air的发布时间。 这两款笔记本电脑原定于2025年推出,搭载全新的M5芯片,然而据知情人士透露,苹果目前正在权衡是否推迟发布,可能会将发布时间延后到2026年。 自2006年以来,苹果每年都会推出MacBook Pro机型,如果苹果真的跳过2025年,这将是19年来首次没有推出MacBook Pro的一年。

  • 6月安卓次旗舰性能榜出炉:iQOO Z10 Turbo夺冠

    安兔兔公布了6月份安卓次旗舰手机性能排行榜,iQOO Z10 Turbo借助天玑8400-满血版芯片,以的平均跑分登顶。 iQOO Z10 Turbo搭载的天玑8400满血版处理器,采用台积电4nm工艺打造全大核架构,配合独家自研电竞芯片Q1,能在高帧率游戏中实现更稳定的帧率表现与更低功耗。 此外,7620mAh超大电池的加持,让重度游戏玩家无需频繁充电,真正兼顾高性能输出与长续航体验,直击手游场�

  • OPPO K13 Turbo系列官宣将于7月21日发布 内置散热风扇

    OPPO近日正式宣布,将于7月21日14:30举行新品发布会,隆重推出OPPO K13Turbo系列。根据官方发布的预告片,该系列最大亮点在于内置了散热风扇,OPPO官方宣称K13Turbo将借此掀起一场性能风暴。 预告片中透露,OPPO K13Turbo系列采用了竖排相机设计,而散热风扇巧妙地安置在摄像头下方,整体造型简约大气,与iPhone16有着异曲同工之妙。OPPO产品经理鳃鳃saisai进一步揭秘,K13系列的风扇�

  • 直击企业痛点 全球制造链+科技巨头聚焦GPTBots.ai

    在2025深圳国际人工智能展上,极光旗下企业级AI Agent平台GPTBots成为焦点。该平台展示了在制造业智能化升级中的解决方案,包括构建企业知识搜索引擎、自动化办公流程及跨境商务沟通等应用场景。展会期间,平台吸引了苹果等科技巨头及多国企业代表关注,探讨了AI在供应链管理、项目监控等领域的落地实践。GPTBots凭借模块化架构和安全部署能力,已服务金融、制造等十余个行业客户,助力企业实现降本增效和智能化转型。