首页 > 优化 > 关键词 > robots.txt文件最新资讯 > 正文

robots.txt限制些什么屏蔽内容与安全性的考虑

2012-11-30 14:31 · 稿源:seoo1.com

robots.txt文件可以有效的屏蔽搜索引擎抓取我们不需要被抓取的页面和网站源文件,其中的好处是限制搜索引擎过多的抓取不必要的内容,减少搜索引擎蜘蛛进行不必要的网站爬寻分散,也是为了让我们的网站不必要的内容不在搜索引擎被收录,不让别人搜索到。 其中什么样的文件会被限制抓取呢?

一、是否通过robots.txt来屏蔽动态页面,减少页面的重复抓取?

其实个人建议普通网站不必要进行动态页面的屏蔽,搜索引擎一般会自动判断是否重复,普通网站内容并不是非常多,一般出现重复页面的可能性也比较低,如果是信息站和论坛站等建议屏蔽动态页面。

二、robots.txt屏蔽特殊页面,隐私内容的屏蔽。

robots.txt屏蔽特殊页面,网站隐私内容的屏蔽,其实对于一个网站来说,隐私内容比较难实现,在无程序支持的前提下,这里说的隐私是指一些不想被流传到互联网的内容,屏蔽搜索引擎蜘蛛避免在互联网被泛滥,如:网络培训班培训资料。

三、网站特殊文件夹屏蔽

特殊文件夹一般是指,网站程序安装文件,动态功能页面,多于的文件夹,后台功能等。

robots.txt文件的好处刚才也说了,就是提供搜索引擎蜘蛛看的,告诉它哪些文件你不要看,不给你的,这是它的优点,但是robots.txt在告诉搜索引擎蜘蛛的同时,也在告诉其他人,这个网站的隐私,比如:网站后台文件夹地址,相信很多站长都会在robots.txt上面填写,如:Disallow:/dede/ 从这里我们可以看错应该是织梦程序,当然我们可以更改。

网站屏蔽的安装文件地址,如:Disallow: /install/ 这一般是程序安装文件的地址,就算我们后台地址更改后一样能分析出是什么程序做出来的。

屏蔽网站后台登录地址,如:Disallow: /login.asp  这样就明显告诉有心人你的后台登录地址了。

屏蔽网站隐私内容,如:Disallow: /123.html  也只是针对搜索引擎,对人为我们还是有风险。

上面说的几点都是出于安全性的考虑,那我们还写不写robots.txt呢?

根据我个人的操作来说,robots.txt还是要些的,毕竟优化很多时候离不开他,但是对于网站安全我们也要采取一些必要的措施与手段,那我们只能在程序的安全性上做手脚了,但要怎么做这手脚是程序员发挥作用的时候了,比如会员功能等。

其次,为了不告知他人我们的隐私,那么我们可以在robots里用“*”来隐藏我们的文件名。  

从上图可以见,我们可以完全不暴露自己的文件名了,同时也能够对搜索引擎蜘蛛进行屏蔽!  

文章来源:http://www.seoo1.com/576.html

网友热搜:

  • 相关推荐
  • 大家在看
  • 分析师认为苹果应该收购DuckDuckGo搜索引擎 以向谷歌施压

    伯恩斯坦公司(Bernstein)分析师Toni Sacconaghi在分享的一份研究报告中表示,苹果应该收购一家搜索引擎公司,向谷歌施加压力。

  • 谷歌前广告主管正在打造一款无广告的搜索引擎

    据外媒报道,Sridhar Ramaswamy于 2013 年成为谷歌广告和商务高级副总裁。他领导着这个价值 1150 亿美元的分支机构达五年之久,该机构负责通过AdSense在搜索、YouTube和网站上出现的广告。但因受够了谷歌的暴利和客户与广告商之间的利益冲突,Ramaswamy选择离开谷歌并创建了自己的搜索引擎。

  • 百度回应腾讯告老干妈涉某搜索引擎:手里的瓜突然不香了

    7月1日,随着贵阳警方发布了腾讯与老干妈千万广告费纠纷案是因为3人伪造印章与腾讯签合同,也让这件事情真相大白。但网上传闻“腾讯状告老干妈拖欠广告费提及某搜索引擎”,对此百度官方回应称“手里的瓜突然就不香了”。

  • 谷歌向苹果支付数十亿美元,使其成为Safari的默认搜索引擎

    英国监管机构周三发布了有关苹果Safari浏览器和谷歌搜索引擎交易的调查报告。英国竞争和市场管理局(CMA)最新报告显示, 2019 年,谷歌共向英国支付了 12 亿英镑(约合 15 亿美元)的费用,成为英国各种移动设备上的默认搜索引擎,其中,绝大部分付给了苹果公司。

  • 谷歌英国向苹果交了15亿美元“保护费” 成Safari默认搜索引擎

    据路透社报道,英国监管机构正在审查苹果和谷歌之间的一项长期协议,该协议涉及苹果设备将谷歌设置为默认搜索引擎。

  • 信息流优化策略与SEO搜索排名,有关联吗?

    最近,在和SEO你问我答群里小伙伴,私下交流的时候,总是在说一些流量获取的问题,而最为常讨论的情况就是SEO流量与信息流平台的流量。

  • 官抖直播,真能成为销售增长新引擎?

    当携程CEO梁建章、网易丁磊、格力董明珠纷纷走进直播间,并频传销量捷报;当寺库、妃鱼、唯品会为代表的电商平台选择扎根在抖音并开启高频直播,以寻求新流量渠道的获客和变现机会;

  • 百度搜索将严格控制搜索结果中的APP调起行为

    2020 年 3 月,百度搜索资源平台发布了《百度APP移动搜索落地页体验白皮书5.0》。近期百度搜索发现部分站点频繁出现强制用户调起APP的行为,严重影响了用户的搜索体验。

  • 记录“向往的小米生活”,巨量引擎如何让综艺IP效应最大化?

    当代年轻人的生活节奏越来越快,对娴静自得的生活状态总是持以特别的向往和期待。 5 月 8 日,《向往的生活》第四季正式上线,这个号召大家回归自然,放慢生活节奏的综艺节目自上线起即倡导不一样的生活方式,激起广大用户关注。作为此季的首席合作伙伴,小米 10 期望与“蘑菇屋”一起记录各种美好过往,更希望在拍摄场景中传递产品本身的优势功能。为了将IP效应最大化,小米联合巨量引擎,借助抖音和今日头条强大的内容传播影响力

  • 支付宝宣布搜索板块新增数十万金融类搜索关键词

    今日,支付宝宣布搜索板块新增数十万金融类搜索关键词,搜索股票名称、基金名称等关键词,可直接获取股票及理财信息查询、模拟交易、股票分析、研报资讯、理财交流、基金购买等金融服务。

  • 论道汽车效果广告,巨量引擎×金投赏炉边会开启“增效”密钥

    2020 年,汽车行业面临全新变局。存量市场竞争加剧,有效线索成本高企,投放预算进一步压缩,重重压力下,车企将营销关注点转向“效果”这个关键词上。效果广告在汽车行业仍是一个新概念,对比教育、快消等成熟行业还有着非常大的增长空间。“巨量引擎现在做效果广告营销是生意驱动型,希望真正帮助企业生意有成长,效能有增加。在汽车领域,不仅仅是帮助主机厂,也帮助主机厂的渠道、经销商们一起去提升生意能力。”在 6 月 12 日

  • VE视频引擎推出跨平台的视频剪辑解决方案

    据艾瑞、极数等咨询公司发布的中国短视频行业报告显示。国内的短视频用户数已达 8 亿之多,并且用户数还处在一个持续增长的过程中。在如此庞大的市场规模下,必然会产生海量的PGC(专家生产内容),UGC(用户生产内容)视频内容。PGC生产内容的方式需要专业的视频拍摄团队按照剧本拍摄,然后拍摄后的视频交付视频后期团队进行视频剪辑、视频包装。UGC生产内容是方式主要是用户拍摄一段生活场景视频。然后通过视频剪辑的APP去完成二次编

  • 支付宝搜索板块升级:新增数十万金融类搜索关键词

    6月16日消息,支付宝今日宣布,搜索板块迎来重要升级——新增数十万金融类搜索关键词,以往用户获取金融服务需进入到理财页面才可以。据介绍,现在用户上支付宝搜索股票名称、基金名称等关键词,即可一步直达获取股票及理财信息查询、模拟交易、股票分析、研报资讯、理财交流、基金购买等金融服务。据支付宝搜索产品运营负责人袁怀宾透露,目前50%通过支付宝搜索框获取服务的用户,搜索的都是金融类服务。“金融服务是

  • 快手磁力引擎再发力 欲助力商业伙伴获百亿营收

    2019 年 10 月,快手在北京举行2019 Fe+新商业峰会,正式宣布将快手营销平台全面升级为“磁力引擎”,全力冲刺社交新商业。 2018 年是快手商业化元年,快手在首届“Fe+商业峰会”上正式发布了快手营销平台。依托快手的大数据和技术优势,快手生态中的老铁们就像一块巨大的磁铁,让技术和商业产生了化学反应。 时隔一年,快手营销平台正式升级为“磁力引擎”。从字面上看,它是链接万物、具有高黏性和强定力的巨大力场。实际上,这

  • 华为开源数据虚拟化引擎openLooKeng:统一SQL接口

    华为在开源软件上又迈出了坚定一步,正式宣布开源数据虚拟化引擎openLooKeng,开源社区官网(https://openlookeng.io)同步上线。openLooKeng致力于为大数据用户提供极简的数据分析体验,让用户

  • 斑马仓携手数字化改革,成为家装行业贴地起飞的强引擎

    互联网家装发展至今,早已褪去过去的狂热和追捧,进入到客观和理性的阶段。但是不论如何,互联网家装仅仅是一种获客的工具和手段,没有了用户和流量,互联网家装模式必然会遭遇困境,一切都是零。因此,我们必须要思考一种有别于互联网家装的进化新模式。其实,模式很简单,还是回归到家装行业本身,通过解决家装行业本身的痛点和难题,达到供给端的升级和改造,从而找到满足用户新需求的方式和方法。痛点可以总结为:1、准入门槛低,竞争白热化2

  • 字节跳动推出企业技术服务平台“火山引擎 ”

    6月22日消息,字节跳动企业技术服务平台“火山引擎”官网上线,字节跳动在企业服务领域的布局开始慢慢地揭开其神秘的面纱。据介绍,“火山引擎”是字节跳动旗下企业级智能技术服务平台,依托字节跳动的大数据、人工智能等技术能力,以及增长理念与方法论,为客户提供技术产品与解决方案。字节跳动火山引擎负责人肖默表示:字节跳动作为一家全球化互联网公司,在过去8年中迅速成长,在这一过程中,不断积累的技术能力、

  • 抖音手机号码怎么搜索好友

    抖音平台怎么用手机号码搜索好友的抖音账号,通过手机号码就可以直接搜索电话联系人的抖音账号是怎么做到的,这里我们一起看下用手机号码就可以搜索好友抖音的方法。

  • 百度搜索大数据:“摆摊技巧”搜索热度暴涨655%

    DoNews 6月4日消息(记者 向密) 据百度搜索大数据显示,近7天“摆摊技巧”相关内容搜索热度同比暴涨655%,达到10年来最高值,“地摊经济“正呈现火热的发展态势。百度搜索大数据显示,近30天,“摆摊技巧”对90后这批“中浪”的吸引力最大,超过53%的关注者均为90后。与行动力最强、关注摆地摊具体技巧的90后相比,80后更加“理论派”,对“地摊经济”表现出了所有年龄层中最高的搜索兴趣。全国各城市拥抱“地摊经济”,其中新一?

  • 终于,数据中台成为3000万企业的增长引擎

    2018 年阿里、腾讯、美团、字节跳动等互联网巨头掀起的“中台热”,却在一年后风向突然飘忽。据报道,浙江省某大型传统制造企业,启动了代号为“奔月”的中台项目,总投资额 5000 万。结果项目在 2019 年底被集团叫停,CIO引咎辞职。诸如茅台的中台项目进展不顺利、联想的中台项目成效低等类似案例还有很多,行业甚至出现“中台,我信了你的邪”等唱衰声音。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议