首页 > 经验 > 关键词  > robots.txt最新资讯  > 正文

请谨慎在robots.txt中增加sitemap链接

2011-05-05 18:52 · 稿源:queshao.com

一直以来,大家都在寻找各种方式向搜索引擎提供自己网站的内容,其中就包括sitemap,甚至很多文章介绍说在robots.txt增加sitemap的指向效果非常明显。

是否真的有那么神奇呢?其实不然!

笔者因为工作的原因,有幸接触到了一次实战,而且是3个规模不一的站点同时向robots.txt中增加sitemap的链接指向。

sitemaps.org网站上有具体的sitemap的格式以及参数设置办法。

根据不同的站点规模,我们选择了不同的方式;

增加的格式如下:

站点1规模较大,使用的是sitemap的索引文件,索引文件再包含其他sitemap文件。

在robots.txt的最后一行增加 Sitemap:https://www.web1.com/sitemap.xml

sitemap.xml索引文件的内容格式如下:

<?xml version="1.0" encoding="UTF-8"?>

<sitemapindex xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">

<sitemap>

<loc>https://www.web1.com/sitemap1.xml</loc>

<lastmod>2011-05-01T18:23:17+00:00</lastmod>

</sitemap>

<sitemap>

<loc>https://www.web1.com/sitemap2.xml</loc>

<lastmod>2011-05-01</lastmod>

</sitemap>

</sitemapindex>

站点2和站点3规模都较小,采用的是直接指向具体的sitemap.xml

在robots.txt的最后一行增加 Sitemap:https://www.web2.com/sitemap.xml

具体格式如下:

<?xml version="1.0" encoding="UTF-8"?>

<urlset xmlns="https://www.sitemaps.org/schemas/sitemap/0.9">

<url>

<loc>https://www.web2.com/</loc>

<lastmod>2011-05-01</lastmod>

<changefreq>monthly</changefreq>

<priority>0.8</priority>

</url>

</urlset>

增加完毕3天后,就有了变化,情况并不像预期的那样好,具体表现如下:

1、百度:3个站的收录迅速变慢,尤其是站点1,从之前的每天收录2000多页变成了每天只收录10几页或者干脆不收录,分析日志发现百度的蜘蛛来了,但收录的内容极少,或者干脆只停留几分钟就走了,站点2和站点3的每天新收录数变成了0,之前是每天基本有10页左右。

2、google:整体来说,google的效果最好,站点1的收录迅速上升了,并且很多之前从不收录的页面也开始收录了,站点2和站点3的收录变化不是很大,排名有所上升,不知道是不是碰巧。

3、soso:所有站点的收录开始减少,基本没有收录新增加的页面,尽管站点1每天的更新量都在2000左右。

4、sogou:基本类似于百度。

5:bing:收录有小幅上升,但不是很明显。

出现这么糟糕的后果,使我们团队所有人员都不愿意看到的,于是果断的删除了所有的sitemap指向;

3天过后,百度收录开始正常,google变化不大,其他搜索引擎的收录基本恢复正常。

由此可以推断,各个搜索引擎对于sitemap的理解和接受是不一样的,这里面的技术问题我们也无法去讨论,但是实践证明,如果你的站点结构合理,收录也正常,完全没有必要去做什么sitemap,笔者个人认为,sitemap比较适合小规模的站点,并且是站点结构不太合理的小规模站点,如果你的网站结构合理,搜索引擎均能自己完成收录。

另外比较重要的一点,如果你已经做了sitemap,就最好保持时刻更新,最好是程序自动化的更新。

以上只是笔者个人的一些实践体会,不能保证实验结果一定正确,也不具备指导性,只是和广大朋友探讨交流。

本文首发 文档资料交易平台:缺少网 https://www.queshao.com 转载必须注明出处!

  • 相关推荐
  • 大家在看
  • 养猫好物分享——Litter-Robot全自动猫砂盆

    现在养猫的年轻人越来越多了,作为猫猫爱好者的我终于也拥有了自己的主子,不过养起来好像确实没有想象中那么美好,尤其是每次还没来得及铲屎,客厅里弥漫着一股猫屎的“清香”的时候,总让我对我们家橘子又爱又恨。前段时间在网上看到有人安利这款Litter-Robot全自动猫砂盆,美国原装进口,真正做到全自动清洁。当天就迫不及待下单了一台,这段时间用下来,真的太好用了。【占地小,颜值高】整体是一个太空舱的造型,看起来非常高

  • 欧易NFT市场即将上线3D NFT项目Tron Meebits

    像素肖像游戏 CryptoPunks 是网络上最受欢迎的 NFT 项目之一,仅次于区块链游戏Axie Infinity、NBA球员卡收藏品NBA Top Shot,其创作团队 Larva Labs 已净赚了超 6.5 亿美元。Meebits 是Larva Labs团队重要项目之一,其拥有20,000 个程序生成的3D 字符,可以在以太坊上交易。继Meebits之后,波场链上即将发行第一个3D Avatar NFT项目 Tronmeebits,并上线欧易NFT市场。售卖方式为欧易NFT一级市场抢购,最大购买数量1 00 张,抢购?

  • 苹果在Twitter上再次为MacBook Pro发布会定制hashflag

    还和以往的苹果活动一样,即将于 10 月 18 日召开的“Unleashed”活动在 Twitter 上也有自己的 #AppleEvent“hashflag”。更新后的 hashflag 采用了从浅蓝到深蓝的过渡,这与活动邀请函的图案一致。苹果公司使用 hashflags 来提高活动的知名度,并在社交媒体网络上进行炒作。自去年年底以来,苹果一直在使用定制的Twitterhashflags,Agency Creative所做的研究表明,这些定制hashflags的成本可能高达100万美元。苹果的“Unleashed?

  • Windows Subsystem for Linux现以应用形式上架Microsoft Store

    微软今天宣布 Windows Subsystem for Linux (WSL) 作为一款应用上架 Windows 11 端的 Microsoft Store。也就是说,现在 WSL 以应用的方式通过 Microsoft Store 进行分发,并不会跟随系统更迭进行更新,这样用户能更快地获取 WSL 更新和功能。更新日志WSL 应用现在整合了 WSLg(Windows Subsystem for Linux GUI)● 升级 Microsoft.WSLg 至 1.0.29 版本● 为 WSLg 切换到 msrdc.exe● 为 ARM64 启用 virtio,以启用 WSLg 共享内存?

  • Chrome 95 Beta发布:彻底删除废弃的FTP支持

    在 Chrome94稳定版本周发布之后,Chrome95今天也进入到 Beta 频道。在 Chrome95Beta 版本中提供了一些改进。感兴趣的用户可以通过 Chromium.org 博客了解更多关于 Chrome95Beta 版的细节。关于 Chrome95Beta 版变化的更多技术细节也可以通过 ChromeStatus.com 找到。

  • Rockstar宣布GTA经典重制

    Rockstar终于确认《Grand Theft Auto 3》、《Vice City》、《San Andreas》三部曲重制版将于年末登陆PC、PS、Xbox,以及Switch平台;iOS及安卓版安排在明年上半年。Rockstar表示这三部经典将迎来全面升级,除图像质量得以增强外,游戏元素也进行现代化翻新,同时保有原作经典式样及气息,具体细节将于未来数周公布。为迎接重制版新三部曲,Rockstar通知各平台从下周起不再销售老三部曲,已购买这些游戏的顾客仍可正常下载及运行。?

  • Ubuntu Touch OTA-19发布:仍基于Ubuntu 16.04 LTS

    本周二,UBports 发布了 Ubuntu Touch OTA-19 版本更新。这是一款适用于智能手机和平板的 Ubuntu Linux 发行版本。本次 OTA-19 更新依然基于过时的 Ubuntu 16.04 LTS 代码库,后续版本将会过渡到 Ubuntu 20.04 LTS。不过,Ubuntu Touch 团队仍然在努力,毕竟两个发行版本相隔 4 年时间,其中涉及到大量的基础变化。由于仍基于 Ubuntu 16.04 LTS,因此 OTA-19 的更新幅度并不大。Halium 5.1/7.1 设备现在兼容陀螺仪和磁场传感器,消

  • Robotanv为任天堂Switch Lite加装Qi无线充电板:低成本、超简单

    本周早些时候,Robotanv 在油管上分享了对任天堂 Switch Lite 的 Qi 无线充电改造。只要有一定的电路基础知识和动手能力,你也可以用电烙铁 + 螺丝刀来尝试一下。首先,Switch Lite 的外壳相对容易打开。继续深入的话,你只需将无线充电适配器与电池组件连接到一起。当然,在动手之前,还请注意相关操作会影响 Switch Lite 的官方质保,即使你的手法很是干脆清爽。从技术上来讲,实际操作还是有一丢丢复杂,因为 USB-C 充电板配件?

  • Sysinternals系统工具套件现已能够通过Microsoft Store下载获取

    Sysinternals Suite 整合了许多 Windows 实用程序,其中包括进程资源管理器(Process Explorer)、进程监视器(Process Monitor)、系统监测(Sysmon)、自动运行(Autoruns)、进程转储(ProcDump)等。现在,该流行的系统工具套件,已能够通过 Microsoft Store 应用商店轻松下载获取。Sysinternals Suite 系统工具套件的完整内容如下:AccessChk、AccessEnum、ADExplorer、ADInsight、ADRestore、Autologon、Autoruns、BGInfo、C

  • AirPods 3之后 苹果或于11月推出Beats Fit Pro真无线耳机

    在北京时间周二凌晨 1 点的 Unleashed 发布会上,苹果公司顺道发布了 AirPods 3 真无线耳机。然而据 9to5Mac 爆料,这家库比蒂诺科技巨头或很快于下月推出另一款音频产品,它就是传说中的 Beats Fit Pro 。消息称该耳机将具有 ANC 主动降噪功能,并且采用了 Apple H1 芯片来实现更快的连接速度、以及 Siri 免提支持。9to5Mac 透露,他们是在“内部 iOS 15.1 RC 文件”中发现的 Beats Fit Pro 的身影。图像显示 Beats Fit Pro 的设?

这篇文章对你有价值吗?

  • 热门标签

热文

  • 3 天
  • 7天