站长之家首页 > 经验 > 搜索引擎蜘蛛最新资讯 > 正文

蜘蛛抓取静态页面与触发gzip压缩的实验结果

2011-09-13 13:53 · 稿源:光年论坛

利用google管理员工具模拟googlebot抓取某静态页面,得到的HTTP头信息中没有Content-Encoding:gzip的标志,查看了content-length也是未压缩前的大小,所以很疑惑,是否蜘蛛的抓取不会触发gzip压缩,这是问题一。

问题一自己解决了,googlebot在向服务期发送http请求的过程中,Accept-Encoding项不出意外应该为空,我做了如下的实验,首先利用googlebot抓取该静态页面,确定得到的HTTP头信息中不存在Content-Encoding:gzip该项,并核对了content-length的大小。然后,使用浏览器访问触发服务器端对静态页面进行gzip压缩,用firebug确定返回了Content-Encoding:gzip以及content-length后,再次利用模拟googlebot抓取该页面,得到的头文件中终于出现了gzip的身影并且对比第一次抓取返回的content-length可以明确该页面被gzip大幅压缩过。

好吧,那我自问自答了。

得出的结论就是googlebot(应该也能适用到其他蜘蛛上)在抓取页面发送头信息的时候并不会触发gzip压缩,但是它的确读得懂被gzip压缩后的html文件,也就是如果你的网站本身有较高并且较深的访问流量,那么这个反而会大大的提高蜘蛛的抓取效率,所以这个有可能会成为SE判断一个网站流量乃至质量的一个因素

但接着我又有了问题二,那就是,gzip对静态页面的压缩版本在服务器上保存时间能有多久呢?

于是我拿了自己的一个美国站点以及一个国内站点进行了对比,发现同样都支持静态页面gzip压缩的两个站点反应却完全不同,国内的虚拟主机抽样查询了一些静态页面,发现全部为gzip压缩后的版本,也就是说,除非原页面发生了变动,那么国内该主机gzip压缩后的版本不出意外会永久性的保留在服务器端,但是美国的主机让我着实觉得被坑爹了一回,抽样的静态页面,初次访问全部没有gzip压缩版本,第二次重新访问才返回gzip压缩结果,打开速度提升,但是此后该压缩版本在一分钟左右会被删除,于是页面的打开速度又回到了原来的水平,我勒个去,这和没有开启gzip有什么区别啊。晚些回去检查下服务器设置,看是服务商坑爹还是自己美设置好。

关于问题二,找到了一张图片,应该能解释为什么美国主机上的gzip静态文件只会存在一会,不出意外应该和对方对临时目录大小的设置有关。

本文地址:http://www.gnbase.com/thread-3805-1.html

  • 大家在看
  • 相关推荐
  • 什么是SERPS?9步骤教你了解谷歌搜索引擎结果页

    搜索引擎结果页面(SERP)是谷歌和其他搜索引擎根据用户的搜索查询显示的页面,它们由自然搜索结果以及付费搜索这两种结果组成。那么SERP是如何帮助网站建设者提升用户访问量呢,我们通过几个步骤让大家直观了解它的具体运作。

  • 教育APP需要打造“内容”和“技术”双引擎

    2019 年暑期K12 教育行业的生源争夺战还历历在目, 2020 年春天又迎来了疫情“黑天鹅”,在“停课不停学”的号召下,教育行业出现了意料之外的爆发。在线教育模式的发展,离不开互联网技术、无线移动设备、大数据等信息科技带来的变革,新兴技术将带动用户体验、服务内容和消费场景的变更,而APP作为教学场景的应用载体,更是增速迅猛,这背后存在一些可以关注的点。教育APP市场百花齐放,有何内在逻辑?据艾瑞数据统计,中国在线?

  • 谷歌最新算法更新:做SEO提升页面排名的秘诀在这里

    站长之家注:本文主要跟大家分享谷歌更新最新算法后对搜索引擎结果页面(SERP)排名的影响,以及站长们该如何优化页面内容,让网页出现在“People Also Ask”框(PAA)位置,更好的为站点引流。相信不少人会认为SEO已经过时了,实际上它只是换成另外一种形式发挥作用。在过去的一个月,谷歌最新核心更新在其服务器上全面推出,企业也感受到了更新带来的影响。在大多数情况下,算法的更新会导致网站流量的突然下降。矛盾的是,保持领先?

  • 未来Firefox或将强制启用HTTPS链接 禁止访问不安全页面

    Firefox的未来版本可能会引入HTTPS-only模式,也就是说全面阻止访问不安全的网站。在最新上线的Firefox 76 Nightly版本中,Mozilla引入了一项实验性功能,如果一切顺利将会在未来几个月登陆稳定版中,向所有用户开放。

  • 公众号文章新增“搜索”组件 可在文章内直接搜索历史消息

    微信又更新了!近日,微信公众号文章新增了“搜索”组件,用户可直接在文章内搜索公众号历史消息。组件左上角标有公众号头像和“公众号推荐搜索”引导字眼,用户点击后将进入搜索界面。有了这个功能,用户可以快速搜索号内关联内容,便于查找历史消息。

  • 微信搜一搜发布医保码“直通车” 可直达医保页面

    今天,微信搜一搜发布医保码“直通车”,用户可通过微信搜一搜“医保码”直达医保账户,轻松完成医保支付、余额查询操作。用户激活医保电子凭证后,通过微信搜一搜搜索“医保码”可直达“医保支付”服务,搜索“医保余额”可直达“医保余额查询”服务。

  • 就等苹果官宣史上最便宜新机了!iPhone 9现身美国Verizon页面

    ​传闻了多时的低价新iPhone到底何时发布(其名称可能是iPhone 9,也可能是 2020 款iPhone SE),可能只有苹果知道了,不过从目前的情况来看,它最快可能本周就跟大家见面了。

  • 揭秘巨量引擎寻求突破传统营销边界的举措

    在2020年的商业计划领航秀上,巨量引擎营销中心总经理做了一次主题演讲。在演讲中,他提到了一些关于巨量引擎寻求突破传统营销边界的举措和助力品牌营销突围的先进方法,展示了巨量引擎如何与品牌协力驱动营销,发现更多突破性增量的可能性。一场晚会,突破拉新场景的边界与浙江卫视合作,每年如期上演的“抖音美好奇妙夜”已经成为品牌营销IP,不断发掘引爆全民娱乐文化潮流,引领短视频的商业化创新。抖音美好奇妙夜通过活动、音

  • Socionext成功测试载有DNN引擎的低功耗AI芯片

    SoC 设计与应用技术领导厂商Socionext Inc.(以下“公司”)宣布成功发开一款集成有量化深度神经网络(DNN)技术的原型芯片,可为小型、低功耗边缘计算设备提供先进的AI处理。受日本新能源与产业技术综合开发机构(NEDO)委托,Socionext参与了以《先进的低功耗AI-Edge LSI技术开发》为课题的项目研究,成功完成了结合量化DNN技术的芯片测试,并确认了其运行和性能。该测试芯片搭载有“量化DNN引擎”,能以高速、低功耗执行深度学习推理?

  • 外媒解说如何在Google搜索3D动物并盘点可搜索名单

    ​据外媒报道,在 2019 年I/O大会上,Google宣布将在搜索中加入增强现实(AR)对象。现在一年过去了,这个搜索引擎上已经有一堆的3D动物,用户可以用AR在Google上查看。 为了方便访问,Google将其3D动物和其他AR对象放在了搜索的顶部。例如,搜索“tiger(老虎)”将会显示一个Google Search Knowledge Panel(谷歌搜索知识面板)。

  • 2020成都汽车消费节,发动引擎即刻出发

    在全面抗击疫情取得重大阶段性胜利之际,第 9 届成都汽车消费节暨第 5 届房车生活节将于 5 月21- 24 日在成都世纪城新会展中心重装开幕。疫情当前,共克时艰,待到柳咽新蝉之时,让我们在一个安全的环境里再相会!作为成都国际车展CDMS姊妹篇、成都上半年最大的车展。展出规模还是熟悉的配方 5 万平米,将亮相超 80 个乘用车、房车、新能源品牌。底价购车、玩转房车、农场采摘、精品民宿、度假胜地等,吃喝玩乐买买买,来成都汽车消

  • 分析引擎2.0已来,神策数据再刷行业标准!

    2020 年初,疫情让许多创业公司紧急刹车,这无疑是一次极限压力测试。它让所有企业都知道,“黑天鹅”随时都会来,反脆弱能力很重要。 神策数据的反脆弱能力源于夯实的基本功。在过去的 5 年里,神策数据服务了 1000 余家企业。依托底层数据采集、建模、分析、应用的标准化的用户分析体系,神策数据使得超过EB级别的海量数据能够高效处理,并以秒级的响应速度,服务并驱动千余家企业的发展。 期间,神策数据定义了公认的行业最高?

  • 妩媚的春天,躁动的搜索市场

    春天是复苏的季节,空气中氤氲着的都是“荷尔蒙”的味道。如果说“躁动”是春天的符号,那么搜索市场无疑正处“春天里”,草长莺飞间演绎着一处“三家欲分晋”。据外媒报道称,华为搜索(HUAWEI Search)App现已在海外测试上线,需安装华为移动服务(Huawei Mobile Services,简称HMS)的最新版本方能使用。

  • 微盟推出超级直播间 朋友圈广告页面可一键转跳直播

    今天,微盟正式推出“超级直播间”,帮助品牌扩宽流量入口,并宣布直播小程序已实现朋友圈广告页面一键跳转直播。​作为首家参与微盟“超级直播间”的品牌, 3 月 21 日晚间,珀莱雅线下 6000 家门店同步进行直播, 2 小时直播在线吸引超过 100 万人次收看,评论超5. 5 万。

  • 互融云 金融小程序定制开发服务:打造企业营销新引擎

    小程序和其他产品的发展一样,也经历了从无到有、从有到优,从优到廉的过程。目前看小程序市场处于,从有到优的阶段,放眼看去,可能有几千家小程序商城开发服务商,但是做优、做廉、作出特色的小程序开发商却寥寥无几。如果你是门外汉,可能很难分辨到底什么才是好的小程序,因为好像大多数开发商的小程序产品都一样,不知道有哪些细节需要去考虑,一个有瑕疵的小程序,在后续的运营过程中,缺点会陆续爆发,那些从没注意的坑都会

  • 三星A51 5G离正式发布不远了!产品支持页面上线官网

    去年 12 月份,三星在越南发布了Galaxy A51手机之后,网上一直有传闻称该公司还会推出这款手机的5G版本,不过这些消息都没有得到来自官方的肯定。 3 月 26 日,三星Galaxy A51 5G手机的产品支持页面出现在三星的官网上,坐实了这款即将上市的新产品。

  • 微盟:旗下直播小程序已实现朋友圈广告页面一键转跳直播

    ​3月25日,今天微盟表示旗下微盟直播小程序已经实现朋友圈广告页面一键转跳直播,并正式推出“超级直播间”帮助品牌拓宽流量入口。珀莱雅为首家参与微盟“超级直播间”的品牌, 3 月 21 日晚间,珀莱雅线下 6000 家门店同步进行直播, 2 小时直播在线吸引超过 100 万人次收看,评论超5. 5 万。

  • iPhone9现身京东第三方店铺和美国Verizon官网以旧换新页面

    4月7日据macrumors报道,苹果新款入门型手机iPhone9现身京东第三方店铺以及美国运营商Verizon的以旧换新页面,虽然具体的日期暂时未公布,但极有可能就是传闻中的4月份。在此之前,苹果还在官网上线了iPhone7/8/SE的通用手机贴膜,从这一信息来看,iPhone9(也可能直接叫做iPhoneSE 2020款)尺寸和iPhone8一致。

  • 海外零售商上架索尼PS5预购页面:售价约是前作的三倍!

    除了手机这一大众产品外,要说数码产品圈备受关注的硬件设备,那么全新一代的索尼PlayStation5 游戏主机必然是其中之一。而此前索尼官方曾确认,索尼PS5 将于今年圣诞节期间正式上市。现在有最新消息,近日有外媒进一步晒出了该机的预购界面。

  • 百度发布六大线下行业复苏搜索大数据报告:2月日均搜索热度增长110%

    今天,百度发布《六大线下行业复苏搜索大数据报告》。报告显示, 2 月开始,大多数行业需求逐步回升。生产制造、房产装修、招聘、企业服务等 4 个行业复苏较快, 2 月的日均搜索热度比春节期间增长均达到110%以上;旅游行业受疫情影响较大,目前仍未见明显拐点,搜索热度仍处于较低水平。

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议

热文

  • 3 天
  • 7天