首页 > 经验 > 关键词  > 托管服务商最新资讯  > 正文

谷歌:给托管服务商和网站管理员的一些建议

2011-12-29 15:50 · 稿源:站长之家

站长之家(chinaz.com)12月29日消息:一些网站管理员常在谷歌论坛上咨询影响他们站点托管的问题,为帮助托管服务商和站长们识别、诊断以及解决这些问题,谷歌中文网站管理员博客今日发布博文与站长分享一些常见的问题及解决方法。

全文内容如下:

• 拦截Googlebot 抓取功能。这是一个非常普遍的问题,通常因防火墙配置错误或DoS保护系统所致,有时也因站点运行的内容管理系统所致。保护系统是形成好的托管服务的重要组成部分, 通过配置来拦截异常的服务器频繁的请求,但有时也可自动完成。然而Googlebot通常会执行比个人用户更多的请求,所以这些保护系统也会决定拦截 Googlebot,并阻止其抓取您的网站。如需查验此类问题,您可以使用网站管理员工具中的Googlebot抓取方式功能,并查看网站管理员工具显示的其它抓取错误。

我们向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的网站管理员和托管服务商提供了几个工具:

我们就如何使用拒绝googlebot协议配置 URL 参数来控制“Googlebot抓取方式”功能提供了详细的帮助。

如果您担心使用Googlebot的代理程序,我们提供了一个方法来验证该抓取工具是否为Googlebot。

如果您想改变Googlebot抓取您的站点的频率,您可在网站管理员工具中验证您的网站,并且改变Googlebot的抓取速度。托管服务商也可验证他们IP地址的所有权。

• 可用性问题。我们常见的另一类问题是当Googlebot (及用户)试图访问站点时,网站无法浏览。这通常是由DNS问题、服务器过载引起的超时和拒绝链接问题、错误的内容分发网络配置(CDNs)、以及很多其它类型的错误造成的。当Googlebot遇到这些问题时,我们将之视为网址无法访问错误抓取错误并在网站管理员工具中报告该错误。

• 无效SSL证书。 要想SSL证书对您的网站生效,必须将它们与站点名称相匹配。常见问题包括过期的SSL证书,以及因服务器上所有网站使用同一个证书而导致的服务器错误配 置。在这些情况下,大部分浏览器会试图警告用户,Google则通过网站管理员工具发送一条信息来警告网站管理员。要解决这些问题,就要确保您所使用的 SSL证书对所有网站的域名以及您用户访问的子域名都有效。

• 通配符DNS。网站可通过配置来响应所有子域名的请求。例如,example.com的网站可以通过配置用来响应来自foo.example.com,made-up-name.example.com以及所有其它子域名的请求。

在某些情况下,这是网站管理员所希望发生的,例如一个用户生成内容的网站可自行选择给予每个账户各自的子域名。但在某些情况下,网站管理员可能不希望发生这种行为,因为这也许会引起不同的主机名将内容进行不必要的复制,还可能影响Googlebot抓取功能。

若想尽量减少通配符DNS设置中的出现的各种问题,您可以将您的网站设置成不使用它们,或者将您的服务器设置成对不存在的主机名不能成功响应,亦或拒绝连接或直接返回HTTP 404 页面。

• 虚拟主机错误配置。这种问题的特征是同一个服务器上托管的多主机和/或域名总是只返回一个站点的内容。换言之,尽管服务器托管多个站点,但它不管请求内容是什么却只返回一个站点。要诊断此问题,您需要验证服务器是否正确地响应了HTTP 主页面。

• 通过特定的URL托管复制内容。 很多主机基于测试/开发的目的,为您的网站提供URL。例如,如果您在托管网站example.com上托管https://a.com/,托管提供商可能 会提供如 https://a.example.com/ 或 https://example.com/~a/这样的URL地址来作为您网站的入口。我们建议不要将这些特定的URL托管设置成可被公开访问的状态(通过 密码保护它们);即便这些URL可被访问,我们的算法通常选择网站管理员所想要的URL地址。如果我们的算法选择特定的URL托管,您可通过正确执行规范化技术来对我们的算法做出改动,从而选择您首选的URL。

• 软错误页面。某些托管服务商用HTTP 200状态码(表示“成功”)而不是HTTP错误状态码来显示错误页面。例如,一个出现“页面无法访问”字样的错误页面可能会返回HTTP 200而不是404,从而造成软404页面;一条“网站暂时无法访问”信息返回的可能是HTTP 200,而不是正确地返回503HTTP状态码。我们努力检测软错误页面,但当我们的算法无法检测出主机软错误页面时,这些页面的错误内容可能被列入索引,导致分级或跨域选择网址的问题。

检测返回的状态码很简单:只需采用任一一种工具,如Googlebot抓取方式,查看服务器返回的HTTP页面。如果一个错误页面返回的是HTTP 200,那么我们可以改变配置使其返回正确的HTTP错误状态码。同样,请留意网站管理员工具软404报告中有关抓取错误页面的诊断方法。

• 内容修改和框架(frames)。 网站管理员可能惊讶于看到页面内容被托管服务商修改,尤其是在页面插入脚本或图片。除此之外,主机还可能通过使用frames或iframe将内容嵌入其 它页面来托管内容。如果想查看主机是否以您意料之外的方式修改您的内容,只需查看主机托管页面的源代码,并将其与您上传的代码进行比较。

请注意某些服务器端代码的修改可能非常有用。例如,一个使用Google Apache加速模块或其它工具的服务器可能会压缩代码来优化页面载入速度。

• 垃圾信息和恶意软件。 我们经常看见有部分主机和大量子域名服务成为恶意软件和垃圾邮件的主要来源,鉴于此,我们进行一些细微的操作来保护用户和提高搜索质量,但如果我们发现特 定的主机上绝大部分站点发送垃圾信息或传播恶意软件时,我们就不得不对整个主机采取行动。为帮您控制恶意软件,我们提供:

o 适用于托管服务商的网络管理员安全浏览警报

o 适用于个人网站的管理员工具的恶意软件通知

o 适用于开发人员的安全浏览API

举报

  • 相关推荐
  • 文远知行斩获美国以外首张城市级L4 Robotaxi商运牌照,中东规模化布局提速

    11月10日,文远知行获阿联酋政府批准,取得全球首张城市级L4自动驾驶商业化运营牌照,可在阿布扎比开展无安全员的Robotaxi服务。这标志着其在中东实现纯无人运营落地。服务将通过Uber等平台上线,计划2026年车队扩至千台,2030年达数万台。凭借近百万公里数据与政府支持,公司将在阿布扎比实现单车盈亏平衡,并以此为起点推动全球智慧交通发展。

  • BOE(京东方)荣获第四届“纪念彼得·德鲁克中国管理奖” 创新管理模式获权威认可

    11月11日,BOE(京东方)在南京举办的“2025纪念彼得·德鲁克中国管理论坛”上荣获第四届“纪念彼得·德鲁克中国管理奖”。凭借融合战略引领、创新驱动、卓越运营与文化支撑的创新管理模式,BOE从近百家参选企业中脱颖而出。其“屏之物联”战略和“第N曲线”理论推动企业从技术引领向生态构建转型,并通过持续研发投入、专利积累及可持续发展品牌“ONE”,彰显中国企业管理模式的全球价值,为行业提供前瞻性范本。

  • 小鹏将推出3款全球化Robotaxi 2026年同步开启试运营

    小鹏汽车在2025科技日宣布,将于2026年推出三款全栈自研L4级Robotaxi,同步开启试运营。该车型搭载4颗图灵AI芯片,算力达3000TOPS,配备第二代VLA模型,具备强大泛化学习能力,能自适应全球不同交通习惯。作为中国首款全栈自研Robotaxi,无需额外改装,不依赖高精地图即可实现量产。车辆提供两套智驾方案,分别侧重通勤效率与极致安全,并在六大关键系统采用双冗余设计,确保行驶安全。小鹏还将开放Robotaxi SDK,与高德地图等伙伴共建全球服务生态。

  • 从“小家电制造商”到“生活方式品牌” 小熊电器三季报中的进化密码

    文章分析小熊电器从传统家电制造商向“生活方式”品牌转型的战略路径。通过产品创新(如叠叠锅3.0、便携消毒盒)、全场景解决方案(如小熊喂养台)和数字化制造,公司以用户需求为导向重构估值逻辑。其2025年三季报显示营收利润双增长,非厨房品类占比提升至33.98%,海外业务增速达138.84%。资本市场上,泡泡玛特、老铺黄金等高估值案例印证新消费企业正获得价值重估,小熊电器凭借“研发+智造+检测”体系,在行业价格战中日渐凸显韧性成长优势。

  • 参展商变投资商,进博会见证三星产业升级

    进博会是三星从参展商到投资商转型的重要平台。八年来,三星通过进博会洞察中国市场,加速产业升级:在天津建设全球领先的MLCC工厂和OLED屏幕生产线,推动高端制造;投资近550亿美元,尖端产业占比近90%;旗下新罗酒店加速在华布局。三星深度融入中国产业链,从"进入中国"迈向"融入中国",彰显与中国协同高质量发展的决心。

  • Mini LED时代即将终结!MacBook Pro将升级为OLED屏

    苹果爆料人Mark Gurman透露,MacBook Pro会率先升级OLED,时间是明年下半年,然后MacBook Air再跟进OLED,时间是2028年,届时MacBook Pro和MacBook Air都将全面迈入OLED时代。 Mark Gurman指出,苹果旗下的iPad系列、MacBook机型全部都将启用OLED屏幕,包括iPad mini、MacBook Pro、iPad Air和MacBook Air,且大概率会按此顺序推进。PS:入门款iPad暂无搭载OLED的计划。 值得注意的是,MacBo

  • 从全球充电技术领先者到苏超赞助商:酷态科的跨界“赋能”之路

    2025年10月31日,南京举办体育产业高质量发展大会,主题为“青奥赋能,文旅融合”。大会聚焦释放高质量户外运动潜力,推动“苏超”联赛带来的文体商旅融合发展。本土科技企业酷态科技作为苏超赞助商亮相,其凭借创新产品实现爆发式增长,在国内外市场表现亮眼。此次合作是科技与体育的跨界融合,共同服务人民美好生活需求,助力南京建设世界体育名城和全国足球重点城市,展现本土企业支持家乡体育事业的担当。

  • 性能猛兽,小巧身形:微星新一代海皇戟AS主机开售

    微星近日发布海皇戟AS迷你主机,搭载英特尔酷睿Ultra处理器及英伟达RTX 5060Ti显卡,以紧凑机身实现旗舰性能。配备32GB内存与1TB固态硬盘,支持Wi-Fi 6E和蓝牙5.3。通过优化散热系统保持低噪高效运行,满足游戏与专业创作需求。双十一期间活动价13149元,叠加优惠后最低10492元,支持免息分期与三年上门保修。

  • AI日报:百度发布文心5.0;可灵2.5Turbo模型上线“首尾帧”功能;微博推出 VibeThinker-1.5B

    本期AI日报聚焦多项技术突破:OpenAI推出GPT-5.1,提升对话自然度与响应速度;百度发布原生全模态大模型文心5.0,支持跨文本图像生成;微博开源VibeThinker-1.5B模型,以低成本实现高效推理;可控视频生成模型新增首尾帧控制功能;李飞飞团队推出商用3D世界生成工具Marble;东北大学开源多语言翻译模型支持60种语言;谷歌Gemini语音功能升级实现更自然交互;阿里启动“千问”项目对标ChatGPT,全面布局C端AI应用竞争。

  • 微信小程序将在iOS端支持接入虚拟支付 苹果抽成15%

    微信宣布小程序将在iOS端支持虚拟支付,标志着其在苹果平台发展进入新阶段。微信欢迎苹果对开发者的支持,并对苹果推出的小程序合作伙伴计划持积极态度。该计划将符合条件的iOS小程序内购佣金率从30%降至15%,旨在平衡平台与开发者利益。苹果与腾讯就微信小程序内购分成达成共识,此举将增加开发者收入、丰富平台内容,为用户带来更优质体验,同时为行业处理平台与开发者关系提供新范本。

今日大家都在搜的词: