首页 > 经验 > 关键词  > 托管服务商最新资讯  > 正文

谷歌:给托管服务商和网站管理员的一些建议

2011-12-29 15:50 · 稿源:站长之家

站长之家(chinaz.com)12月29日消息:一些网站管理员常在谷歌论坛上咨询影响他们站点托管的问题,为帮助托管服务商和站长们识别、诊断以及解决这些问题,谷歌中文网站管理员博客今日发布博文与站长分享一些常见的问题及解决方法。

全文内容如下:

• 拦截Googlebot 抓取功能。这是一个非常普遍的问题,通常因防火墙配置错误或DoS保护系统所致,有时也因站点运行的内容管理系统所致。保护系统是形成好的托管服务的重要组成部分, 通过配置来拦截异常的服务器频繁的请求,但有时也可自动完成。然而Googlebot通常会执行比个人用户更多的请求,所以这些保护系统也会决定拦截 Googlebot,并阻止其抓取您的网站。如需查验此类问题,您可以使用网站管理员工具中的Googlebot抓取方式功能,并查看网站管理员工具显示的其它抓取错误。

我们向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的网站管理员和托管服务商提供了几个工具:

我们就如何使用拒绝googlebot协议配置 URL 参数来控制“Googlebot抓取方式”功能提供了详细的帮助。

如果您担心使用Googlebot的代理程序,我们提供了一个方法来验证该抓取工具是否为Googlebot。

如果您想改变Googlebot抓取您的站点的频率,您可在网站管理员工具中验证您的网站,并且改变Googlebot的抓取速度。托管服务商也可验证他们IP地址的所有权。

• 可用性问题。我们常见的另一类问题是当Googlebot (及用户)试图访问站点时,网站无法浏览。这通常是由DNS问题、服务器过载引起的超时和拒绝链接问题、错误的内容分发网络配置(CDNs)、以及很多其它类型的错误造成的。当Googlebot遇到这些问题时,我们将之视为网址无法访问错误抓取错误并在网站管理员工具中报告该错误。

• 无效SSL证书。 要想SSL证书对您的网站生效,必须将它们与站点名称相匹配。常见问题包括过期的SSL证书,以及因服务器上所有网站使用同一个证书而导致的服务器错误配 置。在这些情况下,大部分浏览器会试图警告用户,Google则通过网站管理员工具发送一条信息来警告网站管理员。要解决这些问题,就要确保您所使用的 SSL证书对所有网站的域名以及您用户访问的子域名都有效。

• 通配符DNS。网站可通过配置来响应所有子域名的请求。例如,example.com的网站可以通过配置用来响应来自foo.example.com,made-up-name.example.com以及所有其它子域名的请求。

在某些情况下,这是网站管理员所希望发生的,例如一个用户生成内容的网站可自行选择给予每个账户各自的子域名。但在某些情况下,网站管理员可能不希望发生这种行为,因为这也许会引起不同的主机名将内容进行不必要的复制,还可能影响Googlebot抓取功能。

若想尽量减少通配符DNS设置中的出现的各种问题,您可以将您的网站设置成不使用它们,或者将您的服务器设置成对不存在的主机名不能成功响应,亦或拒绝连接或直接返回HTTP 404 页面。

• 虚拟主机错误配置。这种问题的特征是同一个服务器上托管的多主机和/或域名总是只返回一个站点的内容。换言之,尽管服务器托管多个站点,但它不管请求内容是什么却只返回一个站点。要诊断此问题,您需要验证服务器是否正确地响应了HTTP 主页面。

• 通过特定的URL托管复制内容。 很多主机基于测试/开发的目的,为您的网站提供URL。例如,如果您在托管网站example.com上托管https://a.com/,托管提供商可能 会提供如 https://a.example.com/ 或 https://example.com/~a/这样的URL地址来作为您网站的入口。我们建议不要将这些特定的URL托管设置成可被公开访问的状态(通过 密码保护它们);即便这些URL可被访问,我们的算法通常选择网站管理员所想要的URL地址。如果我们的算法选择特定的URL托管,您可通过正确执行规范化技术来对我们的算法做出改动,从而选择您首选的URL。

• 软错误页面。某些托管服务商用HTTP 200状态码(表示“成功”)而不是HTTP错误状态码来显示错误页面。例如,一个出现“页面无法访问”字样的错误页面可能会返回HTTP 200而不是404,从而造成软404页面;一条“网站暂时无法访问”信息返回的可能是HTTP 200,而不是正确地返回503HTTP状态码。我们努力检测软错误页面,但当我们的算法无法检测出主机软错误页面时,这些页面的错误内容可能被列入索引,导致分级或跨域选择网址的问题。

检测返回的状态码很简单:只需采用任一一种工具,如Googlebot抓取方式,查看服务器返回的HTTP页面。如果一个错误页面返回的是HTTP 200,那么我们可以改变配置使其返回正确的HTTP错误状态码。同样,请留意网站管理员工具软404报告中有关抓取错误页面的诊断方法。

• 内容修改和框架(frames)。 网站管理员可能惊讶于看到页面内容被托管服务商修改,尤其是在页面插入脚本或图片。除此之外,主机还可能通过使用frames或iframe将内容嵌入其 它页面来托管内容。如果想查看主机是否以您意料之外的方式修改您的内容,只需查看主机托管页面的源代码,并将其与您上传的代码进行比较。

请注意某些服务器端代码的修改可能非常有用。例如,一个使用Google Apache加速模块或其它工具的服务器可能会压缩代码来优化页面载入速度。

• 垃圾信息和恶意软件。 我们经常看见有部分主机和大量子域名服务成为恶意软件和垃圾邮件的主要来源,鉴于此,我们进行一些细微的操作来保护用户和提高搜索质量,但如果我们发现特 定的主机上绝大部分站点发送垃圾信息或传播恶意软件时,我们就不得不对整个主机采取行动。为帮您控制恶意软件,我们提供:

o 适用于托管服务商的网络管理员安全浏览警报

o 适用于个人网站的管理员工具的恶意软件通知

o 适用于开发人员的安全浏览API

举报

  • 相关推荐
  • 如何选择绿标认证服务商?有什么注意事项?

    6月20日,亚马逊与绿舟联合举办"2025亚马逊绿标新规全解读"直播活动,重点解析气候友好认证计划(CPF)最新政策与实操难点。直播中解答了卖家关于产品准入、认证复用、站点覆盖等十大高频问题:1)多数产品可加入CPF,但欧盟能效标签D-F级产品除外;2)C级以下产品无法加入,C级以上可通过卖家后台申请;3)后台已上线数据端口但追踪板块暂未更新;4)CPF已覆盖14个主流站点;5)工厂认证需区分FSC宣传授权与OEKO成品认证;6)主体不一致时需证明供应链关系才可复用证书;7)选择服务商需核实资质与方案匹配度;8)亚马逊两种自有认证可免费获取;9)认证产品应突出环保信息、目标受众和CPF标识;10)绿舟提供双认证方案对比和全程护航服务。数据显示,加入CPF首年产品销售额平均增长12%,欧盟五国达15%。随着全球碳中和趋势深化,绿标认证正从可选项变为竞争刚需。

  • 联想保内授权服务商携手联想百应,开启多品牌电脑维修新征程

    联想百应携手联想保内授权服务商,拓展多品牌电脑维修服务。用户通过联想百应授权维修站,可享受覆盖国内外主流品牌的专业维修支持,获得统一便捷的服务体验。此次合作标志着联想百应在IT服务领域的重要突破,通过线上线下服务网络,提供硬件更换、系统修复、数据恢复等一站式解决方案。服务坚持专业、快速理念,为企业用户提供统一报修入口和数字化管理,为个人用户提供非联想品牌设备的可靠维修支持。联想百应秉持诚信经营、透明收费原则,推行标准化服务模式,持续优化用户体验。此次合作不仅整合双方资源,更为电脑维修行业树立了服务标准化、专业化的新范式。

  • 绿舟荣膺亚马逊SPN首批CPF服务商,定义跨境电商碳合规服务新标杆!

    亚马逊SPN是官方认证的第三方服务商平台,为卖家推荐经过严格审核、具备专业能力和合规信誉的服务商。绿舟荣膺亚马逊SPN首批CPF服务商,其服务特点包括:公司资质稳定、团队专业经验丰富、无违规记录、客户评价良好、服务体系完善。绿舟碳合规服务由商务、项目、交付三大团队协作完成,覆盖认证前方案讲解、认证中报价答疑、认证后测量计算全流程。目前绿舟已服务超70%跨境百强企业,涵盖3C、家电、服装等多个品类。

  • 智能座舱AI测试服务商盘点 ——Testin 云测

    文章探讨了智能网联汽车与智能座舱的发展趋势及测试挑战。智能座舱正从传统人机交互向全域智能化生态演进,其软件系统的稳定性、交互精准度和迭代敏捷性成为车企竞争关键。行业面临三大测试痛点:异构设备协同测试的资源调度困境、复杂场景的全链路测试覆盖难题,以及敏捷开发模式下的质量保障矛盾。Testin云测通过AI测试系统XAgent提供解决方案,采用微服务架构和容器化部署,实现测试资源弹性调度,并融合机器视觉、自然语言处理等技术提升测试效率。实践案例显示,该系统帮助车企提升测试效率35%,自动化覆盖80%功能点,缺陷检测率提升55%,全年节省测试成本超千万元。未来,随着智能座舱向舱驾融合、多模态交互发展,测试技术将呈现AI深度赋能、虚实结合仿真等趋势。

  • 哪个网站的AI产品库最全?最全AI工具网站平台推荐

    本文介绍了AI工具爆发式增长背景下,全面及时的AI产品库的重要性。重点推荐AIbase平台,该平台收录7000+AI产品,覆盖30+功能分类,支持多维度筛选,数据实时更新。AIbase优势包括:1)全品类覆盖;2)开发者友好,提供API接口;3)个性化体验,支持收藏和导出工具清单。适合内容创作者、开发者、学生等各类用户使用。通过AIbase可快速找到适合的AI工具,提升工作效率。访问�

  • MCP server资源网站去哪找?国内MCP服务合集平台有哪些?

    在人工智能飞速发展的今天,AI模型与外部世界的交互变得愈发重要。一个好的工具不仅能提升开发效率,还能激发更多的创意。今天,我要给大家介绍一个宝藏平台——AIbase(<https://mcp.aibase.cn/>),一个专注于MCP(Model Context Protocol)服务的全球集合平台,它正在悄然改变AI应用开发的格局。 平台精心挑选了全球最受欢迎的MCP服务进行推荐。这些服务经过了市场的检验,具�

  • Cactus Custody 再获 “亚太区域年度托管商”奖项,月内连获两个大奖

    6月5日,矩阵之门旗下合规数字资产托管平台Cactus Custody在Hedgeweek举办的"2025全球加密资产盛典"上蝉联"亚太区年度托管商"大奖。这是继2024年获奖后,该平台第二次获此殊荣。Cactus Custody采用冷热一体多层安全架构,已为全球超300家机构托管数十亿美元资产,保持零安全事故记录。平台不仅提供标准托管服务,还支持一站式DeFi接入和机构级场外清算服务。总经Wendy

  • 谷歌“坟场”再添一员:将于 12 月关闭 Instant Apps!

    2017 年首次推出的 Instant Apps 功能将于 2025 年 12 月正式退役。届时,用户只能回归“老老实实用网页”的生活方式了……

  • 卖家精灵受邀出席2025世界跨境电商发展大会,并入选2024全球跨境电商营销优质服务商

    2025年6月17日,"2025世界跨境电商发展大会"在廊坊成功举办。云雅科技旗下产品"卖家精灵"凭借跨境电商大数据SaaS领域的创新实践,荣获"2024全球跨境电商营销优质服务商"重量级奖项。该产品通过智能选品矩阵、AI驱动提效等功能,已服务超150万亚马逊全球用户,获得亚马逊官方认证。目前支持中英日三语及10+国家站点,2019年开拓日本市场后,2024年加速布局北美、欧洲及东南亚等关键区域。此次获奖标志着中国跨境电商服务的技术创新获得国际认可。

  • 喂养不焦虑!小熊电器「托管级」喂养方案,安心直达

    文章介绍小熊电器推出的消毒泡奶一体机,专为现代家庭设计,解决传统喂养中的消毒、泡奶、摇奶等繁琐流程。产品采用12L不锈钢消毒仓和高效紫外线杀菌技术,实现99.99%杀菌率;智能定量出水系统可精准控制水温和水量;无水暖奶器通过450r/min双向摇动技术,避免奶块和气泡产生;40℃恒温热风系统快速加热。该组合设备简化了喂养流程,让父母从重复劳动中解脱,获得更多亲子时光,重塑科学育儿的轻松体验。