首页 > 经验 > 关键词  > 托管服务商最新资讯  > 正文

谷歌:给托管服务商和网站管理员的一些建议

2011-12-29 15:50 · 稿源:站长之家

站长之家(chinaz.com)12月29日消息:一些网站管理员常在谷歌论坛上咨询影响他们站点托管的问题,为帮助托管服务商和站长们识别、诊断以及解决这些问题,谷歌中文网站管理员博客今日发布博文与站长分享一些常见的问题及解决方法。

全文内容如下:

• 拦截Googlebot 抓取功能。这是一个非常普遍的问题,通常因防火墙配置错误或DoS保护系统所致,有时也因站点运行的内容管理系统所致。保护系统是形成好的托管服务的重要组成部分, 通过配置来拦截异常的服务器频繁的请求,但有时也可自动完成。然而Googlebot通常会执行比个人用户更多的请求,所以这些保护系统也会决定拦截 Googlebot,并阻止其抓取您的网站。如需查验此类问题,您可以使用网站管理员工具中的Googlebot抓取方式功能,并查看网站管理员工具显示的其它抓取错误。

我们向那些希望更有效地控制Googlebot抓取功能并提高抓取效率的网站管理员和托管服务商提供了几个工具:

我们就如何使用拒绝googlebot协议配置 URL 参数来控制“Googlebot抓取方式”功能提供了详细的帮助。

如果您担心使用Googlebot的代理程序,我们提供了一个方法来验证该抓取工具是否为Googlebot。

如果您想改变Googlebot抓取您的站点的频率,您可在网站管理员工具中验证您的网站,并且改变Googlebot的抓取速度。托管服务商也可验证他们IP地址的所有权。

• 可用性问题。我们常见的另一类问题是当Googlebot (及用户)试图访问站点时,网站无法浏览。这通常是由DNS问题、服务器过载引起的超时和拒绝链接问题、错误的内容分发网络配置(CDNs)、以及很多其它类型的错误造成的。当Googlebot遇到这些问题时,我们将之视为网址无法访问错误抓取错误并在网站管理员工具中报告该错误。

• 无效SSL证书。 要想SSL证书对您的网站生效,必须将它们与站点名称相匹配。常见问题包括过期的SSL证书,以及因服务器上所有网站使用同一个证书而导致的服务器错误配 置。在这些情况下,大部分浏览器会试图警告用户,Google则通过网站管理员工具发送一条信息来警告网站管理员。要解决这些问题,就要确保您所使用的 SSL证书对所有网站的域名以及您用户访问的子域名都有效。

• 通配符DNS。网站可通过配置来响应所有子域名的请求。例如,example.com的网站可以通过配置用来响应来自foo.example.com,made-up-name.example.com以及所有其它子域名的请求。

在某些情况下,这是网站管理员所希望发生的,例如一个用户生成内容的网站可自行选择给予每个账户各自的子域名。但在某些情况下,网站管理员可能不希望发生这种行为,因为这也许会引起不同的主机名将内容进行不必要的复制,还可能影响Googlebot抓取功能。

若想尽量减少通配符DNS设置中的出现的各种问题,您可以将您的网站设置成不使用它们,或者将您的服务器设置成对不存在的主机名不能成功响应,亦或拒绝连接或直接返回HTTP 404 页面。

• 虚拟主机错误配置。这种问题的特征是同一个服务器上托管的多主机和/或域名总是只返回一个站点的内容。换言之,尽管服务器托管多个站点,但它不管请求内容是什么却只返回一个站点。要诊断此问题,您需要验证服务器是否正确地响应了HTTP 主页面。

• 通过特定的URL托管复制内容。 很多主机基于测试/开发的目的,为您的网站提供URL。例如,如果您在托管网站example.com上托管https://a.com/,托管提供商可能 会提供如 https://a.example.com/ 或 https://example.com/~a/这样的URL地址来作为您网站的入口。我们建议不要将这些特定的URL托管设置成可被公开访问的状态(通过 密码保护它们);即便这些URL可被访问,我们的算法通常选择网站管理员所想要的URL地址。如果我们的算法选择特定的URL托管,您可通过正确执行规范化技术来对我们的算法做出改动,从而选择您首选的URL。

• 软错误页面。某些托管服务商用HTTP 200状态码(表示“成功”)而不是HTTP错误状态码来显示错误页面。例如,一个出现“页面无法访问”字样的错误页面可能会返回HTTP 200而不是404,从而造成软404页面;一条“网站暂时无法访问”信息返回的可能是HTTP 200,而不是正确地返回503HTTP状态码。我们努力检测软错误页面,但当我们的算法无法检测出主机软错误页面时,这些页面的错误内容可能被列入索引,导致分级或跨域选择网址的问题。

检测返回的状态码很简单:只需采用任一一种工具,如Googlebot抓取方式,查看服务器返回的HTTP页面。如果一个错误页面返回的是HTTP 200,那么我们可以改变配置使其返回正确的HTTP错误状态码。同样,请留意网站管理员工具软404报告中有关抓取错误页面的诊断方法。

• 内容修改和框架(frames)。 网站管理员可能惊讶于看到页面内容被托管服务商修改,尤其是在页面插入脚本或图片。除此之外,主机还可能通过使用frames或iframe将内容嵌入其 它页面来托管内容。如果想查看主机是否以您意料之外的方式修改您的内容,只需查看主机托管页面的源代码,并将其与您上传的代码进行比较。

请注意某些服务器端代码的修改可能非常有用。例如,一个使用Google Apache加速模块或其它工具的服务器可能会压缩代码来优化页面载入速度。

• 垃圾信息和恶意软件。 我们经常看见有部分主机和大量子域名服务成为恶意软件和垃圾邮件的主要来源,鉴于此,我们进行一些细微的操作来保护用户和提高搜索质量,但如果我们发现特 定的主机上绝大部分站点发送垃圾信息或传播恶意软件时,我们就不得不对整个主机采取行动。为帮您控制恶意软件,我们提供:

o 适用于托管服务商的网络管理员安全浏览警报

o 适用于个人网站的管理员工具的恶意软件通知

o 适用于开发人员的安全浏览API

举报

  • 相关推荐
  • 可信数据空间解决方案供应商

    可信数据空间是基于共识规则连接多方主体,实现数据资源共享共用的基础设施。通过统一技术架构和治理机制,为数据要素提供安全、可信、高效的流通环境,确保数据在“可用不可见、可控可追溯”前提下释放价值。星环科技提供可信数据沙箱、隐私计算平台、数据安全网关等核心产品,支持数据全生命周期管理,已在金融等行业落地应用,助力客户实现数据合规流通与价值挖掘。

  • 从房屋管理到全龄守护,北京山谷用服务编织温暖生活网络

    北京山谷社区通过“制度与温情”双轨并行,构建出可信赖、可参与、可成长的生活共同体。推行“53024”服务机制,5分钟响应诉求、30分钟处理小修、24小时反馈复杂问题。服务覆盖房屋维护、健康关怀、社区共建等维度,从儿童乐园到康养中心,为全龄居民提供个性化服务。居民可参与社区功能空间设计,成为共建者。服务边界不断拓展,从传统供给转向“共同创造、共同维护、共同受益”的伙伴模式,用无数细微举动汇聚成包容温暖的家。

  • 基于华为云Token服务的稿定AI上线,一站式解决设计难题

    在视觉时代,AI正重塑设计交付方式。9月19日,华为全联接大会期间,中国商业设计品牌“稿定设计”推出基于华为云Token服务的AI设计平台“稿定AI”,实现从创意激发到成品交付的一站式服务。该平台具备灵感采集、创意激发、视觉精修等能力,通过分层内容生成和无限画布功能,让设计更高效可控。依托华为云算力支持,稿定AI大幅提升多模态大模型生成速度,文生图提速2

  • 曝MacBook塞进iPhone处理器:售价亲民

    分析师郭明錤透露,苹果MacBook系列新品规划:2026年底量产OLED版MacBook Pro,配备触控面板;2025年Q4推低价版MacBook,搭载iPhone同款A18 Pro处理器,目标年轻用户,配13英寸屏和多彩外壳,支持AI任务。苹果希望通过低价产品扩大市场份额。

  • 妙手ERP荣膺TikTok Shop 2025年度H1优质招商服务商,携手共创跨境新未来!

    8月27日,TikTok Shop在杭州成功举办2025东南亚跨境生态服务商大会,以“生态共融·价值共生”为主题,汇聚平台业务负责人、跨境专家及近百家优秀服务商代表,共绘东南亚跨境生态发展蓝图。妙手ERP凭借专业的跨境电商店铺运营解决方案、技术实力及优质服务,荣获“TikTok Shop 2025年度H1优质招商服务商”奖项。TikTok在东南亚拥有3.25亿月活用户,用户月均使用时长超35小时,平台采用“内容+货架”双场域模式,将直播与短视频打造为核心消费场景。2025年上半年,TikTok Shop东南亚市场总GMV突破168.64亿美元,已逼近2024全年规模,其中泰国市场以54.19亿美元领跑。妙手ERP已全面接入TikTok Shop东南亚全站点,提供全流程跨境电商SaaS解决方案,全方位赋能卖家降本增效。未来,妙手将秉持初心,持续提升产品功能与服务,护航跨境卖家高效出海。

  • 无视乔布斯意愿!曝苹果触摸屏MacBook Pro明年量产:19年来首次

    苹果首款支持触控屏的MacBook Pro预计2026年底量产,采用OLED屏幕和on-cell触控技术。这与乔布斯2010年反对触控屏Mac的立场形成对比,当时他认为垂直触控表面"从人体工程学角度非常糟糕"。2025年底将推搭载iPhone处理器的廉价版MacBook,但不支持触控;第二代或于2027年加入触控功能。这一转变基于对iPad用户习惯的观察,认为触控输入能提高生产力。此前2023年已有类似消息透露苹果工程师正积极研发触控Mac。

  • 快手电商“中秋美食季”上线,全方位资源助推商达打爆中秋节点

    9月13日,北京文化论坛首场专业沙龙“文化智造:AI重塑数字内容生产”在海淀三山五园文化艺术中心举办。活动聚焦AI驱动的内容生产变革和人工智能与创意转化两大主题,汇聚AI领域专家、科技企业代表及内容创作者,探讨AI在数字内容生产中的创新模式与变革路径。与会嘉宾强调AI不是替代者,人类创造力仍是核心,未来人机协同将带来更大机遇。海淀区作为全国首个备案大模型超百款的城市级区域,展示了AI技术赋能文化创新的实践成果。

  • B站想用「视频播客」吸引更多优质创作者

    近两个月,「视频播客」作为一种新的内容形态火了起来。不止一个平台入局,不止一个创作者参与。鲁豫与易立竞的对谈,罗永浩与李想、何小鹏的对谈,不仅在B站获得百万播放,切片内容还在全网传播。最近,甚至有人建议罗永浩邀请贾国龙录一期《罗永浩的十字路口》。 但「视频播客」与音频播客的区别是什么、与其他视频内容有何不同、市场空间和商业化前景如何�

  • BOE(京东方)携手UNESCO联合主办WCBR“科学十年”分会 彰显中国科技企业可持续发展实力

    9月22日,第五届世界生物圈保护区大会在杭州开幕,这是该会议首次在中国及亚太地区举办。BOE(京东方)作为首个支持联合国“科学十年”倡议的中国科技企业,携手联合国教科文组织联合主办“科学十年”分会,展示其以技术创新赋能非洲等欠发达地区科学发展的实践成果。会议期间,BOE通过“Windows to STEM”倡议推动非洲STEM教育能力建设,并发布可持续发展品牌“ONE”,彰显其全球化布局与可持续发展理念。未来,BOE将持续携手全球伙伴践行可持续发展,为全球科学普及与绿色低碳贡献力量。

  • 《海尔质量管理之道:从零距离到零边界》发布,人单合一破解AI时代质量管理难题

    《海尔质量管理之道:从零距离到零边界》新书发布,系统总结海尔40年质量管理经验。该书以“用户永远是对的”为核心理念,从早期“砸冰箱”事件到人单合一模式,展现了海尔质量管理的演进历程。书中强调在数字时代,企业需重新定义质量管理,通过零距离直面用户、零边界整合资源,实现用户体验至上。为全球企业高质量发展提供了中国模式的借鉴与参考。

今日大家都在搜的词: