首页 > 经验 > 关键词 > 百度收录最新资讯 > 正文

如何避免大量重复URL被百度收录?

2015-07-01 17:03 · 稿源:站长学院

索引量工具显示索引量数值很高但流量总也上不去,也没有发现我们站内有低质内容,百度这是要闹哪样?在这篇文章中艺龙SEO负责人刘明分享了索引量高流量低的一个原因并给出的解决方案。

首先声明,我们只谈论有检索意义的URL,也就是用户会从搜索引擎查找的页面。其他页面按照常用的方法做屏蔽就好了。鉴于很多站长都爱讨论整体的收录量,我必须泼一下冷水,也许你的有效收录是1/10。

URL参数

也叫URL query,是一个最复杂,最容易被忽视,最容易被妥协的问题。他是网站运营中必不可少的元素,如果简单的去除,其他部门就无法工作了。 静态化是的话题,URL参数经常被用于以下几方面:

同一个实体的不同状态展示,比如同一个酒店,在不同时间点会有不同的房间库存:http://www.travel.com/hotel/123/?checkindate=2015-06-09&checkoutdate=2015-06-10

为了统计不同渠道的流量:http://www.a.com/?tracking=website_a

为了统计不同渠道,具体模块的点击量:http://www.a.com/?tracking=website_a&click_spot=zone_abc

调试:http://www.a.com/product/item123/?debug=true

全世界最奇葩的是亚马逊,居然把统计参数放到了路径中http://www.amazon.cn/abc/dp/B005TZHJEQ/ref=lp_2130608051_1_1

出现这种问题的坏处有几点:

1.浪费搜索引擎对你网站的各项配额,从而影响其他正常的页面。

2.丢失很多本应拿到的链接加分,站外渠道的链接往往是最优质的。同一个URL的分值可能分散成几十份。

3.SEO的流量被统计到别的渠道(因为tracking字段写的是别的渠道,而且被收录被点击)

4.往往形成一种局面,产品用一套URL,SEO用另一套URL, 甚至不同渠道用不同的URL,后期开发和维护的成本极高。

为了解决这个问题,首先要弄清URL的定义。以我的理解,每一个URL是一个静态的、独立不重复的、有意义的实体,一般也有检索意义(就是有人会搜)。比如一个人、一辆车、一条道路、一个零件。而不能混入各种"状态",比如这个人生病的时候,难道就不是他自己了么? 一件商品在促销的状态难道是另一件商品了么?

理论上canonical标签就可以解决这个问题了, 但是从实际测试结果看,百度对这个标签的支持优先级非常低, 几乎可以忽略不计。那么我的解决方案是这样的:

1.建立好网站的思维导图和元信息。 (可参考文章:如何保持SEO健康度? )

2.所有和SEO元信息相关的参数都放到路径中去

3.所有和SEO元信息不相干的参数都放到#后边,因为#后边不影响web服务器返回的内容。简单的说就是用"#"替代"?"。

4.每个页面中都利用js获取#后边的参数对,通过二次请求发回给统计服务器

5.如果#后边的参数影响页面内容,比如酒店的入住日期。那么这部分内容用ajax加载就行,他是不稳定的,不属于页面内容的一部分。(当然还有变通的办法,暂不赘述。)

6.原始的#锚点定义肯定会冲突,定义一个#后边的变量,并用js控制屏幕滚动,来保证原始锚点的作用。

有人可能会想到,根据ua判断,如果是搜索引擎爬虫,就用跳转的方式去掉URL参数。但效率最高的方法必然是从一开始就不展示错误URL。那么前面的例子优化后就变成了:

http://www.travel.com/hotel/123/#checkindate=2015-06-09&checkoutdate=2015-06-10

http://www.a.com/#tracking=website_a

http://www.a.com/#tracking=website_a&click_spot=zone_abc

http://www.a.com/product/item123/#debug=true

其实很多网站早就使用这种方式了,但是还有很多网站由于开发效率无法及时实现。所以对于一般的小网站,一定要考虑开发成本,不要轻易冒进。只要能避免问题的发生,变通的方法是很多的。

路径中使用非必要元素

很多网站仿照亚马逊的做法,把商品名体现在URL中,然后再通过id来决定页面展示的内容:http://www.amazon.cn/博集典藏馆043•基督山伯爵-亚历山大•仲马/dp/B005TZHJEQ/

这样虽然可以提高一些相关性,但是很危险。在长期甚至短期的时间内,大量商品的名称是非常可能有变化的,那么URL也就跟着变化。成本也是非常高的,因为加大了技术实现难度,不管从站内还是站外,每次增加链接都是一个很麻烦的事情。

在我接手艺龙SEO之前,URL被全部改成了这样,对我早期的工作造成了非常巨大的负担:http://www.a.com/Shangrila_International_Hotel-12345678-hotel/

通过日志分析发现基本所有的百度蜘蛛发起的请求都被301跳转了一次(日志分析方法可参考SEO健康度 )。细致调查后发现,从SEO拼接规则到后台的汉字和翻译数据被一直修改。也就是说,这个URL相关的元素有:

1.中文 (非必要元素)

2.由中文翻译的英文 (非必要元素)

3.id (必要元素)

而当时负责SEO的同事把英文和id拼接在了URL中,那么这样一个URL先后变成过:

http://www.a.com/Shangrila_International_Hotel-12345678-hotel/

http://www.a.com/Xianggelila_International_Hotel-12345678-hotel/

http://www.a.com/XiangGeLiLa_International_Hotel-12345678-hotel/

http://www.a.com/Shangrila_guoji_Hotel-12345678-hotel/

跟"相关性"比,URL的唯一性和稳定性更重要。所以针对这个问题,URL的最佳策略应该是:http://www.a.com/hotel/12345678/

如果这个id是隶属于一个分类下的,比如城市,那么就可以是:http://www.a.com/hotel/beijing/123/

从技术角度说, id一般是数据库的primary key,可以是数字也可以是字符串,那么这个时候URL是一维的; id也可以是联合的唯一索引,那么URL就是二维的,就像上面的(bejing,123)缺一不可。电商类网站列表页经常用到三维以上。

大小写

如果网站的技术架构用的是开源系统,一般是不会有这个问题的。如果使用了微软的技术架构,这个问题非常常见:

http://www.a.com/newyork/

http://www.a.com/Newyork/

http://www.a.com/NewYork/

我的建议是统一使用小写,大写自动跳转为小写(小心301死循环!)。

目录的规范

很多网站同时存在这样的URL,无形中把收录量扩大了一倍:

http://www.a.com/product/123

http://www.a.com/product/123/

上边第一个路径的意思是在product目录下有一个123文件。第二个路径的意思是在product目录下有一个123目录,这个目录下可能有很多文件,但是他代表众多文件中的index.html或index.php或default.aspx等优先级最高的那个文件。为了避免歧义,我定义文件都是用".html"结尾的。

为了减少重复收录,那么按我的习惯是:

http://www.a.com/product/123  => http://www.a.com/product/123/

http://www.a.com/product/123  => http://www.a.com/product/123.html

总结

1.所有部门统一使用SEO定义的URL,屏蔽非SEO URL的入口。

2.用"#"替代"?"

3.统一使用小写

4.保证目录的规范

5.把不规范的URL跳转到规范的URL

  • 相关推荐
  • 大家在看
  • 百度度小店是什么

    在抖音小店与快手小店之后,百度的度小店也来了。据了解,度小店平台成立于 2019 年 ,服务内容针对全面的电商解决方案,并提供建店、交易、结算、订单等全链路能力,充分满足客户所需,实现多维度营销及订单转化。那么度小店怎么样?以下是关于百度度小店的详细介绍。

  • 如何将访客转化为潜在客户?这个8个网站优化策略了解下

    你是否已经将自己的网站优化到最佳状态了呢?通过优化来产生潜在客户是转化网站已经获得的流量的最好方法之一。然而,如果你认为在网站的主页上添加几个“点击这里”的CTA策略(注:Callto Action,行动呼吁),就能获取更多的潜在客户,很遗憾的说,这个想法大错特错。

  • 腾讯跟百度谈入股爱奇艺?百度:不予置评

    6月16日消息,外媒援引知情人士透露的消息称,腾讯已经与拥有56.2%爱奇艺股权的百度就购买爱奇艺股份进行接洽,计划成为爱奇艺的最大股东。对此消息,百度方面回应不予置评。最新财报显示,爱奇艺2020年第一季总营收达76亿元人民币(约合11亿美元),同比增长9%,但运营亏损仍然达到22亿元人民币(约合3.166亿美元)。根据易观千帆的数据显示,2019年9月国内综合视频app排行,日均使用时长上,爱奇艺和腾讯视频分居第一?

  • 百度为什么那么喜欢「卖」公司?

    自 6 月 16 日,路透社报道称腾讯欲取代百度控股爱奇艺后,微博话题#腾讯计划入股爱奇艺#阅读量高达6602. 6 万,讨论达1. 4 万,爱奇艺股价涨幅更是达到40%。如果交易达成,长视频格局将从此变天。

  • 电商,百度的新战役

    百度正在不遗余力的加码移动生态的服务能力。在今年 5 月份的万象大会上,百度集团执行副总裁沈抖明确表示:“服务是移动生态的新方向。”在沈抖说完这句话后的一个多月的时间里,百度完成了对电商平台有赞以及消费品排行榜盖得排行的投资。

  • 度小店赚钱吗?百度度小店挣钱吗

    现在还是做网店创业赚钱的时候吗?遍地都是卖家,怎么才能从中脱颖而出?现在开店平台多了一个新的选择,百度度小店是为所有有开店诉求,具备企业或个体工商户资质的企业、机构、个人提供的直营电商行业解决方案,提供建店、交易、结算、订单等全链路能力,帮助电商客户实现多维度营销及订单转化。那么百度度小店挣钱吗?

  • ​百度回应向腾讯出售爱奇艺股权:爱奇艺是百度重要组成部分

    今日,针对“百度拟向腾讯出售爱奇艺股权”的报道,百度公关总监郭锋回应称,大家别乱猜了。爱奇艺是百度内容生态战略的重要组成部分,百度会一如既往地支持爱奇艺的发展。

  • 百度李震宇:百度无人车业务不会拆分 没有对外融资计划

    在今日下午的Apollo媒体沟通会上,百度集团副总裁、智能驾驶事业群组总经理李震宇表示,百度无人车不会分拆,现在也没有对外融资的计划。

  • 百度推出“高考放心搜计划”:清理2. 6万个恶意网站

    6 月 10 日,百度推出「高考放心搜计划」,为高三考生及家长提供信息和智能搜索服务:包括上千场高考直播、高考搜索大数据、闪电估分以及智能志愿助手等。考生和家长在百度App搜索「高考」、「高考直播」等关键词即可获取上述服务。

  • 排名超百度,这个搜索APP什么来头?

    搜索引擎行业风云变幻,各路人马登场亮相。今年 3 月,华为针对海外市场的搜索引擎HUAWEI Search开始内测。与此同时,经过半年多的测试,脱胎于网页版的头条搜索也上线了自己的APP。

  • 腾讯老干妈纠纷 百度接锅否认三连:与度无关

    7月1日消息,这两天,关于腾讯和老干妈公司之间因为广告费而引发的问题吸引了诸多网友关注。就在今天贵阳警方发布通报,有3人伪造老干妈印章与腾讯签订合同,已被刑拘。“3人伪造老干妈印章与腾讯签合同”一度成为微博上的热门话题。今天下午,网络上突然流传出一则“ 腾讯状告老干妈拖欠广告费提及某搜索引擎”的截图。对此,百度搜索紧急发布了“否认三连”表示此事与百度无关:“手里的瓜突然不香了……有一说一,?

  • 网页排序哪5个特征,百度颇为喜欢?

    常常用于表达一个人对于另外一个人的情有独钟,而在搜索引擎的领域里,很多SEO人员,常常试图去找寻一个“唯一的真理”那就是搜索排序中,到底哪个排序特征对于网页来讲,是最为重要的一个因素,而“我只喜欢你”,对于SEO而言,能不能真的把SEO做好。

  • 百度打脸哈佛新冠肺炎论文:不严谨

    6月12日消息,今年6月8日美国哈佛医学院一研究团队在哈佛 DASH 学术平台发表一篇未经同行评议的论文称,通过分析武汉医院停车场卫星图片、百度搜索趋势数据,发现早在2019年8月,武汉就开始出现新冠肺炎流行的迹象。因为该论文使用百度上“咳嗽”与“腹泻”关键词检索数量的变化来推导结论,对此,百度方面进行回应,表示,哈佛大学医学院论文这种研究方式是“非常牵强和不严谨的”,并呼吁相关研究更加科学严谨地引用

  • 百度移动生态事业群已经完成搭建直播中台

    近日百度移动生态事业群已经完成搭建直播中台,组建独立团队,负责人为古丰(真名为陈罗金),向百度副总裁、百度App总经理平晓黎汇报。公开资料显示,陈罗金 2010 年从网易加入YY欢聚时代,并发起和孵化了YY的游戏直播团队

  • 爱采购是什么?百度爱采购平台介绍

    百度爱采购是百度旗下的B2B垂直搜索引擎,于 2018 年 10 月 19 日上线。百度爱采购旨在帮助用户一站直达全网商品信息,触达海量优质商家。商家可通过百度爱采购与百度搜索无缝对接,满足用户对于采购信息检索的需求,同时为入驻企业找到精准买家。百度爱采购用AI帮助中小企业更好地解决采购批发渠道、货源问题。以下是百度爱采购平台的详细介绍。

  • 直播带货段位升级:从“OMG,买它”到百度“慢”直播

    刚刚结束的618,最大的亮点当属直播带货。抖音、快手等短视频平台拥有头部主播,发挥了“人”的核心优势;淘宝、京东等电商平台展现了“货”的优势;而百度作为知识与信息的平台,像一路奇兵,发挥了“场”的优势。

  • 百度知识直播带货,这条弯路能走通吗?

    直播带货都如火如荼了,百度才匆匆入场,显得有些后知后觉。但百度的确带来不一样的直播玩法。如果说老罗亲自直播带货,是作为商人的执著;那么李彦宏布局百度「知识直播带货」,就是文人企业家的变通。

  • 路透:腾讯计划入股爱奇艺 已经与百度接触

    路透社援引两名知情人士消息称,腾讯控股打算成为它的视频流媒体竞争对手爱奇艺的最大股东,以降低成本。其中一名知情人士表示,腾讯已经与爱奇艺56.2%股份持有者百度进行接触,希望购买规模尚未确定的股份。不过目前还不清楚腾讯是否已经与爱奇艺接触。该名知情人士称,采取这样的策略将可以提高生产和购买内容时的议价能力,同时降低营销成本。知情人士也表示,该计划尚处于早期阶段,随时可能

  • 百度推出“高考放心搜计划” 彻底封杀“野鸡大学”

    6月10日消息,在高考即将到来之际,百度今天宣布推出“高考放心搜计划”。为考生和家长,提供权威信息和智能搜索服务。具体来看,服务包括上千场高考直播、高考搜索大数据、闪电估分

  • 百度并购云游戏厂商“红手指”

    据天眼查数据显示, 6 月 2 日,湖南微算互联信息技术有限公司发生多项工商变更,其中多位股东退出,仅剩股东为北京百度网讯科技有限公

  • 参与评论
文明上网理性发言,请遵守新闻评论服务协议