首页 > 经验 > 关键词  > 网站分析最新资讯  > 正文

利用google analytics追踪搜索引擎蜘蛛的爬行日志

2011-03-18 10:45 · 稿源:www.robinli007.com

在做搜索引擎优化中分析搜索引擎的爬虫日志是非常重要的一步,大部分网站采取服务器日志数据 ,一般认为采用类似google analytics的页面标记法是无法捕捉搜索引擎爬虫的信息,然后两位法国google analytics的爱好者的一段代码却可以让我们轻松利用google analytics追踪搜索引擎spider的抓取信息。

要做到这个功能需要做以下步骤

第一步,添加一个新的profile配置文件,这个profile文件必须是设置为新的domain域名。

第二步下载analytics文件夹上传到网站根目录,里面包含了analytics 、config和patterns三个文件。

需要做的是修改config文件,

添加第一步中增加的新的profile id 号(非网站原始proflie id)

增加你的域名信息

添加你域名的哈希(hash)值信息,为域名cookie里面的_utma cookie内容字段的第一段id.

利用firebug cookie读出

里面的”109917574”’就是需要增加的id.

第三步 让网站每个页面都包含analytics文件的代码,可以在网站页面的公共调用部分(如footer header) 加入以下代码:

<?php include_once( “analytics/analytics.php”) ?>

以上步骤完成 等待两小时后 在google analytics后台便可以看到来自搜索引擎爬虫的爬行信息”

在内容(content)报告, 按来源选择可以很清晰的看到来自各爬虫的爬行信息

文章来源:https://www.robinli007.com/(转载请出门出处链接)

举报

  • 相关推荐
  • 国内MCP服务器搜索引擎有哪些?MCP导航站平台推荐

    在人工智能技术蓬勃发展的今天,AI模型与外部工具和服务的交互能力正成为推动技术进步的关键。AIbase(<https://mcp.aibase.cn/>)作为一个专注于MCP(Model Context Protocol,模型上下文协议)服务器的集合平台,为全球的AI开发者和研究人员提供了一个前所未有的资源库,助力AI技术的进一步发展。 AIbase平台的核心在于其对MCP协议的深度整合。MCP协议是一种开放标准协议,允许AI模�

  • 模型能力卷不过Google、快手,但这家视频生成创企却可能最先赚到钱?

    去年4月,我们曾经在《这个 AI 赛道,一个月内融资4笔,一大半的创始人是华人》选题中观察过 AI 视频赛道,彼时赛道 Top 级玩家还是 Pika、Pixverse、Haiper 等华人创企。

  • 微云全息(NASDAQ: HOLO)引领加密货币预测新纪元:HNFCS技术揭秘

    微云全息(NASDAQ:HOLO)开发了混合神经模糊控制系统(HNFCS),结合神经网络学习能力和模糊逻辑灵活性,能有效预测比特币等加密货币价格波动。该系统通过处理海量市场数据,动态调整预测模型,克服了传统方法在样本外预测和超时预测准确性方面的局限。HNFCS技术优势在于其自适应性和实时性,可扩展应用于多种金融场景,为投资者提供精准决策支持,有望成为加密货币市场的重要分析工具。

  • 出门问问发布Agentic AI软硬结合产品TicNote,定义新一代“AI思考伙伴”

    出门问问发布新一代AI硬件TicNote,内置"Shadow AI"系统,实现"有记忆的AI记录+主动洞察+主动分析+陪伴创作"功能。该产品通过软硬件结合,成为用户的随身AI思考伙伴,适用于会议、商务沟通、学习等场景。TicNote具备20小时续航、10米远距收音、120+语言转写能力,支持跨文件项目管理。CEO李志飞表示,TicNote是"用AI的AI做AI"的AGI实践产品,标志着公司在软硬结合道路上更进一步。国内版已上线,海外版自2025年4月推出以来获广泛认可。

  • 数智驱动 全球增长:RixEngine(睿力引擎)邀您共聚2025 ChinaJoy BTOB馆

    RixEngine将在2025 ChinaJoy(展位W3-B502)展示旗下三大智能广告产品:RixSaaS一站式程序化广告平台,10分钟即可部署自有广告系统;RixDesk智能营销平台,日均处理500亿+请求,覆盖1.3亿DAU;RixDev流量变现方案,连接全球头部DSP资源提升填充率。现场提供专家1v1咨询、专属解决方案及互动好礼。该全链路智能广告引擎通过大数据和深度学习技术,为广告主、开发者和平台运营商提供从系统搭建到流量变现的全方位服务。

  • IQAX助力TCL实现全球供应链数字化转型 实现超5万集装箱智能追踪

    国际航运数字化科技公司IQAX与TCL达成合作,其海运数字化解决方案已在TCL全球物流网络全面部署。该方案通过高精度追踪和AI预测技术,实现5万+集装箱的精准追踪,显著提升供应链管理效率。系统具备智能ETA预测预警功能,帮助物流团队快速响应运输异常。合作标志着TCL以数字化驱动全球化战略的重要实践,双方将持续深化技术应用,探索AI算法在物流预测中的创新,构建端到端可视化供应链体系。2024年TCL电视全球出货量达2900万台,此次合作将为其全球化运营提供坚实保障。

  • TikTok电商抢滩日本,有哪些机遇和挑战?

    ​TikTok电商全球化布局再落一子。 6月30日,TikTok正式在日本上线电商业务,核心模式为直播带货。品牌、卖家及创作者可通过发布含购物功能的视频或直播,在TikTok内直接销售商品。 在东南亚、美区等市场,TikTok电商已证明了其直播带货模式的爆发力。如今全球化布局再下一城,给从业者带来了哪些新的机遇和挑战? TikTok Shop在日本上线 早在4月28日,TikTok日本正式宣布推出

  • 从车企CIO视角看Testin云测的智能座舱AI测试实施案例

    文章探讨了智能座舱成为车企差异化竞争核心的趋势。2024年数据显示,智能座舱故障率高居新能源汽车投诉首位,暴露传统测试模式在复杂系统下的不足。以Testin云测为代表的AI测试服务商通过三大技术重构测试体系:1)视觉引擎实现跨系统界面识别,测试效率提升3倍;2)缺陷预测模型使65%问题在开发阶段暴露,降低后期修复成本50%;3)云端设备池化使硬件利用率从30%提升至65%。某头部车企案例显示,该方案使测试效率提升35%,缺陷检出率提高55%,年节省测试费用超千万元。未来趋势将向AI深度渗透、虚实结合测试和全生命周期管控发展。

  • 锐捷网络重磅发布RG-UNC CS网络数字化平台:四大核心能力重塑企业网络管理新范式

    锐捷发布RG-UNC网络数字化平台CS系列产品,通过全网统一融合管理、组网编排及自动化部署、便捷准入与访问控制、全链业务保障与可视四大核心能力,重新定义企业网络管理标准。该平台基于微服务架构打造,支持服务组件灵活扩展与故障自愈,兼容第三方系统,满足不同规模客户需求。CS系列面向大中型园区,支持"管、控、析、维、营"全生命周期管理;AS系列作为轻量化衍生品,适合中小型园区。产品实现分钟级上线、策略随行、业务一键逃生等功能,显著提升网络部署效率与运维体验。

  • 途易酒店集团亮相ITB CHINA,探索亚太发展机遇

    2025年上海国际旅游交易博览会(ITB China)成功举办,展会规模实现跨越式增长,展览面积较上年扩大30%,吸引来自85个国家的700余家参展商,与会人数突破20,500名。途易酒店集团(TUI Hotels & Resorts)在展会上表现亮眼,与行业伙伴进行了超40场深度洽谈,重点展示了旗下多个品牌矩阵。中国旅游市场展现出强劲复苏态势,出境游和国内游需求持续攀升。亚太地区作为全球旅游业重要增长引擎,正吸引越来越多国际酒店集团加大投资。途易集团亚太区董事总经理表示,中国及亚太市场充满活力,集团将深耕该区域,为全球旅行者带来更高品质的度假体验。