首页 > AI头条  > 正文

AI爬虫“入侵”网络:Fastly 报告揭示,Meta、OpenAI 等巨头成主要流量来源

2025-08-22 09:43 · 来源: AIbase基地

您好,这是一份我为您整理的关于AI爬虫对网络影响的新闻稿,内容紧凑且重点突出。

据云服务公司 Fastly 最新报告显示,人工智能(AI)爬虫正在给开放网络带来沉重负担,网站流量的显著增长并非来自人类访客,而是日益庞大的机器人程序,特别是来自大型AI公司的爬虫和抓取程序。

报告指出,在所有访问网站的AI机器人流量中,AI爬虫占据了高达**80%的份额,而剩下的20%**则由 AI抓取程序贡献。这些抓取程序会在用户向大型语言模型(LLMs)请求训练数据日期之后的信息时按需触发,从而在短时间内造成流量的爆发式增长。

黑客 泄露

在AI爬虫流量方面,报告揭示了主要科技公司所占的比例:Meta 的AI爬虫流量占比高达 52%,居于首位;紧随其后的是 谷歌OpenAI,分别占据了 23%20% 的流量;而 AnthropicPerplexity AI 所占份额较小,分别为 3.76%1.12%

与AI爬虫相比,AI抓取程序的流量爆发性更强。Fastly 监测到,一个抓取程序每分钟就能产生超过 39,000个请求。值得注意的是,OpenAI 公司在AI抓取程序流量中占据了绝对主导地位,占比高达 98%。这表明,当用户向OpenAI的大模型提出实时性信息需求时,会触发大量的即时抓取行为,对网站服务器造成瞬间的巨大压力。


  • 相关推荐
  • 阿里下场抢AI超级流量入口了

    在过去三年的全球AI军备赛中,阿里巴巴的主要精力放在面向B端的AI基建上,在To C的AI原生应用中,并没有投入过多精力。高盛也提出了“中国人工智能产业,AI基建看阿里,AI应用看腾讯”的观点。 然而,阿里巴巴不会轻易放过争夺下一代超级流量入口的机会,在2025年临近收官之际,向行业又投下一颗重磅炸弹。 在阿里启动“千问”项目的消息传出四天后,11月17日,阿里�

  • OpenAI也来了,巨头为何决战AI浏览器?

    AI浏览器赛道再添一位重量级玩家——ChatGPT Atlas,这是OpenAI推出的首款人工智能驱动的网页浏览器。 这也被外界认为OpenAI要向谷歌宣战,挑战Chrome一直以来的浏览器霸王地位。ChatGPT Atlas发布当天,谷歌母公司Alphabet股价应声下挫,盘中最大跌幅接近5%,足见市场对这一新品的敏感度。 近一年来,AI浏览器的战略价值成为行业共识,从业者更是将其与智能代理(Agent)、搜索引�

  • OpenAI发布GPT-5.1:情商大涨 本周开始推送

    OpenAI正式推出GPT-5.1模型,以“智商与情商深度融合”为核心亮点。新模型优化推理能力,强化情绪价值与个性化交互,包含Instant与Thinking两大核心版本:Instant首次引入自适应推理功能,针对复杂任务延长思考时间,简单问题保持极速响应;Thinking版本智能分配思考时长,提升回答透彻度与通俗性。新增Auto功能自动匹配最佳模型,支持六种官方预设风格及精准微调。安全评估首次纳入心理健康与情感依赖维度,防范拟人化风险。付费用户可保留旧版三个月过渡期。

  • TME们的黄金时代,迎来AI终结者

    过去十年,中国与全球的音乐流媒体平台都在同一套逻辑下运行:依赖庞大的版权曲库、依赖订阅制、依赖“以版权为护城河”的内容供给方式,稳稳地坐在产业链的中心位置。 无论是 TME,还是网易云,平台之间的竞争从本质上都不是产品之争,而是版权之争——谁拥有更完整的曲库、谁能锁定更多独家资源,谁就拥有更牢固的用户粘性。 然而,随着AI音乐过去一年里爆发式

  • 全球“双11”热潮席卷俄罗斯!即将引爆Yandex Market平台流量!

    2025年俄罗斯电商旺季即将开启,中国“双十一”购物节已发展为全球商业盛事。俄罗斯电商平台Yandex Market将“双十一”作为重要促销节点,数据显示2024年其销售额同比增长1.4倍,订单量增长1.7倍。平台将于11月29日在深圳举办品牌峰会,发布招商、物流及流量政策重大调整,并邀请胡锡进分享俄罗斯电商机遇。俄罗斯电商旺季持续4个月,占全年销售额一半以上,成为跨境卖家重要增长机会。

  • AI日报:李飞飞Marble 3D世界模型公测;OpenAI首次推出ChatGPT群聊功能;百度发布多模态 AI助手超能小度

    本期AI日报聚焦多项技术突破:World Labs推出Marble 3D模型,实现多模态生成可交互虚拟世界;OpenAI在韩新试点ChatGPT群聊功能,支持多人协作互动;苹果更新隐私政策,要求第三方AI调用需明示授权;百度发布多模态助手“超能小度”,支持空间感知与设备免费升级;LinkedIn推出AI人脉搜索,通过自然语言精准匹配专业人士;Cursor完成23亿美元融资,估值达293亿;Character AI与耶鲁合作实现音画同步技术Ovi;Google NotebookLM上线深度研究工具,支持多格式文件分析与知识库构建。

  • 你的品牌被 AI 搜到了吗?一文看懂 “GEO 指数” 打赢下一波流量红利

    本文介绍AI搜索时代的新指标GEO指数(生成式引擎优化),指出品牌需从传统SEO转向关注AI问答中的被提及、引用和推荐频次。文章解析GEO的核心价值:抢占AI推荐首位、传递信任信号、重塑竞争壁垒,并提供实操四步法——构建问答内容体系、优化提及信号、监测数据、整合传统SEO。最后推荐使用AIBase工具进行品牌监控,帮助企业在AI搜索红利期抢占流量先机。

  • AI全面落地双11,淘宝走出一条和OpenAI不同的路

    ​今年的双11已经进入最后阶段,消费者和商家都有一个明显的感受是,AI的浓度真的很高,并且AI的全面落地应用,真的在改变传统用户购物、商家经营的链路。 消费者能感受到两个比较明显的变化:一个是AI导购开始走进真实的购物场景。淘宝为双11投入了六款AI导购类产品,其公布的数据显示,AI万能搜已经帮助消费者解决了5000万个消费需求。 另一个则是平台推荐的商品越

  • AI搜索时代,品牌流量被“隐形”?AIBase让你精准掌控品牌AI搜索监控

    随着用户习惯向豆包、文心一言等AI助手提问,品牌竞争已从传统搜索引擎转向AI生成答案的“主动提及名单”。AI时代品牌面临三大痛点:内容难被AI推荐、品牌定位被AI误读、竞品提及率远超自身。AIBase推出品牌监控服务,通过全平台覆盖、精准解析品牌画像、GEO指数量化三大核心能力,构建“AI认知透视体系”,帮助品牌实现从“添加-分析-优化”的闭环管理,让复杂AI推荐逻辑变得清晰可操作,成为抢占用户心智的关键工具。

  • OpenAI和微软的关系没那么糟,跟英伟达也没那么好

    OpenAI的动作比所有人想象的都要快。 上周二,OpenAI完成重组。其中一个重要变化是:彻底取消了与微软的排他性协议,结束了Azure长达六年的云服务独占模式。此前,OpenAI所有模型的训练、推理与部署都必须优先选择Azure,微软还享有优先购买权。 宣布与Azure“分手”后不到一周,OpenAI便火速宣布了与AWS的战略合作——双方达成一项价值380亿美元的云计算协议,OpenAI将全面接入

今日大家都在搜的词: