首页 > 业界 > 关键词  > 百度百科最新资讯  > 正文

防止内容被抓取训练AI:百度百科屏蔽谷歌/必应等搜索引擎

2024-08-22 10:52 · 稿源: 快科技

近日,据悉百度百科实施了屏蔽措施,针对谷歌和必应等大多数搜索引擎及爬虫进行了限制,旨在阻止这些外部搜索引擎未经授权抓取百度百科内容用于人工智能(AI)训练。

根据百度百科的 robots.txt 文件,目前仅允许少数搜索引擎抓取其内容,包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider 和宜搜搜索(EasouSpider)。

百度百科屏蔽搜索引擎

谷歌搜索、必应搜索、微软 MSN、UC 浏览器的 Yisouspider 及其他所有搜索引擎爬虫均被明确禁止抓取百度百科内容。

虽然 360 搜索未在屏蔽列表中单独列出,但百度百科的策略是禁止任何非白名单爬虫抓取,因此 360 搜索和其他搜索引擎也受到影响。

值得注意的是,百度百科的屏蔽措施只能防范守法的爬虫,而一些非法爬虫仍可能采用其他方式抓取内容用于 AI 训练。

举报

  • 相关推荐
  • 百度百科“繁星计划”再加码,投入2000万基金激励权威内容建设

    百度百科在2026创作者大会上宣布升级“繁星计划”,追加2000万元基金激励权威内容建设,从权益加码、范围扩大、形态升级三方面突破。合作领域扩展至全部知识垂类,覆盖图文、视频、数字人及生成式UI。目前百科已联合超10万专家共建100万条专业知识,AI技术实现500%效率提升,科普视频“秒懂百科”日均播放6200万次。百科总经理表示,AI时代百科正变得更全、更准、更鲜活。

  • 2026百度创作者大会:AI引擎赋能创作 共生共筑新生态

    2026百度创作者大会在珠海举办,以“心有所AI,万象生花”为主题,展示AI技术赋能、流量扶持与多元变现成果。大会升级百度APP为超级APP,推动搜索从“信息获取”到“解决问题”的价值跃升。过去一年,百家号创作者规模增长23%,日新增内容量提升40%,累计分润金额达22亿。大会启动创作者大赛,设30万奖金池,新增AIGC专项赛道,并展示AI视频、热点捕捉等生态成果,助力创作者实现个人与商业价值双提升。

  • AI日报:千问PC端上线AI语音输入;字节发布全模态大模型Doubao-Seed-2.0-lite;谷歌更新AI搜索功能

    本期AI日报涵盖多项重要进展:千问PC端上线AI语音输入,提升办公效率;字节跳动发布全模态大模型Doubao-Seed-2.0-lite,实现视频、图像、音频与文本统一理解;腾讯联合多所高校推出开源多模态深度搜索智能体方案OpenSearch-VL;月之暗面申请“KimiClaw”商标,或涉硬件领域;Mininglamp开源Cider和Mano-P,打造本地AI工作站;OpenAI携手硬件巨头发布MRC协议,解决GPU闲置浪费;谷歌升级AI搜索功能,整合Reddit等社交观点;xAI推出Grok Imagine API质量模式,提升图像生成写实度。

  • AI生万象,灵感疯长——百度百家号AI创作者漫谈大会圆满落幕

    4月24日,百度百家号在珠海举办“AI+生万象,灵感疯长”创作者漫谈大会,聚焦AI助力IP孵化与创作赋能。大会探讨了AI在内容创作、IP价值实现和商业化中的应用,强调从短期流量转向长效资产。嘉宾分享包括多维复用IP策略、个人IP打造经验,以及AI如何连接创作者与IP,提升效率并实现商业闭环。同时发布AI x IP创投计划,推动平台、IP方和创作者协同共变,标志AI创作迈向规模化、专业化产业生产。

  • 对标OpenClaw!谷歌秘密内测AI智能体Remy

    谷歌正加速进军代理型AI赛道,开发代号为“Remy”的个人AI智能体。Remy深度集成Gmail、Chrome等核心服务,能全天候代表用户执行实际操作,而非仅生成内容。其核心是“行动”,可主动监控事项、处理复杂任务并学习用户偏好,被视为对OpenAI的直接回应。Remy寓意“划船者”和致敬动画《美食总动员》中的得力助手,预计将在本月I/O开发者大会上成为展示重点。

  • 百度百科十五年:暗藏波澜的战争

    ​求新求变是互联网产业的特征之一,所以“其兴也勃焉,其亡也忽焉”成了互联网产品的常态,“长寿”产品则珍稀程度远过于大熊猫。提起这些“大熊猫”,人们想起的往往是QQ、淘宝,其实还有一款人们经常使用但容易忽略的产品:百度百科。

  • 百度GenFlow4.0正式发布:把龙虾、剪辑Agent、Office三件套全塞进网盘

    百度文库与网盘联合发布通用智能体GenFlow4.0,全面升级Office Agent,用户可在网盘内一键部署OpenClaw,将文库网盘变成跨端AI工作台。新版本打通办公三件套,支持自然语言指令并行调用PPT、Excel、Word三个子智能体,实现跨模态内容理解与元素级自由编辑。GenFlow4.0深度兼容OpenClaw框架,支持零门槛一键部署,不占本地内存,手机端可发起任务、电脑端执行。此外,还提供预设Skills并支持接入开源生态。自去年4月上线以来,一年迭代4个版本,月活用户突破1亿,月任务交付量达2亿次。

  • 特斯拉“陶琳”百科内容被改 百度百科紧急回应

    特斯拉车主上海车展维权一事持续发酵。有自媒体文章爆料称特斯拉副总裁陶琳的百度百科介绍内容被修改,除特斯拉相关经历外其他内容均被删除,并质疑为百度百科内部人士修改。

  • 百度百科App将下线 相关功能迁移至百度App“百度百科”小程序

    百度百科官方宣布,为进一步优化用户体验,其现有的App将于2024年6月30日正式下线相关功能将迁移至百度App中的“百度百科”小程序。随着App的下线,用户们将无需再下载或更新这款独立的App。他们也对用户的新体验充满期待,希望能在新的产品中再次为大家服务。

  • 巧用:百度百科,内嵌视频,免费引流推广策略!

    特别是善于挖掘百度SEO排名的相关细节,比如:百度百科,内嵌关联性视频的调用...那么,引流推广,如何巧用“百度百科”,做视频调用展现!...根据多年百度搜索引擎营销的经验,蝙蝠侠IT,将通过如下内容阐述:...简单说明:百度百科词条,在展现相关词条内容的时候,会尝试性的去关联一些与目标词条相关的短视频内容,希望能够更加全面的展现词条内容,来帮助目标用户群体快速的理解词条内容...具体表现形式可参考如下举例:...进入词条之后,你同样会发现相关性视频,内嵌在百度百科之中......

今日大家都在搜的词: