首页 > 业界 > 关键词  > 百度百科最新资讯  > 正文

防止内容被抓取训练AI:百度百科屏蔽谷歌/必应等搜索引擎

2024-08-22 10:52 · 稿源: 快科技

近日,据悉百度百科实施了屏蔽措施,针对谷歌和必应等大多数搜索引擎及爬虫进行了限制,旨在阻止这些外部搜索引擎未经授权抓取百度百科内容用于人工智能(AI)训练。

根据百度百科的 robots.txt 文件,目前仅允许少数搜索引擎抓取其内容,包括百度搜索、搜狗搜索、中国搜索(Chinaso)、YYSpider 和宜搜搜索(EasouSpider)。

百度百科屏蔽搜索引擎

谷歌搜索、必应搜索、微软 MSN、UC 浏览器的 Yisouspider 及其他所有搜索引擎爬虫均被明确禁止抓取百度百科内容。

虽然 360 搜索未在屏蔽列表中单独列出,但百度百科的策略是禁止任何非白名单爬虫抓取,因此 360 搜索和其他搜索引擎也受到影响。

值得注意的是,百度百科的屏蔽措施只能防范守法的爬虫,而一些非法爬虫仍可能采用其他方式抓取内容用于 AI 训练。

举报

  • 相关推荐
  • 欧洲准备试行“开放网页索引”,以减少对谷歌必应的依赖

    全球用户普遍反馈称搜索结果质量正在持续下降。许多网站运营者也抱怨 Google 正在“封闭”其生态系统,限制用户跳离他们的平台。而生成式 AI 工具也频频出现信息不准确的问题……

  • 百度网盘位列AI产品榜APP第一,AI激活网盘内容管理、消费新增量

    6月3日AI产品榜显示,百度网盘APP月活用户超1.5亿,位列国内应用总榜第一、全球总榜第二,仅次于ChatGPT。百度网盘已推出AI笔记、听记、扫描、打印等多项功能,覆盖生活娱乐、学习办公等场景。百度文库在AI内容创作赛道排名第一。百度网盘与文库联合推出的"AI笔记"上线一个月用户达500万,被高校学生称为"备考神器"。此外,百度还发布了全球首个内容操作系统"沧舟OS",整合了网盘和文库的海量数据。数据显示,百度网盘AI月活用户超8000万,文库AI月活超9700万,已成为大模型时代的领先AI产品。

  • 2025年MCP服务器搜索引擎大揭秘,优质MCP资源网站推荐

    AIbase推出MCP资源网站(mcp.aibase.cn),为开发者提供全面支持。该平台汇集全球热门MCP相关GitHub仓库,包含基础工具、应用示例和扩展工具等丰富资源。网站实时更新最新项目,保持与GitHub同步,并提供详细技术文档和教程。开发者可在活跃社区中交流经验、分享项目。平台采用严格数据保护措施,包括权限控制、数据加密和安全审计。适用于初学者学习、企业级开发和社区协作,帮助开发者快速掌握MCP技术,加速开发进程。

  • 百度心响上线iOS版,多智能体协作用终于卷对地方了

    今年的4月26日,我们测评了百度新发布的多智能体协作应用心响APP。当时只上线了安卓版,很多网友在线求苹果版链接。 就在这几天,iOS版也终于上线了,只需要在苹果的APP Store搜索关键词即可下载。 现在,苹果安卓用户全部免费用,完全不限量! 在第一时间体验了iOS版心响APP,我们基本上可以下一个判断:智能体应用,终于卷对地方了。

  • 百度回应支付李彦宏私人飞机费用:合理操作 大厂普遍存在

    百度发布2025年Q1财报:总营收325亿元,同比增长3%;核心营收255亿元,增长7%;净利润77亿元,大增42%。财报披露公司向董事长兼CEO李彦宏支付飞机相关费用引发关注。百度回应称该信息已在4月年报中披露,费用经内部审批流程规范合理,强调上市公司交易行为有严格规范,且国内外大厂支付高管飞机费用属常见现象。此前百度集团曾表示,2022-2024年经董事会批准,将为李彦宏因公使用私人飞机产生的费用提供报销,费用标准参照同类飞机市场收费分析确定,且该费用占公司整体财务比重不大。

  • AI搜索混战:谷歌搜索AI Mode反击,纳米AI中国登顶

    文章探讨了AI搜索领域的变革与竞争。谷歌在ChatGPT发布后意识到威胁,迅速调整战略推出AI Overview功能。目前AI搜索产品主要分为三类:原生AI搜索(如Perplexity)、传统搜索增强AI能力(如New Bing)和大模型厂商的搜索产品(如Kimi)。Perplexity凭借"答案引擎"的创新模式快速崛起,通过优化用户提问方式、提供精准答案并标注信息来源,月活用户突破千万。但这类产品面临�

  • 百度百家号上线首档纪实向内容IP“换个角度看世界”,破亿分发见证时代切面

    百度百家号推出纪实IP《换个角度看世界》,首季聚焦"非常规职业",通过6位职业者的真实故事展现被主流视野遮蔽的人生智慧。节目打破算法编织的"信息茧房",以外卖小哥、制鼓艺人等非典型职业者为镜,折射当代人对抗平庸的生命姿态。上线半月收获20万+投稿,总播放量破亿,相关话题登上百度热搜。平台将持续孵化深度内容生态,鼓励创作者记录多元真实的世界图景,为观众提供打破认知桎梏的镜子。

  • 谷歌AI搜索“上广告”了,还说:这是为了用户好,对他们“有帮助”

    谷歌悄悄地开始在他们 AI 驱动的搜索功能中投放广告了,而且,这家科技巨头还想让你相信 —— 它这么做是“为了你好”……

  • 腾讯AI数字人AvaMo落地商用,百度/微美全息加速虚拟人生态闭环构建

    腾讯与Offshore公司达成战略合作,推出面向日本市场的AI数字人视频生成服务"AvaMo"。该服务基于腾讯云智能数字人技术,仅需1-3分钟视频样本即可创建高保真数字人,支持实时交互,能将30秒视频制作时间从传统的12小时压缩至15分钟。同时,百度也在数字人领域发力,展示手语数字人、直播数字人等应用案例。我国数字人产业生态日益完善,相关企业已达114.4万家。微美全息等企业通过整合AI、计算机视觉等技术,显著降低商业化门槛,推动数字人在社交、娱乐等场景的个性化应用。随着生成式AI技术发展,数字人制作效率和多样性显著提升,用户可打造更具个性化的数字产品。

  • 百度一定可以改变世界!李彦宏宣布:未来5年 再为社会培养1000万AI人才

    百度创始人李彦宏宣布未来5年将培养1000万AI人才。此前百度2020年提出的500万AI人才培养计划已提前完成,现推出"百度人才培养星河计划"再造500万人才。今年百度还计划开放21000个实习岗位,并推出三大实习专项计划,让学生参与核心产品研发。李彦宏表示百度在AI各层面都有领先产品,这是全体员工共同努力的结果,对未来发展充满信心。