首页 > 外闻 > 关键词  > 谷歌最新资讯  > 正文

谷歌开源robots.txt 欲引领搜索引擎爬虫的行业标准

2019-07-02 13:56 · 稿源: cnbeta

外媒 VentureBeat 报道称,谷歌希望将发展数十年的 robots.txt 解析器开源,以推动 REP 成为搜索引擎爬虫的行业标准。机器人排除协议(REP)是荷兰软件工程师 Martijn Koster 于 1994 年提出的一个标准,几乎已经成为了网站不希望被搜索引擎收录的注释的事实标准。(截图 via Venture

......

本文由站长之家合作伙伴自媒体作者“cnbeta”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 吐车上150美元!特斯拉Robotaxi将收取清洁费

    近日,特斯拉Robotaxi新增规定,乘客若在后座呕吐弄脏车辆,需支付清洁费。 据X平台博主透露,特斯拉推出了两档清洁收费标准,收费档位根据车辆清洁所需的工作量划定。 乘客若在车内泼洒污渍、吸烟、呕吐,或造成其他严重污损车辆内饰的行为,将会因自身违规行为被收取最高150美元的清洁费。 若撒落薯条、带入泥土这类只需简单吸尘清理的情况,清洁费为50美元。

  • REDMI Pad 2 Pro官宣:与Turbo 5 Max同场发布

    Redmi Pad 2 Pro将与Redmi Turbo 5 Max同场发布。前者续航、性能、学习体验全面升级,支持手写笔与专属键盘,是学习工作好拍档。后者首发天玑9500s,综合跑分达361万,性能强悍。小米集团总裁卢伟冰强调,天玑9500s是真正旗舰原生、满血满配的芯片,采用3nm工艺,全大核架构,芯片面积突破126平方毫米。Turbo 5 Max将全面对标2.5K档,甚至挑战越级性能旗舰。

  • 开源向实 产业筑基:RT-Thread睿赛德的二十年跨越之路

    2026年1月17日,“开源向实·生产力进化启示录”全球峰会暨RT-Thread睿赛德二十周年开发者大会在沪举行。大会汇聚政府领导、院士、企业代表、全球开发者及技术管理者,共话开源如何重构生产关系,促进生产力发展变革。RT-Thread创始人熊谱翔回顾了系统二十年从实时内核起步到形成完整生态闭环的关键演进,累计装机量超25亿台,社区开发者规模突破30万。大会通过四大分论坛探讨“芯片+生态”“汽车+AI”等核心场景,并举行多项签约仪式。与会者一致认为,基础软件正被多行业同步认可与采用,逐步沉淀为产业级通用能力,开源已成为推动产业升级与自主可控建设的重要支撑力量。

  • 抢占 AI 搜索流量高地!GEOBase:让品牌在生成式引擎时代 “被看见、被推荐”

    AI对话模型重塑搜索生态,品牌面临如何在海量信息中被精准“找到”的难题。GEOBase作为企业级智能数据平台,提供从品牌数据监测、竞品分析到内容优化的全链路解决方案,帮助品牌跳出“盲目试错”困境,用数据驱动决策。多个行业案例显示,借助其功能,品牌AI提及率、用户咨询量及转化率均获显著提升。在AI搜索流量快速增长的趋势下,GEOBase助力企业高效抢占流量高地,实现智能时代的战略破局。

  • AI助力企业高效出海,宜选网打造外贸增长新引擎

    在全球贸易变革与数字化浪潮下,中小外贸企业面临传统运营瓶颈。宜选网作为领先的移动外贸B2B平台,通过AI技术赋能,助力企业突破时差、语言等沟通障碍,实现24小时智能响应与深度互动,提升订单转化效率。其“人机协同”模式不仅优化流程、降低成本,更推动企业聚焦创新与增长。基于数据智能,平台还帮助企业前瞻规划,构建长期竞争力,实现可持续的全球化经营。AI与外贸的深度融合已成企业发展必然路径。

  • AI 搜索时代,品牌如何被“看见”?GEOBase 深度实测:企业实现生成式引擎优化的实战指南

    随着生成式AI的普及,用户搜索行为从传统网页转向直接向AI提问,品牌面临“数字隐身”风险。GEO(生成式引擎优化)应运而生,旨在优化品牌在AI回答中的可见度。AIbase推出的GEOBase平台,通过多平台矩阵监控、AI引用来源分析、业务主题与语义分析、竞品对标分析等功能,帮助企业精准掌握品牌曝光与口碑,并提供从监控到优化的闭环策略,是AI时代品牌生存的“雷达系统”。

  • Kimi即将推出新一代万亿大模型:开源王者刷新 去年已超GPT5

    国产开源大模型即将迎来新一波升级,除了万众期待的DeepSeek V4之外,月之暗面的Kimi也开始招募测试人员了,意味着很快也会上线。 根据Kimi的公告,他们即将开启Kimi新模型API内测计划,已完成「企业认证」的 Kimi 开放平台用户,均可申请。 前不久智谱、Minimax发布新一代模型之前都有招募测试的操作,而且内测没多久就开放了大模型的公开访问及API,随后又进一步开源给社�

  • Neo史上最豪华!真我Neo8核心性能配置公布:首发自定义温控调节 无需ROOT

    真我Neo8将于1月22日发布,目前新机已进入预热阶段。 今日,真我手机公布了真我Neo8的部分核心配置,官方称其为Neo系列史上最豪华的性能配置。 真我Neo8搭载第五代骁龙8芯片、LPDDR5X内存和UFS4.1闪存,综合跑分超过358万分。

  • 小米MiMo开源大模型充值功能上线:即将开启付费模式!

    小米MiMo开源大模型1月20日宣布开启付费模式,但为新老用户准备了专属免费额度,用户可登录后前往账户余额页面查收。计费系统近期将正式上线,此前API调用继续免费开放。MiMo-V2-Flash模型定价公布,国内用户需完成个人实名认证后充值,海外用户无需实名可直接充值。该模型在推理、代码和智能体场景表现突出,综合表现跻身当前开源大模型第一梯队,此前不少网友体验后表示其响应速度相比豆包、DeepSeek等模型更快。

  • GEO品牌监控实战:如何在AI搜索时代掌握品牌真实可见性

    随着ChatGPT等AI搜索工具用户激增,传统SEO已不再是衡量品牌曝光的唯一标准。文章提出生成引擎优化(GEO)概念,旨在量化品牌在AI生成内容中的提及频率、语境和推荐优先级。针对品牌监控的三大痛点——可见性盲区、竞品对比缺失和语境不透明,AIBase推出的GEO品牌监控工具通过GEO指数(0-100分)提供跨平台提及率、推荐位置和语境分析。工具支持竞品横向对比和多语言监控�

今日大家都在搜的词: