首页 > 业界 > 关键词  > DuckAI最新资讯  > 正文

Duck AI推多模式计算机交互数据收集器 DuckTrack:可收集鼠标、键盘、屏幕等数据

2023-11-30 16:22 · 稿源:站长之家

划重点:

1. 🎯 DuckTrack:多模式数据记录,包括鼠标、键盘、屏幕视频和音频。

2. 🌐 社区数据收集倡议:开源项目邀请贡献者参与多样化计算机交互数据收集。

3. 🛑 局限性:无法模拟双击或三击,不支持触控板手势,但开发者积极改进中。

站长之家(ChinaZ.com)11月30日 消息:近日,Duck AI发布了一项引人注目的创新——DuckTrack,一款多模式计算机交互数据收集器。该工具的研发旨在为计算机代理的进步提供精准而准确的用户交互跟踪,成为训练智能系统的关键工具。

DuckTrack能够通过用户友好的桌面应用程序在主要操作系统上同步收集鼠标、键盘、屏幕视频和音频数据。更令人振奋的是,DuckTrack还启动了社区数据收集倡议,旨在邀请开源社区成员参与多样化的计算机交互数据收集。这一努力将有助于丰富数据集,为智能系统的培训提供更多可能性。

image.png

虽然DuckTrack在多方面表现出色,例如在绘图任务中,其结构相似性指数(SSIM)在DeepTruck中持续超过0.9,每个事件的记录误差仅为0.03毫秒 ±0.4毫秒,超过市场上现有跟踪器的准确性。然而,它也存在一些局限性,如在模拟双击或三击时的挑战,以及不能记录触控板手势等。不过,开发者们正在积极努力解决这些问题,通过与社区的持续互动来提升DuckTrack的功能。

研究人员在不同系统上进行了DuckTrack的测试,包括运行macOS Sonoma14.0的M2Pro MBP14,运行PopOS!22.10(基于Ubuntu)和Windows1022H2的Intel i7-10510U System76Lemur Pro9。在ReCAPTCHA任务中,作为人类移动的代理,DuckTrack在十次试验中取得了100%的成功率。尽管硬件的差异可能轻微影响性能,但在各个操作系统上的一致准确性彰显了DuckTrack的可靠性。

DuckTrack通过其精确的数据记录和播放功能,以及积极参与社区的态度,展现出对于计算机交互数据收集的革命性影响。在不断改进和完善中,DuckTrack正为实现更复杂、无缝的多模式计算机交互体验铺平道路。如果您对卓越的播放和跟踪功能有需求,DuckTrack无疑是一个首选

项目网址:https://github.com/TheDuckAI/DuckTrack

官方博客:https://duckai.org/blog/ducktrack

举报

  • 相关推荐
  • Trae国内版怎么用?Trae IDE 内置 MCP 市场配置使用指南

    字节跳动旗下Trae+IDE发布新版本,通过MCP协议实现AI智能体与外部工具的深度集成。MCP作为标准化桥梁,让开发者能灵活接入Supabase、FireCrawl等第三方服务,只需@符号即可调用智能体完成数据库操作、文档搜索等复杂任务。新版本内置MCP市场,支持Token快速配置,并演示了如何通过Figma+AI自动生成前端代码。该技术可应用于Blender建模、K8s管理等多元场景,显著提升开发效率。Trae+IDE将持续扩展工具生态,推动AI协作开发新时代。

  • Antropic加入“AI语音助手”赛道,能追上OpenAI、谷歌们吗?

    随着 AI 语音产品的出现,人们对其模仿他人说话风格的担忧也在加剧……

  • 曝 600 万条数据被盗,Oracle 立即否认,却遭黑客火速“打脸”?

    3月20日,一个ID为"rose87168"的黑客在BreachForums论坛上发帖,声称已成功入侵OracleCloud的联邦SSO服务器,并窃取了大约600万条用户记录,影响超过144,000家Oracle客户。当企业遭遇数据泄露,通常会在第一时间向用户发出安全警告,并采取应急响应措施。安全研究人员提醒道,即使Oracle继续保持沉默,受影响的公司也不能掉以轻心,必须主动应对,避免更大的损失。

  • 诚意满满!小米为SU7 Ultra Club首批会员推出限定礼盒

    小米汽车这次真是诚意满满!SU7 Ultra Club首批会员收到了一份专属的限定礼盒。里面的东西可不少:SU7 Ultra的1:43合金车模,做工精致,完全按照真车比例打造;除此之外,还有纽北成绩限定车牌和冰箱贴,再加上专属会员卡,这身份感瞬间拉满。100%; word-break: break-word;"据悉,SU7 Ultra Club会员俱乐部是2月27日成立的,年费3999元,首批限量2000人,入会就能拿到6

  • 思看科技三维扫描仪NimbleTrack荣获2025德国红点设计大奖

    思看科技旗下NimbleTrack智能无线三维扫描仪荣获2025年德国红点设计大奖。该产品凭借创新工业美学设计、全无线理念和轻量化结构(仅1.3kg)脱颖而出,实现0.025mm高精度扫描,支持每秒490万次测量。其碳纤维一体成型框架和边缘计算模块提升了稳定性与运算效率,适用于汽车制造、航空航天等领域,推动行业数字化转型。此次获奖彰显了思看科技在三维数字化领域的技术实力和设计创新能力。

  • AI日报:ChatGPT重磅上线图像库功能;白嫖!Veo2登陆谷歌AI Studio;蚂蚁百宝箱“MCP专区”

    欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、报道称字节跳动整合 AI 研发团队,AI Lab 即将并入 Seed字节跳动正在进行AI研发团队的整合,将独立的字节AI Lab并入Seed团队。这一举措体现了字节在AI领域战略布局的调整,旨在进�

  • 多模态和Agent成为大厂AI的新赛 点

    这是《窄播Weekly》的第52期,本期我们关注的商业动态是:当大厂的AI竞争策略开始倾斜向应用场景,多模态能力和代理执行成为两个焦点。大模型落地C端场景的核心,就是让大模型的能力越来越接近人。沿着这个主旋律,可以划分出两个进化方向:一个是持续降低用户与大模型进行有效沟通的难度;另一个则是让大模型具备执行更复杂任务的能力。前者的实现,需要给到大模型多

  • 多模态和Agent成为大厂AI的新赛点

    本期《窄播Weekly》聚焦AI大厂竞争策略向应用场景倾斜的趋势,重点分析了多模态能力和代理执行两大发展方向。文章指出,大模型落地的核心在于让人机交互更自然,具体表现为:1)通过多模态技术降低用户使用门槛,如阿里夸克新推出的"拍照问夸克"功能;2)通过代理执行提升复杂任务处理能力,如字节、百度等推出的通用Agent产品。国内外厂商路径差异明显:国�

  • Trae重磅升级:全面开放自定义AI能力,用户可打造个人专属“AI 工程师”

    Trae新版本通过整合AI技术,提供更智能、高效的开发体验,支持多语言文件输入与多种功能扩展。它突破传统IDE模式,强调人机协作与个性化定制,实现需求快速转化和技术方案优化。同时,其开放的插件系统和自定义能力,满足不同场景的专业开发需求,推动AI在编程领域的深度融合与创新应用。

  • 小米送Ultra Club首批会员礼盒:含合金车模、纽北成绩限定车牌等

    快科技4月19日消息,小米汽车今天宣布,为Ultra Club首批会员,准备了一份限定礼盒。该礼盒包含小米SU7 Ultra 1:43合金车模、纽北成绩限定车牌、纽北成绩冰箱贴、专属会员卡。官方表示,限定礼盒每一处都充满细节,希望车主打开礼盒的这一刻,能感受到小米汽车最真挚的心意。据了解,小米Ultra Club会员俱乐部于今年2月27日成立,该俱乐部的年费为3999元,首批限量2000人。入会可享60000积分,可享受以下专属服务:专属赛道服务:免费存胎服务,免费赛道救援,赛道耗材88折等;独享官方活动:德国纽北赛道之旅,专属官方赛道日等。