11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
作为CDP的数据入口,数据集成能力一直是神策数据的优势和强项。经过多年打磨,神策数据面向CDP复杂的数据接入场景,结合传统的行为数据接入能力,打造了全新的可视化数据接入框架,具备强大的灵活性与扩展性,并与外部数据源及内部的数据建模域解耦。神策CDP通过整合来自多个来源的数据,关联全域ID,扩展多实体的数据模型,帮助企业构建客户分群和标签,并结合丰富的数据加工技术和高效的数据输出机制,为企业的业务分析、自动化营销等全域客户经营场景打下坚实的数据基础。
苹果最新杀入开源大模型战场比其他公司更开放。推出7B模型,不仅效果与Llama38B相当一次性开源了全部训练过程和资源。就像他提供的这张图,以GPT-4omini为代表的小模型整体比右侧价格更低。
使用大模型合成的数据,就能显著提升3D生成能力?来自上海交大、香港中文大学等团队还真做到了。他们推出Bootstrap3D框架,结合微调的具备3D感知能力的多模态大模型。Bootstrap3D生成的数据集已经全面开源,任何研究人员和开发者都可以免费访问和使用。
高质量图像编辑的方法有很多,但都很难准确表达出真实的物理世界。EdittheWorld试试。最终可以看到,团队的方法可以很好地实现world-instructedimageediting。
在线文本识别模型取得了显著进展,但数学表达识别作为更为复杂的任务仍未得到足够关注。谷歌研究团队推出了MathWriting,一个专注于在线手写数学表达的数据集,包含230k人工编写和400k合成样本,超越了类似IM2LATEX-100K的离线HME数据集。未来的研究可以专注于优化训练/验证/测试分割以及开发针对数学表达的语言模型。
MetaAI研究人员今天发布了OpenEQA,这是一个新的开源基准数据集,旨在衡量人工智能系统对“体验式问答”的能力——这种能力使人工智能系统能够理解现实世界,从回答有关环境的自然语言问题。这一数据集被Meta定位为“体验智能”领域的关键基准,其中包含超过1,600个关于180多个真实环境的问题。为了衡量人工智能代理的性能,研究人员使用大型语言模型自动评分,衡量人工智能生成的答案与人类答案的相似程度。
MetaAI最近发布了MMCSG数据集,该数据集包含使用ProjectAria录制的25小时以上的双向对话。CHiME-8MMCSG任务的重点是转录使用智能眼镜录制的对话,这些眼镜配备了多个传感器,包括麦克风、摄像头和惯性测量单元。MMCSG数据集的提供为在动态现实环境中开发和评估转录系统提供了宝贵资源。
出门问问宣布,将向公众开放其超大规模语言模型“序列猴子”的部分训练数据集,命名为“序列猴子开源数据集1.0”。作为出门问问的核心技术之一,具备强大的通用表示与推理能力,已在问答系统、自然语言处理、机器翻译、文本摘要等多个领域展现出其卓越的性能,极大地提高了生产效率和数据处理能力。开源数据集的发布将促进学术交流与合作,加速相关领域的创新步伐。
HuggingFace推出了Cosmopediav0.1,这是最大的开放合成数据集,由Mixtral7b生成,包含超过3000万个样本,总共约250亿个标记tokens。数据集旨在通过映射来自网页数据集如RefinedWeb和RedPajama的信息来汇编全球知识,包括教科书、博客文章、故事和WikiHow文章等各种内容类型。其目标是通过量身定制提示风格和受众,最大程度地提高多样性,从显著减少重复内容。
能不能有一种通用的图模型——它既能够根据分子结构预测毒性,又能够给出社交网络的朋友推荐?或者既能预测不同作者的论文引用可以发现基因网络中的人类衰老机制?你还真别说,被ICLR2024接收为Spotlight的“OneforAll”框架就实现了这个“精髓”。它由圣路易斯华盛顿大学陈一昕教授团队、北京大学张牧涵以及京东研究院陶大程等研究者们联合提出。更多研究细节,可参考原�
语言模型一直是自然语言处理技术的核心,考虑到模型背后的巨大商业价值,最大最先进的模型的技术细节都是不公开的。真·完全开源的大模型来了!来自艾伦人工智能研究所、华盛顿大学、耶鲁大学、纽约大学和卡内基梅隆大学的研究人员,联合发表了一项足以载入AI开源社区史册的工作——他们几乎将从零开始训练一个大模型过程中的一切数据和资料都开源了!论文:https://allenai.org/olmo/olmo-paper.pdf权重:https://huggingface.co/allenai/OLMo-7B代码:https://github.com/allenai/OLMo数据:https://huggingface.co/datasets/allenai/dolma评估:https://github.com/allenai/OLMo-Eval适配:https://github.com/allenai/open-instruct具体来说,艾伦人工智能研究所推出的这个开放大语言模型实验和训练平台,则提供了一个完全开源的大模型,以及所有和训练开发这个模型有关的数据和技术细节——训练和建模:它包括完整的模型权重、训练代码、训练日志、消融研究、训练指标和推理代码。她对机器学习的技术和认知科学的理论的融合应用充满了热情。
AutoMathText是一个引人注目的数学文本数据集,拥有约200GB的高质量内容。每一条信息都经过先进的语言模型Qwen的自主选择和评分,确保了高水平的相关性和内容质量。要了解更多信息并开始您的数学与人工智能之旅,请访问AutoMathText官方网站。
AutoMathText是一个庞大的数学文本数据集,总体规模达到200GB,汇聚了来自多个来源的数据,包括科学论文、编程代码片段以及网页数据。该数据集经过特定的过滤和处理,旨在服务于数学推理、推理训练和微调等多种应用场景。StackMathQA的集合是由数学问题和对应答案组成,提供了更具挑战性的数学任务,为模型的进一步发展提供了支持。
Anim400K:一个针对视频自动配音设计的数据集,包含超过425,000个对齐的音视频剪辑,总时长达763小时。这些剪辑来自超过190个作品,涵盖了数百种主题和类型,并包含英语和日语两种语言的内容。数据集中的丰富内容和元数据也可以用于媒体内容分析,如情感分析、内容推荐、自动生成视频剪辑等,以及在语言学和文化研究领域的应用,特别是在跨文化传播和翻译领域。
ANIM-400K 是一个综合的数据集,包含超过425, 000 个日语和英语动画视频片段。这个数据集专为研究用途设计,支持自动配音、同声翻译、视频摘要以及流派/主题/风格分类等多种视频相关任务。公开提供给研究者,助力于各种视频处理和分析技术的开发。点击前往ANIM-400K官网体验入口谁可以从ANIM-400K中受益?ANIM-400K是为研究者和开发者提供的理想工具,特别适用于那些需要大量
神经视图合成在从多视图视频生成逼真的三维场景方面提出了复杂的挑战,尤其是在多样化的真实世界场景中。当前先进的NVS技术在面对照明变化、反射、透明度和整体场景复杂性的变化时,其局限性变得明显。数据集的先进和方法学创新的结合推动该领域朝着更加强大和多功能的神经视图合成能力迈进。
TACO是一个专注于算法的代码生成数据集,旨在为代码生成模型提供更具挑战性的训练数据集和评测基准。与当前主流代码评测基准相比,TACO在数据规模、数据质量和细粒度评测方案上具有明显优势。提供细粒度标签:TACO数据集中每个题目均包含任务主题、算法、技能及难度等细粒度标签,为代码生成模型的训练与评测更精确的参考。
根据斯坦福互联网观察站周三发布的一项新研究,流行的人工智能图像生成器的基础数据库中隐藏着数千张儿童性虐待图片。作为对这一研究的回应,一些最大和最常用的图像数据库的运营商关闭了对它们的访问权限。LAION的创始人是德国研究员和教师ChristophSchuhmann,他今年早些时候表示,公开提供如此庞大的视觉数据库的部分原因是为了确保AI发展的未来不受少数强大公司的�
在数字化转型日益加速的今天,应用和数据集成方案在组织中扮演着愈发重要的角色。这两者是SoftwareAG的SuperiPaaS企业技术平台。两家公司与IBM的SuperiPaaS愿景一致,IBM全球的规模将进一步增强这些平台的能力。
Meta最近宣布推出Ego-Exo4D,这是一项具有重大影响的举措,为视频学习和多模态感知研究提供了一套基础数据集和基准套件。该数据集是MetaFAIR与ProjectAria以及15所大学两年合作努力的结晶。Ego-Exo4D是实现这一未来的关键一步,他们迫不及待地期待看到研究社区如何应用它。
中国团队最近开源了一个引人瞩目的图文数据集,命名为ShareGPT4V,它基于GPT4-Vision构建,训练了一个7B模型。这一举措在多模态领域取得了显著的进展,超越了同级别的模型。这一成果对于推动人工智能领域的发展具有积极的意义。
英伟达最近宣布了NVIDIANeMoSteerLM技术作为英伟达NeMo框架的一部分。这项技术使用户能够在推断过程中控制大型语言模型的响应。这个新的开源数据集为开发人员提供了一个有用的工具,帮助他们更好地理解和应用NVIDIANeMo框架中的SteerLM技术。
OpenAI最近宣布了DataPartnerships计划,旨在与第三方机构合作,创建用于AI模型训练的公共和私有数据集。这一举措旨在解决现有AI模型训练数据集中存在的问题,其中包含有毒语言和偏见。在克服数据集偏见等挑战方面,OpenAI是否能做得更好,仍有待验证。
OpenAI宣布将与合作伙伴共同生成用于训练AI模型的公共/私有数据集,以推动AI的未来发展并让更多组织从中受益。为了实现这一目标,OpenAI计划收集反映人类社会、涵盖不同语言、主题和格式的大量数据,并寻求合作伙伴的帮助以数字化并删除敏感信息。OpenAI表示,通过这些举措,旨在推动AI技术的进一步发展,并确保其造福全人类。
TogetherAI最近发布了RedPajamav2,这是一个庞大的在线数据集,包含了30万亿token,成为目前公开可用的最大数据集之一,专门用于学习型机器学习系统的培训。对于像Llama、Mistral、Falcon、MPT和RedPajama等最先进的开放式LLM,高质量的数据至关重要,但由于HTML到纯文本的转换引发的异常、通常质量较低的数据来源以及网络内容传播中固有的偏见,这些数据未经精细处理,不适合直接用于LLM的培训。这一工作将为LLM领域的研究和应用提供更多的有力数据支持。
最新研究表明,卷积神经网络在大规模数据集上能够与视觉变换器媲美,挑战了以往认为视觉变换器在这方面具有卓越性能的观点。在计算机视觉领域,ConvNets一直以来都是在各种基准测试中取得卓越性能的标准。这些结果突显了同时扩展计算和数据资源的重要性,为计算机视觉研究的未来带来了新的启示。
GoogleAI最近推出了名为SANPO的数据集,旨在帮助AI模型更好地理解户外人类主观场景。这一数据集的重要性在于,它不仅包括真实世界的数据包括合成数据,以及丰富的注释和多属性特征。研究人员的隐私承诺使这一数据集能够支持其他研究人员开发面向视障人士的视觉导航系统,并推动先进的视觉场景理解领域的发展。
在大模型不断取得突破的2023,把大模型当做大脑来辅助运行的具身智能机器人研究也在被迅速推进。2个多月前,谷歌DeepMind推出了第一个控制机器人的视觉-语言-动作模型——RT-2。未来的另一个方向是进一步探索不同数据集的混合会如何影响跨具身智能体泛化,以及这种泛化是如何是实现的。
从真实场景中估计人体的三维结构是一项具有挑战性的任务,对于人工智能、图形学和人机交互等领域具有重要意义。现有的3D人体姿态估计数据集通常在受控条件下收集,具有静态背景,无法代表真实世界场景的多样性,从限制了用于真实应用的准确模型的开发。FreeMan的可用性预计将推动人体建模、计算机视觉和人机交互领域的进步,弥合了受控实验室条件与真实场景之间的差距。
自动摘要技术取得了长足的进步,这主要归功于范式的转变——从在标注数据集上进行有监督微调转变为使用大语言模型进行零样本prompt,例如GPT-4。不需要额外的训练,细致的prompt就能实现对摘要长度、主题、风格等方面特征的精细控制。更多论文细节,可参考原论文。