首页 > 业界 > 关键词  > 字节最新资讯  > 正文

字节发布视觉基础模型ViTamin,多项任务实现SOTA,入选CVPR2024

2024-04-27 12:01 · 稿源: 量子位公众号

视觉语言模型屡屡出现新突破,但ViT仍是图像编码器的首选网络结构。字节提出新基础模型——ViTamin,专为视觉语言时代设计。在使用相同的数据集和训练方案时,ViTamin在ImageNet零样本准确率上比ViT提高了2.0%。此外在分类、检索、开放词汇检测和分割、多模态大语言模型等60个不同

......

本文由站长之家合作伙伴自媒体作者“量子位公众号”授权发布于站长之家平台,本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间,为了保证文章信息的及时性,内容观点的准确性,平台将不提供完全的内容展现,本页面内容仅为平台搜索索引使用。需阅读完整内容的用户,请查看原文,获取内容详情。

举报

  • 相关推荐
  • 大家在看
  • 一篇教会你2024视觉中国创意视频上传

    用户对各类视频素材的需求不断增长,平台对创意视频的需求也不断增强摄影师们该如何选择创作方向,成为大家广泛热议的话题,今天我就以视觉中国为例,介绍一下2024年创意视频上传攻略,帮助诸位更好实现内容变现!内容需求相较于片段式的单镜头视频,用户更倾向选择由多条存在关联且隶属于同一主题风格的视频合集为了保持内容的连贯性以及画面的整洁性,摄影师在编辑过程中也最好避免加入字幕转场等包装元素。在内容选择上,摄影师可以尝试拍摄上传充满活力的人物类主题视频,如温馨的家庭日常、激烈的运动瞬间或精彩的旅游记录;拍摄展现充满魅力的传统文化类视频也同样容易受到了广大用户的热烈追捧;当然,拍摄人流涌动、车水马龙的场景空镜也是不错的选择;此外,各类创意特效动画、节日节气庆典视频,以及展现国家发展辉煌成果的相关视频,同样值得您去探索和创作。在填写视频关键词时,优先选择与画面主要内容关联性最强的词汇,表达时避免使用生僻或口语化词语,每条素材填写的关键词应限制在35个词。

  • 七匹狼属于什么档次的品牌?2024-2025春夏新品发布,再掀视觉与时尚盛宴

    2024年4月13日,中国男装领导品牌七匹狼于上海东方绿舟盛大举办“七匹狼航母大秀暨2024-2025春夏新品发布会”。七匹狼品牌大使魏哲鸣、新生代演员娜然、王子奇以及时尚大咖gogoboi宇博齐聚一堂,共同见证了一场精彩纷呈的发布会。该系列以航海科技为灵感,融合了功能性与时尚性,为消费者提供了更多高品质、高性能的穿着选择,传递出品牌对于未来市场的信心和期待。

  • ambientGPT:开源多模态MacOS基础模型操作界面 可调用GPT-4o API

    一款名为ambientGPT的开源项目备受关注。这款工具是一款多模态MacOS基础模型操作界面,可以调用GPT-4oAPI或者本地开源模型进行问答,并能直接访问屏幕内容不需要截图。该技术的推出,预示着未来在智能模型应用领域将会迎来更多创新和便利。

  • Meta发布类GPT-4o多模态模型Chameleon

    Meta最近发布了一个名为Chameleon的多模态模型,它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族,能够理解并生成任意顺序的图像和文本。Chameleon模型的发布,展示了Meta在多模态模型领域的重大进展,它不仅推动了多模态模型的发展,也为未来的研究和应用提供了新的可能性。

  • GPT-4o成为全领域SOTA!基准测试远超Gemini和Claude,多模态功能远超GPT-4

    【新智元导读】OpenAI半小时的发布会让很多人第一反应是直呼「失望」,但随着官网放出更多demo以及更多网友开始试用,大家才发现GPT-4o真的不可小觑,不仅在各种基准测试中稳拿第一有很多发布会从未提及的惊艳功能。OpenAI在发布会上官宣GPT-4o之后,各路大神也开始了对这个新模型的测评,结果就是,GPT-4o在多项基准测试上都展现了SOTA的实力。随着大模型之战愈演愈烈,相信对于开源和闭源的激烈讨论依旧会持续下去。

  • Meta首发「变色龙」挑战GPT-4o,34B参数引领多模态革命!10万亿token训练刷新SOTA

    【新智元导读】GPT-4o发布不到一周,首个敢于挑战王者的新模型诞生!最近,Meta团队发布了「混合模态」Chameleon,可以在单一神经网络无缝处理文本和图像。10万亿token训练的34B参数模型性能接近GPT-4V,刷新SOTA。*表示共同一作,†表示关键贡献者,‡表示工作流程负责人,♯表示项目负责人。

  • GitHub Accelerator 2024扶持11个开源 AI 项目 推动技术创新

    GitHub最新宣布了其2024年加速器计划,将支持11个前沿的开源人工智能项目。这些入选项目涵盖了机器学习框架、生物医学研究、AI模型测试平台等多个领域,旨在推动AI技术的创新和应用。其目标是促进和传播RAG技术在LLM中的使用。

  • 中国(上海)机器视觉展VisionChina2024观众预登记进行中!

    中国机器视觉展暨机器视觉技术及工业应用研讨会2024)由机器视觉产业联盟主办,慕尼黑展览有限公司承办,双方强强联手,倾力打造,将于2024年7月8-10日在上海新国际博览中心E1&E2馆召开。本届VisionChina将首次扩馆,全新启用E1、E2两个展馆,展区面积较往届扩大一倍,将有更多的参展商、观众和专业人士参与其中,共同推动机器视觉技术的创新与发展。我司主要从事生产设备上的视觉检测,今年展会上锂电行业的相关检测和AI检测比较多,我们希望能继续看到前沿的产品检测。

  • 九四智能创始人刘嗣平受邀出席GenAI Summit SF 2024

    “GenAISummitSF2024”在美国旧金山圆满闭幕!峰会期间,包括加州财政部部长及最热门下任副州长候选人FionaMa、旧金山市长LondonBreed、Microsoft、IBM、NVIDIA及九四智能等在内的众多知名科技企业代表、顶尖专家学者围绕人工智能领域前沿发展等话题发表了精彩报告。旧金山市长LondonBreed本次大会作为人工智能领域的重大盛会,其深远影响力得到了行业内外的一致认可。九四智能也将积极拓展多元化合作渠道和业务范围,为全球人工智能产业的繁荣发展贡献自己的力量。

  • 倒计时10天,即将开幕的CTIS 2024特色亮点抢先看!

    2024年6月3日由环球资源主办,上海科技会展有限公司、深圳市服务贸易协会特别协办,中国机电产品进出口商会、中国电子音响行业协会及台湾区电机电子工业同业公会共同支持的CTIS 消费者科技及创新展览会将在2024年6月13日至6月15日于上海新国际博览中心N1~N3馆盛大启幕!  本届CTIS总面积达40,000平方米,涵盖600余家国内外顶尖展商,预计吸引40,000多位观众莅临现场。CTIS汇聚科技前瞻趋势,融合产业贸易优势,布局初创投资赛道,提供全方位场景生态的跨界合作,构建“立足中国,面向全球”的创新型多元消费者科技生态圈,致力于打造全球消费科技首选增长平台。公司目前拥有超过1,000万来自全球各地的注册买家和用户。

  • HumanizeAI Text:提升AI文本的人性化程度,增强用户互动。

    Humanize AI Text是一个先进的AI文本人性化工具,能够将AI生成的文本转换成更自然、更具人性化的文本,以避免AI检测,并提升内容的吸引力和可读性。它支持多语言,增强了内容的全球可访问性。主要优点包括内容塑形、多语言掌握、可读性提升、写作助手以及实时反馈的人性化得分,帮助用户理解并改进写作的人性化感觉。

  • MagicPublish.ai:为YouTube生成元数据的智能工具

    MagicPublish.ai是一个专注于为YouTube视频内容创建者提供元数据生成服务的在线平台。它通过自动化的方式帮助用户生成视频描述、标签和缩略图,从而提升视频的SEO优化和观众吸引力。产品的主要优点包括操作简便、自动化程度高、能够显著提升视频的在线可见度。

  • AITopRank:发现2024年最佳AI工具

    AI Top Rank是一个专注于AI工具发现和推广的平台,旨在帮助用户发现和使用最新的AI工具,促进AI技术的普及和应用。平台提供每周更新的AI工具排行榜,用户可以投票支持自己喜爱的工具,也可以提交自己的AI工具进行推广。

  • AutoStudio:多轮交互式图像生成技术

    AutoStudio是一个基于大型语言模型的多轮交互式图像生成框架,它通过三个代理与一个基于稳定扩散的代理来生成高质量图像。该技术在多主题一致性方面取得了显著进步,通过并行UNet结构和主题初始化生成方法,提高了图像生成的质量和一致性。

  • Nemotron-4 340B:用于训练大型语言模型的开源合成数据生成管道。

    Nemotron-4 340B是NVIDIA发布的一系列开放模型,专为生成合成数据以训练大型语言模型(LLMs)而设计。这些模型经过优化,可以与NVIDIA NeMo和NVIDIA TensorRT-LLM配合使用,以提高训练和推理的效率。Nemotron-4 340B包括基础、指令和奖励模型,形成一个生成合成数据的管道,用于训练和完善LLMs。这些模型在Hugging Face上提供下载,并很快将在ai.nvidia.com上提供,作为NVIDIA NIM微服务的一部分。

  • Joor:完美的日记应用,记录你的想法。

    Joor是一款日记应用,它允许用户写下自己的想法,并由应用自动处理其余部分。它提供了一个简洁的界面,让用户能够轻松地记录下自己的思考和灵感,同时可能还具备一些自动整理和回顾的功能。

  • Samba:高效无限上下文语言模型的官方实现

    Samba是一个简单而强大的混合模型,具有无限的上下文长度。它的架构非常简单:Samba = Mamba + MLP + 滑动窗口注意力 + 层级MLP堆叠。Samba-3.8B模型在Phi3数据集上训练了3.2万亿个token,主要基准测试(例如MMLU、GSM8K和HumanEval)上的表现大大超过了Phi3-mini。Samba还可以通过最少的指令调整实现完美的长上下文检索能力,同时保持与序列长度的线性复杂度。这使得Samba-3.8B-instruct在下游任务(如长上下文摘要)上表现出色。

  • TC-Bench:视频生成模型的时间组合性评估工具

    TC-Bench是一个专门用于评估视频生成模型的时间组合性的工具。它通过精心设计的文本提示、相应的真实视频以及强大的评估指标来衡量视频生成模型在不同时间点上新概念的出现及其关系转换的能力。TC-Bench不仅适用于文本条件模型,也适用于图像条件模型,能够进行生成性帧插值。该工具的开发旨在推动视频生成技术的发展,提高生成视频的质量和一致性。

  • Promptchains:智能AI工作流构建器,释放AI潜力。

    Promptchains是一个革命性的AI工作流构建器,旨在通过提示链技术解锁AI的潜力。它将复杂任务转化为智能解决方案,实现AI的承诺。产品通过组合AI提示和其他工具到工作流中,使企业能够轻松定制、保存、重用和分享。它超越了AI交互的新奇性,创造了能够与熟练的人类员工并肩工作的解决方案。

  • Sanctuary:个性化冥想引导,由AI驱动,提升专注力,减压助眠。

    Sanctuary是一款利用尖端AI技术为用户提供个性化冥想指导的应用程序。它通过智能学习用户偏好,提供每日更新的冥想内容,帮助用户改善专注力,减少压力,并促进更好的睡眠。该应用拥有超过10万次的个性化冥想创建记录,用户反馈显示,它简化了冥想过程,使冥想变得容易和可访问,对于缓解焦虑和整体压力水平有显著效果。

  • Partnerplace:合作伙伴管理工具,提升合作效率。

    Partnerplace是一款专为合作伙伴关系管理设计的在线工具,它通过自动化繁琐的任务,如佣金处理,帮助企业高效管理和发展合作伙伴网络。该工具支持定制化合作伙伴计划,实现品牌专业体验,并通过集中化平台提高工作效率。Partnerplace的价值观包括弹性、参与度和连接性,旨在为用户提供一个完全定制化的、参与性强的、连接销售团队和CRM系统的合作伙伴管理系统。

  • Depth Anything V2:先进的单目深度估计模型

    Depth Anything V2 是一个经过改进的单目深度估计模型,它通过使用合成图像和大量未标记的真实图像进行训练,提供了比前一版本更精细、更鲁棒的深度预测。该模型在效率和准确性方面都有显著提升,速度比基于Stable Diffusion的最新模型快10倍以上。

  • OTTO SEO by Search Atlas:革命性的AI SEO工具,简化SEO工作流程。

    OTTO SEO是Search Atlas推出的一款AI驱动的SEO工具,旨在通过自动化技术优化网站,提高SEO效率。它通过添加OTTO像素到网站,能够自动执行网页优化,包括技术修复、内容优化、反向链接建设和内容创作。OTTO SEO的主要优点在于节省时间、提高效率,并帮助营销团队或代理公司实现SEO策略的自动化和优化。

  • AI drafts by Help Scout:提升客服团队效率,实现个性化客户服务。

    Help Scout提供的AI客服平台,通过人工智能技术,帮助客服团队提升工作效率,减少重复性工作,让团队成员能够专注于更复杂和个性化的客户对话。平台特点包括无需编程即可使用、快速回复、提升客户满意度,以及通过AI生成回复草稿等。

  • OpenVLA:开源视觉-语言-动作模型,推动机器人操作技术发展。

    OpenVLA是一个具有7亿参数的开源视觉-语言-动作(VLA)模型,通过在Open X-Embodiment数据集上的970k机器人剧集进行预训练。该模型在通用机器人操作策略上设定了新的行业标准,支持开箱即用控制多个机器人,并且可以通过参数高效的微调快速适应新的机器人设置。OpenVLA的检查点和PyTorch训练流程完全开源,模型可以从HuggingFace下载并进行微调。

  • VideoLLaMA 2:视频理解领域的先进空间-时间建模与音频理解模型。

    VideoLLaMA 2 是一个针对视频理解任务优化的大规模语言模型,它通过先进的空间-时间建模和音频理解能力,提升了对视频内容的解析和理解。该模型在多选视频问答和视频字幕生成等任务上展现了卓越的性能。

  • HumanPlus:人类动作模仿与自主技能学习系统

    HumanPlus是一个研究项目,旨在通过模仿人类动作来训练人形机器人,从而实现自主技能学习。该项目通过模拟强化学习训练低级策略,并将这些策略应用到真实世界中,实现实时跟踪人类身体和手部动作。通过影子模仿技术,操作员可以远程操作机器人收集全身数据,用于学习不同任务。此外,通过行为克隆技术,机器人能够模仿人类技能,完成各种任务。

  • Jace:AI助手,助力高效营销与管理。

    Jace是一款商业领域的AI助手,专注于提升营销效率,无需专业技能即可轻松启动和管理营销活动。其主要优点包括创建针对性的营销活动、实时监控性能和随时优化。

  • ARC-AGI:人工智能通用推理测试集

    ARC-AGI是一个旨在测试人工智能系统是否具备类似人类一般流体智力的抽象和推理能力的数据集。它由400个训练任务和400个评估任务组成,每个任务都以JSON格式存储,包括输入输出对。该数据集可以作为人工智能基准测试、程序合成基准测试或心理测量智力测试。

  • PROTEUS:实时表情生成人类模型

    PROTEUS是Apparate Labs推出的一款下一代基础模型,用于实时表情生成人类。它采用先进的transformer架构的潜在扩散模型,创新的潜在空间设计实现了实时效率,并能通过进一步的架构和算法改进,达到每秒100帧以上视频流。PROTEUS旨在提供一种通过语音控制的视觉体现,为人工对话实体提供直观的接口,并且与多种大型语言模型兼容,可定制用于多种不同应用。

今日大家都在搜的词:

热文

  • 3 天
  • 7天