多模态模型
与“多模态模型”的相关热搜词：
相关“多模态模型” 的资讯277篇
-
【腾讯云】11.11云上盛惠！云服务器首年1.8折起，买1年送3个月！
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
广告 -
多模态模型再进化，已学会看图玩扑克、算“12点”
在科技领域，多模态模型的决策能力一直是研究的热点。UC伯克利等高校的研究团队提出了一种名为RL4VLM的全新强化学习框架，成功地提升了多模态大模型在决策任务上的表现。这项研究不仅为多模态模型的性能提升提供了新的思路，也为未来人工智能的发展开辟了新的可能性。
-
多模态模型学会打扑克：表现超越GPT-4v，全新强化学习框架是关键
只用强化学习来微调，无需人类反馈，就能让多模态大模型学会做决策!这种方法得到的模型，已经学会了看图玩扑克、算“12点”等任务，表现甚至超越了GPT-4v。这是来自UC伯克利等高校最新提出的微调方法，研究阵容也是相当豪华:图灵奖三巨头之一、Meta首席AI科学家、纽约大学教授LeCunUC伯克利大牛、ALOHA团队成员SergryLevineResNeXt一作、Sora基础技术DiT作者谢赛宁香港大学数据科学学院院长、UC伯克利教授马毅该方法名为RL4VLM，论文预印本已经上线，相关代码也已在GitHub中开源。从提示词上看，这项研究采取了如下的提示过程作为多模态模型的输入，并且给出了期望的输出形式:消融实验结果表明，如果这一过程中不采用思维链，则任务成功率会出现大幅下降。
-
Soul 基于多模态模型丰富社交形式，为用户带来多重感官交互的社交盛宴
社交不仅仅局限于文字的简单传达包括视觉体验和听觉体验的全方位调动。文字、图片、视频、音频等多模态集合是线上社交的主流形式。在当今AIGC技术的迅猛发展下，Soul社交形式的不断迭代升级，可以吸引更多用户群体的目光，并成为用户们交流互动的首选平台。
-
Meta发布类GPT-4o多模态模型Chameleon
Meta最近发布了一个名为Chameleon的多模态模型，它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族，能够理解并生成任意顺序的图像和文本。Chameleon模型的发布，展示了Meta在多模态模型领域的重大进展，它不仅推动了多模态模型的发展，也为未来的研究和应用提供了新的可能性。
-
面壁智能推出最新一代端侧多模态模型 MiniCPM-Llama3-V2.5
面壁智能推出了最新一代端侧多模态模型MiniCPM-Llama3-V2.5，这款模型具有超强的综合性能，能够超越GeminiPro和GPT-4V等多模态巨无霸。MiniCPM-Llama3-V2.5在OCR方面取得了SOTA的成绩，能够精准识别难图、长图和长文本。MiniCPM-Llama3-V2.5展现出了强大的多模态综合能力，为端侧AI模型的发展带来了新的突破。
-
VILA：能理解视频的多模态模型，支持笔记本部署训练
VILA是英伟达发布的模型，使用大规模的交织图像文本数据进行预训练，为视频理解和多图像理解提供了新的能力，涵盖3.5B到40B多个大小的模型。最近发布的VILA-1.5版本具备视频理解功能，并提供了四种模型规模选择，为用户提供更多灵活性。通过Token压缩技术，VILA能够扩展视频帧数量，提高了模型的性能和应用范围。
-
比Gemini Pro1.5强！可解读视频的多模态模型Pegasus-1公测
TwelveLabs最新发布了Pegasus-1的公测版本，这款视频-语言基础模型在视频理解领域取得了新突破。Pegasus-1是一款具有约17亿参数的视频-语言模型，能够以卓越的准确性和细节处理能力从视频输入中生成语言描述。Pegasus-1的不断进化与创新，为视频理解技术开辟新的可能性。
-
荐 AI日报：首个AI程序员Devin造假被抓；Sora平替?StreamingT2V试玩地址公布；Udio AI还可以创作喜剧、演讲；XAI发布Grok-1.5Vision多模态模型
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解：https://top.aibase.com/🤖📱💼AI应用Sora平替?2分钟超长AI视频模型StreamingT2V免费开源试玩地址公布UdioAI提供多功能音频生成还可以创作喜剧、演讲、电台广播等美图Wink“AI动漫”功能升级可将短剧作品转化为动漫风格StableDesign:适用于室内装修设计的SD方案文字提示就可修改室内设计图比换脸更强大!SwapAnything:替换图片中的任意元素AI延时视频生成工具MagicTime在线体验地址放出自动化写作工具STORM:可生成像维基百科一样的深度长篇内容Meta推出ViewDiff模型:文本生成多视角3D图像📰🤖📢AI新鲜事首个AI程序员造假被抓，Devin再次“震撼”硅谷!扒皮视频文字详解附上马斯克XAI发布Grok-1.5Vision多模态模型，可处理文本和图片信息360智脑7B参数大模型正式开源最长支持约50万字输入Adobe图像生成AI“Firefly”训练集中约有5%为AI图像代码、模型全开源!贾佳亚团队多模态模型Mini-Gemini登上热榜面壁智能开源MiniCPM2.0系列模型OCR等能力显著增强竞争升温!ChatGPT增长疲软3月全球访问量17.7亿次，Claude逐渐崛起InstantID团队推新风格迁移方法InstantStyle一键置身“梵高星空”——————每日midjourneyprompt:小说古风美女图源备注：图片由AI生成，图片授权服务商MidjourneyAbeautifulwomanfromancientChina，dressedinagorgeousredHanfu，withlonghairdrapedoverhershoulders，satinherboudoirwithasmile.Ancientstyle，hanfu，boudoir，gorgeous，palace，screen，carpet，softlight，eleganttemperament，ancientculture，inlinewithorientalaesthetics，richdetails，bestquality，exquisitemakeup，cleareyelinerpen，slendereyebrows，texturedskin，whiteskin，charmingheaddress，--ar3:4--niji6--styleraw一个中国古代美女，穿着华丽的红色汉服，长发披肩，微笑着坐在闺房内。
-
代码、模型全开源！贾佳亚团队多模态模型 Mini-Gemini登上热榜
香港中文大学终身教授贾佳亚团队最近推出了一款名为Mini-Gemini的多模态模型，该模型在多模态任务榜单上取得了显著成绩，其性能堪比GPT-4与DALLE3的结合。Mini-Gemini模型以其更精确的图像理解能力、更高质量的训练数据和更强的图像解析推理能力著称。这一成果不仅为开源社区带来了新的活力，也为多模态模型的发展和应用开辟了新的可能性。
-
马斯克XAI发布Grok-1.5 Vision 多模态模型 可处理文本和图片信息
在人工智能领域，多模态模型的发展一直是行业关注的焦点。马斯克XAI公司发布了其最新的多模态模型——Grok-1.5Vision，这一模型不仅能够处理文本信息能够理解和分析各种视觉数据，如文档、图表、截图和照片，标志着公司在人工智能技术上迈出了重要一步。随着该模型的进一步优化和应用，我们有理由相信，它将在多个领域发挥重要作用，推动人工智能技术向前发展。
-
智源发布多模态模型中文评测基准CMMU
智源研究院发布了中文多模态模型评测基准CMMU，旨在为中文多模态模型领域提供一个全面、中立的评测基准。该评测基准目前发布了CMMUv0.1版本，其中包含了3603道题目，涵盖了小学、初中和高中的数学、物理、化学、生物、政治、地理和历史等七门学科。智源研究院将持续邀请教师改编或新编学科考题，扩充CMMU评测集，以保证评测结果客观、公正，并探索基于判别模型的评测方式，以适应多模态模型的发展需要。
-
阿里巴巴多模态模型Qwen-VL升级更新 推出这2个版本
阿里巴巴的多模态模型Qwen-VL经过升级更新，推出了Qwen-VL-Plus和Qwen-VL-Max版本。这两个版本在多个文本-图像多模态任务上与GeminiUltra和GPT-4V相当。这两个版本甚至能识别Gif图，展现出了强大的识别能力。
-
微软开源多模态模型LLaVA-1.5媲美GPT-4V效果
微软开源了多模态模型LLaVA-1.5，继承LLaVA架构并引入新特性。研究人员对其在视觉问答、自然语言处理、图像生成等进行了测试显示，LLaVA-1.5达到了开源模型中的最高水平，可媲美GPT-4V效果。LLaVA-1.5在多模态领域取得显著进展，通过开源促进了其在视觉问答、自然语言处理、图像生成等方面的广泛应用。
-
新型多模态模型Adept Fuyu-Heavy 专为数字代理设计
AdeptFuyu-Heavy是一种新型的多模态模型，专为数字代理设计。它是世界上第三大能力超强的多模态模型，仅次于GPT4-V和GeminiUltra。它还能够生成跨越文本和图像的内容，适用于多种应用场景。
-
荐 AI视野：ChatGPT模型大更新；阿里云发布多模态大模型；Runway视频生成输给Pixverse；百度推多模态模型UNIMO-G
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
-
百度推多模态模型UNIMO-G 支持还原图片ID
在最新的研究中，百度提出了一项名为UNIMO-G的统一图像生成框架，旨在克服现有文本到图像扩散模型面临的挑战。传统模型主要根据简洁的文本提示生成图像，但文本描述的简洁性限制了生成复杂细节图像的能力。UNIMO-G的提出为文本到图像生成领域带来了新的可能性，其简单有效的多模态条件扩散框架在处理复杂性和提高图像生成质量方面具有潜在的广泛应用价值。
-
荐 AI视野：哄哄模拟器爆火；零一万物多模态模型上线；InstantID模型发布；Depth Anything社交网络走红
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
-
参数小，性能强！开源多模态模型—TinyGPT-V
安徽工程大学、南洋理工大学和理海大学的研究人员开源了多模态大模型——TinyGPT-V。TinyGPT-V以微软开源的Phi-2作为基础大语言模型，同时使用了视觉模型EVA实现多模态能力。TinyGPT-V的参数很小，性能却非常强悍，例如，在VSR空间推理任务上，以53.2%的准确率，超过所有参与测试的模型。
-
荐 VC谈2024年AI发展趋势年:多模态模型主导、GPU短缺等
随着2023年的结束，VC们对过去一年围绕人工智能的巨大进展和伦理辩论进行了回顾。像BingChat和GoogleBard这样的聊天机器人展示了令人印象深刻的自然语言能力生成式AI模型如DALL-E3和MidJourneyV6则以其创造性的图像生成引起了轰动。VC们的预测和洞见涵盖了从生成式AI到GPU短缺、AI监管、气候变化应用等各个方面，为AI的未来描绘了一幅丰富多彩的图景。
-
全球最强「开源版Gemini」诞生！全能多模态模型Emu2登热榜，多项任务刷新SOTA
【新智元导读】最强的全能多模态模型来了!就在近日，智源研究院重磅发布了开源界的「Gemini」——Emu2，一口气刷新多项SOTA。过去的18个月里，我们见证了AI领域许多重要的时刻。相比Emu1，Emu2使用了更简单的建模框架、训练了更好的从特征重建原图的解码器、并把模型规模化到37B参数。
-
Ollama支持多模态模型使用
Ollama最新版本支持多模态模型使用了，只需输入“ollamarunllava”并运行即可。在下载llava-7B模型后，只需拖放图像输入问题即可。量化级别越高，模型越精确，但运行速度越慢，所需的内存也越大。
-
荐 突破性技术！开源多模态模型—MiniGPT-5
多模态生成一直是OpenAI、微软、百度等科技巨头的重要研究领域，但如何实现连贯的文本和相关图像是一个棘手的难题。为了突破技术瓶颈，加州大学圣克鲁斯分校研发了MiniGPT-5模型，并提出了全新技术概念“GenerativeVokens"，成为文本特征空间和图像特征空间之间的“桥梁”，实现了普通训练数据的有效对齐，同时生成高质量的文本和图像。这为多模态任务提供了统一的高�
-
挑战GPT-4V！清华唐杰&智谱开源国产多模态模型CogVLM-17B
清华大学与智谱AI合作开发的CogVLM-17B是一款国产多模态模型，具有卓越的性能。该模型不仅可以识别图像中的对象能分辨完整可见和部分可见的物体。其深度融合方法的创新性标志着多模态模型训练范式的改变，为未来的研究和应用提供了新的思路和可能性。
-
OpenAI或将推出多模态模型GPT-Vision和Gobi，与谷歌Gemini竞争
谷歌即将发布Gemini，这是一种多模态语言模型，可能会挑战OpenAI的GPT-4的领导地位。但据报道OpenAI正在准备做出适当的回应，该公司计划通过引入名为“GPT-Vision”的图像理解功能来应对Gemini的竞争。Gobi的训练还没有开始，有机会成为GPT-5。
-
研究：合成字幕对多模态模型训练有用吗？
多模态模型是人工智能领域的重大进展之一。这些模型可以处理和理解来自多种模态的数据，包括视觉、文本和音频。团队分享的见解包括:选择一个字幕模型时，对预训练网络进行微调可能不会产生对多模态训练有效的字幕;多个来源的字幕的组合可以提高在小规模和中规模DataComp基准上的性能;在个体级别上，合成字幕的噪音较少且包含更多视觉信息，但在群体水平上，与原始
-
微软德国CTO：将于下周推出GPT-4 为多模态模型
微软德国首席技术官安德烈亚斯�布劳恩表示，GPT系列语言模型中最新的GPT-4将在下周推出，它将是一个多模态模型，将提供完全不同的可能性，例如视频。ChatGPT背后的开发商OpenAI于2018年推出具有1.17亿个参数的GPT-1模型，2019年推出具有15亿个参数的GPT-2，2020年推出具有1750亿个参数的GPT-3，2021年推出GPT-3.5。OpenAI首席技术官Mira Murati表示，希望外界能够对GPT-4的技术水平更加冷静务实一些，少一些炒作会更好些。
-
岩芯数智展示机器人多模态能力
在2024世界人工智能大会上，上海岩芯数智携Yan1.2多模态大模型亮相，不仅可以让大模型在手机、电脑、甚至树莓派端无损运行可以让机器人准确理解用户的模糊指令和意图。研发团队展示了一款部署Yan1.2多模态大模型的智能机器人“小智”，它能够基于Yan1.2的语音和视觉处理能力，实时识别环境、准确理解用户的模糊指令和意图，并据此控制其机械躯体高效完成各类复杂任务。当有人问“小智，你现在看到了什么”或手捧书籍邀请“小智”一同看书时，它能够基于多模态能力进行学习和创作，精确描述环境和人物特征、学习书籍信息。
-
荐 中国版GPT-4o炸场：国内首个流式多模态交互模型，现场实时且丝滑
没等到GPT-4o，商汤先把《Her》给发布出来了!就在刚刚，商汤直接在现场来了个炸裂的LiveShow，话不多说，直接看效果:不仅声音非常拟人还是实时、随时可以打断的那种!它宛如被安上了一对儿眼睛，可以做到精准无误的所见即所得。就连手绘的粗糙的简笔画，AI也能俏皮地跟人类做互动:一波LiveShow秀下来，引得观众掌声连连、“哇”声一片。思路已然清晰，技术不断进步，属于A
-
荐 AI日报：百度文心4.0免费开放；AI lab开源超强多模态大模型；对标GPT-4o！商汤发布日日新5o
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解：https://top.aibase.com/1、百度文心智能体平台免费开放文心4.0版本百度文心智能体平台最新推出的文心大模型4.0版本免费开放给公众使用，极大地扩展了平台的功能和应用范围。这一投资有望降低电影�
-
马上消金引入防伪大模型，打造多模态生物核验与防伪平台
全球知名权威科技刊物《麻省理工科技评论》最新发布报告显示，数字经济时代，以“Deepfake”为代表的深度换脸技术更加智能化和高度真实化。深度伪造技术被非法用于经济、政治、社会等领域，形成严重危害，深度伪造检测面临更大挑战。马上消费已将防伪大模型引入日常风控反欺诈管理流程中，呈现迭代周期短、拦截性能强、可解释性强等特性，大幅提升用户体验，实现了人机协同的金融防伪新应用模式。
