多模态语言模型

【腾讯云】11.11云上盛惠！云服务器首年1.8折起，买1年送3个月！

11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！

多模态语言模型Reka Core：可分析图片、视频、音频 评测得分与GPT-4接近

RekaAI近日宣布推出其最新力作——RekaCore，这是一款前沿的多模态语言模型，拥有强大的性能和灵活的部署方式。该模型像Gemini一样可以直接分析图片、视频、音频，评测得分与GPT-4和Gemini-Ultra接近。通过Edge、Flash和Core等系列模型的全面支持，Reka已经准备好迎接更广泛的挑战，展望未来，我们期待着与更多愿意加入我们的伙伴共同探索多模态世界的无限可能。

Mini-Gemini:简单有效的AI框架，增强多模态视觉语言模型

中国香港中文大学和SmartMore的研究人员推出了一种名为Mini-Gemini的新颖框架，通过增强多模态输入处理来推动VLMs的发展。Mini-Gemini采用了双编码器系统和一种新颖的补丁信息挖掘技术，结合一个特别策划的高质量数据集，使其能够有效处理高分辨率图像并生成内容丰富的视觉和文本内容，从使其脱颖出。正如研究人员所承认的那样，Mini-Gemini在视觉理解和推理能力方面仍有改进�

MathVerse：全方位可视化数学基准，对多模态大型语言模型进行公平和深入的评估

多模态大型语言模型在视觉情境下的表现异常出色，引起了广泛关注。它们解决视觉数学问题的能力仍需全面评估和理解。这表明需要更先进的数学专用视觉编码器，突显了MLLM发展的潜在未来方向。

苹果研究人员提出MAD-Bench基准，克服多模态大语言模型中幻觉和误导性提示

在人工智能领域，多模式大语言模型在推动进步方面发挥了巨大作用，但它们面临处理误导性信息的挑战，可能导致不正确或产生幻觉的响应。这种脆弱性引发了对MLLM在需要准确解释文本和视觉数据的应用中可靠性的担忧。作为一个不断发展的领域，解决这些挑战对于在现实应用中部署MLLMs至关重要。

MGIE官网体验入口 苹果多模态大语言模型AI图像编辑工具在线使用地址

MGIE是一项由苹果开源的技术，利用多模态大型语言模型生成图像编辑指令，通过端到端训练，捕捉视觉想象力并执行图像处理操作，使图像编辑更加智能、直观。点击前往MGIE官网体验入口需求人群："用户可以通过自然语言直观地描述图像编辑需求，如改变颜色、调整大小等，无需复杂的描述或区域掩码，使图像编辑更加自由和轻松。为了深入了解MGIE并开始您的图像编辑之旅，请点击前往MGIE官网。

零一万物Yi-VL多模态语言模型上线 包括Yi-VL-34B、Yi-VL-6B两个版本

零一万物Yi-VL多模态语言模型是零一万物Yi系列模型家族的新成员，它在图文理解和对话生成方面具备卓越的能力。Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上都取得了领先成绩，展示了在复杂跨学科任务上的实力。除了Yi-VL模型，零一万物技术团队还验证了使用其他多模态训练方法基于Yi语言模型可以快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。

​字节与浙大联合推多模态大语言模型Vista-LLaMA 可解读视频内容

在自然语言处理领域，大型语言模型如GPT、GLM和LLaMA等的成功应用已经取得了显著的进展。将这些技术扩展到视频内容理解领域则是一项全新的挑战。其在长视频内容方面的显著优势为未来多模态交互和自动化内容生成领域提供了广泛的机遇。

多模态运动语言模型MotionGPT 可将语言指令转换为3D人体运动

MotionGPT是一款令人惊叹的技术创新，它统一了语言和运动，将语言指令转换为引人入胜的3D人体运动。这一模型的设计灵感源于即时学习，通过混合运动语言数据进行预训练，并通过基于提示的问答任务进行微调，使其具备卓越的性能。MotionGPT不仅是一种技术的突破，更是对人机交互的重大推动，将语言与运动巧妙地融合，开创了全新的应用前景。

新加坡国立大学开源多模态语言模型 NExT-GPT，助力多媒体 AI 应用发展

新加坡国立大学NExT研究中心发布了开源多模态大语言模型NExT-GPT，为处理文本、图像、视频和音频等多样化输入提供了强大支持，推动了多媒体人工智能应用的进一步发展。NExT-GPT提供了一个基于聊天的界面，允许用户输入文本、图像、视频或音频文件。该模型在内容生成、多媒体分析以及能够理解并响应用户首选格式的虚拟助手等各个领域都具有潜在的应用前景。

多模态语言模型新基准AMBER 评估和降低模型中的幻觉问题

AMBER项目是针对多模式语言模型的一个新基准，旨在评估和降低模型中的幻觉问题。幻觉是指当模型在生成文本、图像或音频等多种模态的数据时，可能会产生不准确或误导性的结果。自动化评估流程:提供自动化评估管道，简化用户评估模型性能的过程。

中国研究人员推ControlLLM框架：提升大语言模型处理多模态任务能力

中国的研究人员近期提出了一项名为ControlLLM的创新框架，旨在增强大型语言模型在处理复杂的现实任务时的表现。尽管LLMs在处理自主代理的规划、推理和决策方面已经取得了显著进展，但在某些情况下，由于用户提示不清晰、工具选择错误以及参数设置和调度不足，它们可能需要辅助工具。ControlLLM整合了各种信息源，以生成基于执行结果的全面有意义的回应。

苹果研究人员推出Ferret:一种用于高级图像理解和描述突破性多模态语言模型

研究人员在最新的一项研究中介绍了Ferret，这是一款多模式语言模型，旨在实现高级图像理解和描述。该研究聚焦于视觉-语言学习中的关键问题，即如何融合地理信息和语义知识，以便模型能够同时引用和定位图像中的元素。这一研究为多模式语言模型领域带来了突破性进展，为图像理解和描述提供了新的可能性。

阿里云开源通义千问视觉语言模型Qwen-VL 具备多模态信息理解能力

阿里云旗下魔搭社区宣布开源视觉语言模型Qwen-VL。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。该模型的推理速度快，资源消耗相对较低。

荐 与「李白」赏图赋诗，同「猴哥」直面天命，人大高瓴提出MMRole多模态角色扮演

随着大语言模型的飞速发展，角色扮演智能体正逐渐成为AI领域的热门话题。这类智能体不仅能够为人们提供陪伴、互动和娱乐在教育、社会模拟等领域展现出重要的应用潜力。在多模态角色扮演智能体的开发中，多模态理解能力和角色扮演质量是更具挑战性的方面，需要在未来的研究和优化中予以特别关注。

声网对话式AI解决方案上新 构建实时多模态AI交互

在生成式人工智能领域，大模型多模态交互能力的升级正掀起一股新的AI浪潮，在RTC能力的加持下，人与AI的交互不再局限于文字，也可以通过语音通话进行生动、流畅的低延时交互，这也成为当下国内外大模型厂商新的发力点。今年5月，GPT-4o的发布开创了AI实时语音交互的先河。声网的实时多模态对话式AI解决方案目前已经上线，如您想进一步体验我们的Demo或者接入该方案，可在声网公众号找到这篇文章，扫描文章底部的二维码联系我们。

松鼠Ai引领教育新纪元：多模态智适应教育大模型重塑学习生态

科技日新月异的今天，教育行业正经历着前所未有的变革松鼠Ai作为这一领域的佼佼者，正以其创新的多模态智适应教育大模型，引领着教育行业的未来发展方向。松鼠Ai在多个重要场合的亮相和成果展示，再次证明了其在人工智能教育领域的领先地位。我们有理由相信，在松鼠Ai的引领下，未来的教育将更加个性化、智能化和高效化。

让AI更懂物理世界，人大北邮上海AI Lab等提出多模态分割新方法

让AI像人类一样借助多模态线索定位感兴趣的物体，有新招了!来自人大高瓴GeWu-Lab、北邮、上海AILab等机构的研究人员提出Ref-AVS，让AI能看、会听，更懂真实物理世界。相关论文已入选顶会ECCV2024。更多详情欢迎查阅原论文。

云知声山海多模态大模型，一个给足你情绪价值的伙伴

荐 语言图像模型大一统！Meta将Transformer和Diffusion融合，多模态AI王者登场

【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。真正的多模态AI模型，可能很快就要来了!Transformer和Diffusion，终于有了一次出色的融合。他在卡耐基梅隆大学语言技术研究所获得博士学位，师从EduardHovy教授，并在上海交通大学获得了计算机科学硕士和学士学位�

AI情感分析能力受认可，Soul App多模态情感识别研究成果被国际顶会录用

ACM国际多媒体会议上组织的多模态与可靠性情感计算研讨会MRAC24公布论文接收结果，社交平台SoulApp研究成果《MultimodalEmotionRecognitionwithVision-languagePromptingandModalityDropout》成功入选。作为较早思考将AI应用于社交领域的平台，Soul积极推动AI情感互动能力的研究，目前相关技术已应用于异世界回响、AI苟蛋、群聊派对等AI陪伴、AI辅助的创新场景。对Soul来说，接下来，将继续加大技�

2B多模态新SOTA，华科、华南理工发布Mini-Monkey，专治“切分增大分辨率”后遗症

【新智元导读】Mini-Monkey是一个轻量级的多模态大型语言模型，通过采用多尺度自适应切分策略和尺度压缩机制，有效缓解了传统图像切分策略带来的锯齿效应，提升了模型在高分辨率图像处理和文档理解任务的性能。它在多项基准测试中取得了领先的成绩，证明了其在多模态理解和文档智能领域的潜力。作者也验证了多尺度自适应切分策略在别的架构的多模态大模型上的有效性，为缓解由切分增大分辨率导致的「后遗症」提供了一种简单有效的解决方案。

荐 2B多模态新SOTA！华科、华南理工发布Mini-Monkey，专治「切分增大分辨率」后遗症

提升多模态大模型处理高分辨率图像的能力越来越引起这个领域的关注。绝大多数方法致力于通过对图像进行切分再融合的策略，来提升多模态大模型对图像细节的理解能力。作者也验证了多尺度自适应切分策略在别的架构的多模态大模型上的有效性，为缓解由切分增大分辨率导致的「后遗症」提供了一种简单有效的解决方案。

荐 超9000颗星，优于GPT-4V！国内开源多模态大模型

国内著名开源社区OpenBMB发布了最新开源多模态大模型——MiniCPM-V2.6。MiniCPM-V2.6一共有80亿参数，在单图像、多图像和视频理解方面超越了GPT-4V;在单图像理解方面优于GPT-4omini、Gemini1.5Pro和Claude3.5Sonnet。易用扩展性强:可以通过多种方式轻松使用，包括llama.cpp和ollama支持在本地设备上进行高效的CPU推理，提供int4和GGUF格式的量化模型，支持vLLM进行高吞吐量和内存高效的推理，支持在新领域和任务上进行微调目前，MiniCPM-V2.6在Github的评分超过9000颗星，是开源多模态中性能非常好用的一款模型。

最强国产多模态刚刚易主！腾讯混元把GPT-4/Claude-3.5/Gemini-1.5都超了

国产大模型，多模态能力都开始超越GPT-4-Turbo了??权威榜单，中文多模态大模型测评基准SuperCLUE-V，新鲜出炉:特别是腾讯的hunyuan-vision、上海AILab的InternVL2-40B，分别成为国内闭源和开源界两大领跑者，甚至超过Claude-3.5-Sonnet和谷歌王牌Gemini-1.5-Pro。虽然这次都还是被GPT-4o压过，差距也确确实实缩小了很多。在多模态“图生文”场景下，腾讯又能整出什么实用好活，就非常值得期待了。

ISC.AI 2024多模态时代的大模型关键技术与应用论坛成功召开

近日，ISC.AI2024多模态时代的大模型关键技术与应用论坛成功召开。本次论坛由360人工智能研究院、中国图象图形学学会联合主办，集结业界知名学者、行业技术领袖等前沿代表，围绕多模态时代大模型的技术变革、研发挑战、应用场景等问题展开深入探讨，致力共同探索出多模态大模型发展的“中国路径”，为全行业的数转智改提质加速。在开场致辞环节中，360集团副总裁、3

岩芯数智展示机器人多模态能力

在2024世界人工智能大会上，上海岩芯数智携Yan1.2多模态大模型亮相，不仅可以让大模型在手机、电脑、甚至树莓派端无损运行可以让机器人准确理解用户的模糊指令和意图。研发团队展示了一款部署Yan1.2多模态大模型的智能机器人“小智”，它能够基于Yan1.2的语音和视觉处理能力，实时识别环境、准确理解用户的模糊指令和意图，并据此控制其机械躯体高效完成各类复杂任务。当有人问“小智，你现在看到了什么”或手捧书籍邀请“小智”一同看书时，它能够基于多模态能力进行学习和创作，精确描述环境和人物特征、学习书籍信息。

荐 中国版GPT-4o炸场：国内首个流式多模态交互模型，现场实时且丝滑

没等到GPT-4o，商汤先把《Her》给发布出来了!就在刚刚，商汤直接在现场来了个炸裂的LiveShow，话不多说，直接看效果:不仅声音非常拟人还是实时、随时可以打断的那种!它宛如被安上了一对儿眼睛，可以做到精准无误的所见即所得。就连手绘的粗糙的简笔画，AI也能俏皮地跟人类做互动:一波LiveShow秀下来，引得观众掌声连连、“哇”声一片。思路已然清晰，技术不断进步，属于A

荐 AI日报：百度文心4.0免费开放；AI lab开源超强多模态大模型；对标GPT-4o！商汤发布日日新5o

欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解：https://top.aibase.com/1、百度文心智能体平台免费开放文心4.0版本百度文心智能体平台最新推出的文心大模型4.0版本免费开放给公众使用，极大地扩展了平台的功能和应用范围。这一投资有望降低电影�

马上消金引入防伪大模型，打造多模态生物核验与防伪平台

全球知名权威科技刊物《麻省理工科技评论》最新发布报告显示，数字经济时代，以“Deepfake”为代表的深度换脸技术更加智能化和高度真实化。深度伪造技术被非法用于经济、政治、社会等领域，形成严重危害，深度伪造检测面临更大挑战。马上消费已将防伪大模型引入日常风控反欺诈管理流程中，呈现迭代周期短、拦截性能强、可解释性强等特性，大幅提升用户体验，实现了人机协同的金融防伪新应用模式。

首个支持多模态交互的机器人平台方案！科大讯飞机器人超脑平台2.0发布

快科技6月27日消息，科大讯飞在今天的讯飞星火V4.0发布会上，还揭晓了机器人超脑平台2.0项目，将以视听融合的多模感知交互和基于大模型的机器人大脑。通过软硬件一体的方式构建机器人新交互，将讯飞星火大模型进一步赋能机器人领域。据悉，讯飞机器人超脑平台解决了机器人在嘈杂环境下听、说、理解和思考的难题。借助这套系统，机器人不仅能实现语音识别、自然语�