11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
RekaAI近日宣布推出其最新力作——RekaCore,这是一款前沿的多模态语言模型,拥有强大的性能和灵活的部署方式。该模型像Gemini一样可以直接分析图片、视频、音频,评测得分与GPT-4和Gemini-Ultra接近。通过Edge、Flash和Core等系列模型的全面支持,Reka已经准备好迎接更广泛的挑战,展望未来,我们期待着与更多愿意加入我们的伙伴共同探索多模态世界的无限可能。
中国香港中文大学和SmartMore的研究人员推出了一种名为Mini-Gemini的新颖框架,通过增强多模态输入处理来推动VLMs的发展。Mini-Gemini采用了双编码器系统和一种新颖的补丁信息挖掘技术,结合一个特别策划的高质量数据集,使其能够有效处理高分辨率图像并生成内容丰富的视觉和文本内容,从使其脱颖出。正如研究人员所承认的那样,Mini-Gemini在视觉理解和推理能力方面仍有改进�
多模态大型语言模型在视觉情境下的表现异常出色,引起了广泛关注。它们解决视觉数学问题的能力仍需全面评估和理解。这表明需要更先进的数学专用视觉编码器,突显了MLLM发展的潜在未来方向。
在人工智能领域,多模式大语言模型在推动进步方面发挥了巨大作用,但它们面临处理误导性信息的挑战,可能导致不正确或产生幻觉的响应。这种脆弱性引发了对MLLM在需要准确解释文本和视觉数据的应用中可靠性的担忧。作为一个不断发展的领域,解决这些挑战对于在现实应用中部署MLLMs至关重要。
MGIE是一项由苹果开源的技术,利用多模态大型语言模型生成图像编辑指令,通过端到端训练,捕捉视觉想象力并执行图像处理操作,使图像编辑更加智能、直观。点击前往MGIE官网体验入口需求人群:"用户可以通过自然语言直观地描述图像编辑需求,如改变颜色、调整大小等,无需复杂的描述或区域掩码,使图像编辑更加自由和轻松。为了深入了解MGIE并开始您的图像编辑之旅,请点击前往MGIE官网。
零一万物Yi-VL多模态语言模型是零一万物Yi系列模型家族的新成员,它在图文理解和对话生成方面具备卓越的能力。Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上都取得了领先成绩,展示了在复杂跨学科任务上的实力。除了Yi-VL模型,零一万物技术团队还验证了使用其他多模态训练方法基于Yi语言模型可以快速训练出能够进行高效图像理解和流畅图文对话的多模态图文模型。
在自然语言处理领域,大型语言模型如GPT、GLM和LLaMA等的成功应用已经取得了显著的进展。将这些技术扩展到视频内容理解领域则是一项全新的挑战。其在长视频内容方面的显著优势为未来多模态交互和自动化内容生成领域提供了广泛的机遇。
MotionGPT是一款令人惊叹的技术创新,它统一了语言和运动,将语言指令转换为引人入胜的3D人体运动。这一模型的设计灵感源于即时学习,通过混合运动语言数据进行预训练,并通过基于提示的问答任务进行微调,使其具备卓越的性能。MotionGPT不仅是一种技术的突破,更是对人机交互的重大推动,将语言与运动巧妙地融合,开创了全新的应用前景。
新加坡国立大学NExT研究中心发布了开源多模态大语言模型NExT-GPT,为处理文本、图像、视频和音频等多样化输入提供了强大支持,推动了多媒体人工智能应用的进一步发展。NExT-GPT提供了一个基于聊天的界面,允许用户输入文本、图像、视频或音频文件。该模型在内容生成、多媒体分析以及能够理解并响应用户首选格式的虚拟助手等各个领域都具有潜在的应用前景。
AMBER项目是针对多模式语言模型的一个新基准,旨在评估和降低模型中的幻觉问题。幻觉是指当模型在生成文本、图像或音频等多种模态的数据时,可能会产生不准确或误导性的结果。自动化评估流程:提供自动化评估管道,简化用户评估模型性能的过程。
中国的研究人员近期提出了一项名为ControlLLM的创新框架,旨在增强大型语言模型在处理复杂的现实任务时的表现。尽管LLMs在处理自主代理的规划、推理和决策方面已经取得了显著进展,但在某些情况下,由于用户提示不清晰、工具选择错误以及参数设置和调度不足,它们可能需要辅助工具。ControlLLM整合了各种信息源,以生成基于执行结果的全面有意义的回应。
研究人员在最新的一项研究中介绍了Ferret,这是一款多模式语言模型,旨在实现高级图像理解和描述。该研究聚焦于视觉-语言学习中的关键问题,即如何融合地理信息和语义知识,以便模型能够同时引用和定位图像中的元素。这一研究为多模式语言模型领域带来了突破性进展,为图像理解和描述提供了新的可能性。
阿里云旗下魔搭社区宣布开源视觉语言模型Qwen-VL。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发,支持图文输入,具备多模态信息理解能力。该模型的推理速度快,资源消耗相对较低。
社交不仅仅局限于文字的简单传达包括视觉体验和听觉体验的全方位调动。文字、图片、视频、音频等多模态集合是线上社交的主流形式。在当今AIGC技术的迅猛发展下,Soul社交形式的不断迭代升级,可以吸引更多用户群体的目光,并成为用户们交流互动的首选平台。
一款名为ambientGPT的开源项目备受关注。这款工具是一款多模态MacOS基础模型操作界面,可以调用GPT-4oAPI或者本地开源模型进行问答,并能直接访问屏幕内容不需要截图。该技术的推出,预示着未来在智能模型应用领域将会迎来更多创新和便利。
埃隆・马斯克的人工智能公司xAI正在努力为其Grok聊天机器人增加多模态输入功能。根据公开的开发者文件,埃隆·马斯克的人工智能公司xAI在向其Grok聊天机器人添加多模态输入方面取得了进展。值得注意的是,大型语言模型的基准测试经常受到批评,因为如果这些基准测试包含在它们的训练数据中,这些模型就可以在基准测试上表现良好。
Meta最近发布了一个名为Chameleon的多模态模型,它在多模态模型发展中设立了新的标杆。Chameleon是一个早期融合的基于token的混合模态模型家族,能够理解并生成任意顺序的图像和文本。Chameleon模型的发布,展示了Meta在多模态模型领域的重大进展,它不仅推动了多模态模型的发展,也为未来的研究和应用提供了新的可能性。
【新智元导读】杀疯了!一夜之间,全球最强端侧多模态模型再次刷新,仅用8B参数,击败了多模态巨无霸GeminiPro、GPT-4V。其OCR长难图识别刷新SOTA,图像编码速度暴涨150倍。我们也将持续回报社区,开源更多优秀模型、数据、infra工具等,将开源开放的星火播撒世界协作创新之苍穹。
智谱·AI最近宣布推出新一代多模态大模型CogVLM2,该模型在关键性能指标上相较于前一代CogVLM有了显著提升,同时支持8K文本长度和高达1344*1344分辨率的图像。CogVLM2在OCRbench基准上性能提升了32%,在TextVQA基准上性能提升了21.9%,显示出强大的文档图像理解能力。CogVLM2的两个模型在多个基准中取得了最先进的性能,同时在其他性能上也能达到与闭源模型相近的水平。
面壁智能推出了最新一代端侧多模态模型MiniCPM-Llama3-V2.5,这款模型具有超强的综合性能,能够超越GeminiPro和GPT-4V等多模态巨无霸。MiniCPM-Llama3-V2.5在OCR方面取得了SOTA的成绩,能够精准识别难图、长图和长文本。MiniCPM-Llama3-V2.5展现出了强大的多模态综合能力,为端侧AI模型的发展带来了新的突破。
【新智元导读】OpenAI半小时的发布会让很多人第一反应是直呼「失望」,但随着官网放出更多demo以及更多网友开始试用,大家才发现GPT-4o真的不可小觑,不仅在各种基准测试中稳拿第一有很多发布会从未提及的惊艳功能。OpenAI在发布会上官宣GPT-4o之后,各路大神也开始了对这个新模型的测评,结果就是,GPT-4o在多项基准测试上都展现了SOTA的实力。随着大模型之战愈演愈烈,相信对于开源和闭源的激烈讨论依旧会持续下去。
【新智元导读】GPT-4o发布不到一周,首个敢于挑战王者的新模型诞生!最近,Meta团队发布了「混合模态」Chameleon,可以在单一神经网络无缝处理文本和图像。10万亿token训练的34B参数模型性能接近GPT-4V,刷新SOTA。*表示共同一作,†表示关键贡献者,‡表示工作流程负责人,♯表示项目负责人。
整场发布会最为重磅的发布之一,莫过于OpenAI团队成员对于新模型语音能力的演示,搭载了GPT-4o的ChatGPT,不仅真正实现了实时响应,可以任意打断,更重要的是,ChatGPT第一次拥有了“察言观色”的能力,它能看到用户表情,理解用户语气中的情感变化,同时能够给出不同风格、情绪的回应。更新后的ChatGPT不论是从响应速度上是其他方面,变得更像人了。长期观察用户行为,�
MiniMax公司推出了一款人生搭子产品,名为「海螺AI」,也可以称为「小海螺」。这款产品可以帮助学生、职场新人、自由工作者、创作者等各类人群,作为一个外挂大脑和人生搭子,帮助化解信息过载和高速运转带来的压力。小海螺会24*7在线解决用户工作和生活中的问题,同时也希望能陪伴用户在人生的不同阶段。
Lumina-T2X是一个创新的内容生成系列模型,它采用了统一的DiT架构,能够通过文本生成图像、视频、多视角3D对象以及音频剪辑。这一新系列模型在大幅提高生成质量的同时,显著降低了训练成本,展示了AI技术在内容创作领域的最新进展。随着技术的不断进步,我们可以预见,未来AI将在内容创作、媒体制作、游戏开发等多个领域发挥更大的作用。
斯坦福大学的NEXAAI团队宣布推出全球首个多模态AI代理模型OctopusV3,让AI代理更加智能、快速、能耗及成本降低。今年四月份初,NEXAAI推出了备受瞩目的OctopusV2,该模型在函数调用性能上超越了GPT-4,减少了95%的推理时所需的文本量,为端侧AI应用带来了新的可能性。NEXAAI的创始团队表示,他们将继续致力于推动端侧AI技术的发展,通过开源模型提升其创新技术的影响力,为用户创造更智能、高效的未来生活。
VILA是英伟达发布的模型,使用大规模的交织图像文本数据进行预训练,为视频理解和多图像理解提供了新的能力,涵盖3.5B到40B多个大小的模型。最近发布的VILA-1.5版本具备视频理解功能,并提供了四种模型规模选择,为用户提供更多灵活性。通过Token压缩技术,VILA能够扩展视频帧数量,提高了模型的性能和应用范围。
在人工智能领域,人大系初创公司智子引擎近日发布了一款名为Awaker1.0的全新多模态大模型,标志着向通用人工智能迈出了重要一步。该模型在写真视频效果上超越了Sora,展现了其在视觉生成方面的卓越能力。Awaker1.0在理解侧和生成侧都实现了效果突破,有望加速多模态大模型行业的发展,最终让人类实现AGI。
InternVL家族的开源套件提供了一种商用多模态模型的可行开源替代方案。最新发布的InternVL-Chat-V1.5模型在多个基准测试上取得了接近GPT-4V和GeminiPro的性能,这使得InternVL家族成为了当前最接近GPT-4V表现的可商用开源模型之一。InternVL家族的开源套件为多模态模型领域的发展注入了新的活力。
元象公司发布了首个多模态大型模型XVERSE-V,并将其开源。这一模型支持任意宽高比的图像输入,并在多个权威评测中取得了优异的成绩。除了图像识别,XVERSE-V还在多个实际应用场景中表现突出,包括信息图理解、视障场景处理、文本生成、教育解题等。