11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
8月10日,2023快手光合创作者大会在上海召开。大会以“热爱,让收获更多”为主题,深入解读快手创作者成长及内容生态走势,重点阐释平台好内容背后的AI技术支持,帮助创作者更好地提升短视频内容的创作力和生产力。通过不断升级技术能力、优化产品功能,快手将为创作者提供更便捷、更智能的创作体验。
6月16日,在人工智能框架生态峰会2023上,中国科学院自动化研究所正式发布“紫东太初”全模态大模型。“紫东太初”全模态大模型是在千亿参数多模态大模型“紫东太初”1.0基础上升级打造的2.0版本,在语音、图像和文本三模态的基础上,加入视频、信号、3D点云等模态数据,研究突破了认知增强的多模态关联等关键技术,具备全模态理解能力、生成能力和关联能力。中科院表示,从1.0到2.0,“紫东太初”大模型打通了感知、认知乃至决策的交互屏障,使人工智能进一步感知世界、认知世界,从延伸出更加强大的通用能力。
MiniMax公司推出了一款人生搭子产品,名为「海螺AI」,也可以称为「小海螺」。这款产品可以帮助学生、职场新人、自由工作者、创作者等各类人群,作为一个外挂大脑和人生搭子,帮助化解信息过载和高速运转带来的压力。小海螺会24*7在线解决用户工作和生活中的问题,同时也希望能陪伴用户在人生的不同阶段。
在人工智能领域,人大系初创公司智子引擎近日发布了一款名为Awaker1.0的全新多模态大模型,标志着向通用人工智能迈出了重要一步。该模型在写真视频效果上超越了Sora,展现了其在视觉生成方面的卓越能力。Awaker1.0在理解侧和生成侧都实现了效果突破,有望加速多模态大模型行业的发展,最终让人类实现AGI。
元象公司发布了首个多模态大型模型XVERSE-V,并将其开源。这一模型支持任意宽高比的图像输入,并在多个权威评测中取得了优异的成绩。除了图像识别,XVERSE-V还在多个实际应用场景中表现突出,包括信息图理解、视障场景处理、文本生成、教育解题等。
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简直不要太方便。上海AILab,香港中文大学等研究机构提出的InternLM-XComposer2-4KHD模型让这成为了现实。IXC2-4KHD将多模态大模型支持的分辨率提升到了4K的水平,研究人员表示目前这种通过增加切块个数支持更大图像输入的策略遇到了计算代价和显存的瓶颈,因此他们计划提出更加高效的策略在未来实现�
4月18日,2024中国生成式AI大会上李未可科技正式发布为眼镜等未来终端定向优化等自研WAKE-AI多模态大模型,具备文本生成、语言理解、图像识别及视频生成等多模态交互能力。该大模型围绕GPS轨迹视觉语音打造新一代LLM-Based的自然交互,同时多模态问答技术的加持,能实现所见即所问、所问即所得的精准服务。李未可科技合伙人&AI负责人古鉴表示WAKE-AI将逐步开放平台能力,便于更多企业及开发者调用WAKE-AI能力,共建AI硬件生态。
RekaCore是一款最新发布的多模态大型语言模型,其性能可与GPT-4相媲美,甚至在某些方面超越了现有的前沿模型。这一技术突破为人工智能领域带来了新的里程碑,特别是在图像、视频和音频的上下文理解能力方面。随着Core的进一步优化和应用,我们有理由相信,它将在多个领域产生深远的影响,推动人工智能技术的进步和社会的发展。
MetaAI近日推出了一种名为MA-LMM的新型模型,旨在解决长期视频理解中的挑战。LLMs在处理文本数据时表现出了令人印象深刻的能力,但在处理视频输入方面存在一些限制,例如上下文长度限制和GPU内存限制。其创新性的设计以及利用长期记忆库和顺序处理的方法使得该模型能够在各种复杂场景下取得显著成果,证明了其在多模态视频理解应用中的有效性和多功能性。
MiniGPT4-Video是什么?MiniGPT4-Video是为视频理解设计的多模态大模型,能处理时态视觉数据和文本数据,配标题、宣传语,适用于视频问答。用户可以上传视频,让模型生成标题与宣传语,理解特效处理,或作超美抒情诗。
36kr研究院发布了《2024年AIGC行业研究:多模态大模型与商业应用》,文中基于AIGC产业生态现状和技术发展路径,深入分析AIGC商业化应用的方向与产业发展趋势。其中在36kr研究院梳理的产业图谱中,发现杭州李未可科技与字节跳动的豆包、腾讯云混元及华为云盘古等大模型等一起出现在闭源模型层,甚至在跨模态生成应用层也占据一地。李未可科技这类结合自身业务垂类场景,提前布局中间层及终端应用层的自研大模型或许能给市场带来不小的惊喜。
理想汽车宣布其全自研的多模态认知大模型——MindGPT,已正式通过国家《生成式人工智能服务管理暂行办法》的备案。这一里程碑式的事件标志着理想汽车成为首个通过该备案的汽车厂商自研大模型。它不仅支持方言自由说、指令自由说具备简洁模式以及全时全车免唤醒的能力,为用户提供了更加便捷、智能的交互体验。
苹果显然已经加大了对生成式人工智能的重视和投入。此前在2024苹果股东大会上,苹果CEO蒂姆・库克表示,今年将在GenAI领域实现重大进展。更多研究细节,可参考原论文。
生数科技「多模态大模型」正式通过国家《生成式人工智能服务管理暂行办法》备案。成立于2023年3月,生数科技是一家全球领先的自主研发多模态通用大模型的人工智能企业,布局MaaS与应用级产品,面向艺术设计、游戏制作、影视动画、社交娱乐等领域提供赋能。生数科技将继续深化在通用多模态大模型方向的探索,致力于用AI提升每个人的创造力和生产力。
3月11日,DeepSeek-AI开源了全新多模态大模型DeepSeek-VL系列,分为1.3b和7b两种规模,共有4个版本。它具有融合语言和视觉能力,可以在不损失语言理解能力的情况下处理多模态任务,识别高分辨率图像中的细小物体。成立于2023年,专注于研究世界领先的通用人工智能底层模型与技术,挑战人工智能前沿性难题。
欢迎来到【今日AI】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
华中科技大学等机构发布了一项关于多模态大模型的全面评估新基准,旨在解决多模态大模型性能评估的问题。这项研究涉及了14个主流多模态大模型,包括谷歌Gemini、OpenAIGPT-4V等,覆盖了五大任务、27个数据集。这项研究不仅为多模态大模型的性能评估提供了新的思路,也为相关领域的研究和应用奠定了更加扎实的基础。
InternLM-XComposer2是一款先进的视觉-语言模型,在自由组合文本和图像以及理解这两者之间的内容方面表现卓越。这款模型不仅超越了传统的视觉-语言理解能够巧妙地将多样化的输入,如概要、详尽的文本描述和参考图片,融合成包含文本和图像的复合内容,实现高度定制化的创作。这使得InternLM-XComposer2成为当前领先的视觉-语言模型之一,为多领域的创作和理解任务提供了卓越
欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。
通义千问的图像推理能力,最近有了大幅提升。2024年,大模型领域要卷什么?如果没有思路的话,不妨看看各家大厂都在押注什么方向。随着多模态大模型技术的突破,我们将很快看到电商领域发生一场革命。
阿里云公布了多模态大模型的最新研究成果,继Plus版本之后,再次推出Max版本。Qwen-VL-Max模型在视觉推理方面展现出卓越的能力,可以理解并分析复杂的图片信息,包括识人、答题、创作和写代码等任务。用户可以在通义千问官网、通义千问APP直接体验Max版本模型的能力,也可以通过阿里云灵积平台调用模型API。
领跑中英文两大权威榜单,李开复零一万物交出多模态大模型答卷!距离其首款开源大模型Yi-34B和Yi-6B的发布,仅间隔不到三个月的时间。模型名为YiVisionLanguage,现已正式面向全球开源。GPT-4V在该测试集上的准确率为43.7%,Yi-VL-34B以36.5%的准确率紧随其后,领先于当前最前沿的开源多模态模型。
UCLA等机构的研究人员推出了具身智能大模型MultiPLY,该模型不仅具备多模态感知能力,包括触觉、视觉、听觉等,使得AI能够更全面地与3D环境进行交互。这标志着具备多感官能力的大模型成为未来AI发展的重要方向。这一研究的出现,为构建更全面、具备多感官能力的大模型提供了新思路。
GLM-4是由智谱AI在首届技术开放日上发布的一款新型大模型。GLM-4在性能上全面提升近60%,支持更长的上下文、更强的多模态支持和更快速的推理。要获取更多详细信息并开始使用GLM-4,请访问GLM-4网站查看更多介绍。
在清华大学举行的演讲中,360集团创始人周鸿祎对2024年大模型的发展趋势进行了深刻的预测,引发了业界的广泛关注。周鸿祎首先指出,与操作系统不同,大模型将呈现无处不在的趋势,更类似于电脑的普及。大模型在中国的发展方向是产业化和垂直化,预计明年将涌现出许多真正解决实际问题的垂直大模型。
多模态大模型爆发,准备好进入图像编辑、自动驾驶和机器人技术等细粒度任务中实际应用了吗?目前大多数模型的能力还是局限于生成对整体图像或特定区域的文本描述,在像素级理解方面的能力相对有限。针对这个问题,一些工作开始探索借助多模态大模型来处理用户的分割指令。在三个benchmark的绝大多数指标上,PixelLM的性能均优于其他方法,且由于PixelLM不依赖于SAM,其TFLOPs远远低于同尺寸的模型。
在Transformer占据多模态工具半壁江山的时代,大核CNN又“杀了回来”,成为了一匹新的黑马。腾讯AI实验室与港中文联合团队提出了一种新的CNN架构,图像识别精度和速度都超过了Transformer架构模型。作者已经放出了所有代码,并将所有模型和实验脚本开源。
给你一首曲子的音频和一件乐器的3D模型,然后问你这件乐器能否演奏出这首曲子。你可以通过听觉来辨认这首曲子的音色,看它是钢琴曲还是小提琴曲又或是来自吉他;同时用视觉识别那是件什么乐器。用等价的线性投影模块替换其中一个Q-Former后,图像-3D的性能会下降一半以上,音频-视频的性能会下降超过10个点。
啥?AI都能自己看电影大片了?贾佳亚团队最新研究成果,让大模型直接学会了处理超长视频。丢给它一部科幻大片《星际穿越》:它“看”完之后,不仅能结合电影情节和人物轻松对电影进行点评:还能很精准地回答出剧中所涉的细节:例如:虫洞的作用和创造者是谁?男主库珀是如何将黑洞中的信息传递给女儿墨菲?啊这,感觉电影博主的饭碗也要被AI抢走了。团队也提供了demo地址,可自己上传视频和LLaMA-VID对话。
APE是一种全开源的多模态分割模型,其独特之处在于采用了独立建模每个类别名实例的方法。以往的方法通常将多个类别名联结成一个单独的Prompt,但APE通过对每个类别名或描述短语进行独立建模,可以学习到不同实例之间的差异。未来的研究可以进一步探索APE在其他视觉任务中的应用,以及对其方法进行优化和改进。