11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
中国香港中文大学和SmartMore的研究人员推出了一种名为Mini-Gemini的新颖框架,通过增强多模态输入处理来推动VLMs的发展。Mini-Gemini采用了双编码器系统和一种新颖的补丁信息挖掘技术,结合一个特别策划的高质量数据集,使其能够有效处理高分辨率图像并生成内容丰富的视觉和文本内容,从使其脱颖出。正如研究人员所承认的那样,Mini-Gemini在视觉理解和推理能力方面仍有改进�
Mobile-Agent是一款具有视觉感知的自主多模式移动设备代理,由北京交通大学联合阿里巴巴团队共同开发。该代理采用纯视觉解决方案,独立于XML和系统元数据,不需要任何系统代码,完全通过分析图像来理解和操作手机。它能够自动完成各种任务,比如可以在淘宝加购物车车,在APP播放音乐,自主使用导航APP,收发邮件等等。
近期来自纽约大学和UC伯克利的研究团队在多模态大语言模型领域取得了重要突破,成功捕捉到了其在视觉理解方面存在的重大缺陷。研究人员发现,当前的MLLM在特定场景下,甚至在一些人类容易识别的图像问题上,表现不如随机猜测。这不仅对AI领域的研究有着积极的推动作用,也为未来开发更强大、全面的多模态大模型奠定了基础。
人工智能领域一直将视觉和语言的无缝整合作为关注焦点,特别是在大型语言模型的出现下,该领域取得了显著进展。对于多模态AGI系统言,发展视觉和视觉语言基础模型仍有待迎头赶上。该研究有助于推动多模态大型模型的发展,潜在地重塑人工智能和机器学习的未来格局。
StarVector是一种多模态SVG生成模型,该模型有效地集成了代码生成大型语言模型和视觉模型,使得能够生成准确表示图像像素的不受限制的SVG。StarVector利用CLIP图像编码器从基于像素的图像中提取出视觉表示模块,然后通过适配器将其转换为视觉标记。StarVector为SVG生成技术带来了新的突破,为网页开发和图形设计领域带来了更多可能性。
研究者表示,CoDi-2标志着在开发全面的多模态基础模型领域取得了重大突破。今年5月,北卡罗来纳大学教堂山分校、微软提出一种可组合扩散模型,让一种模型统一多种模态成为可能。值得注意的是,在所有三个编辑任务中,它在所有指标—对数谱距离、Kullback-Leibler发散和FréchetDis-tance上都取得了最低得分。
阿里云旗下魔搭社区宣布开源视觉语言模型Qwen-VL。Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发,支持图文输入,具备多模态信息理解能力。该模型的推理速度快,资源消耗相对较低。
字节大模型,BuboGPT来了。支持文本、图像、音频三种模态,做到细粒度的多模态联合理解。再来一张图片,并带有一段音频,BuboGPT也正确匹配了声音来源:Audio-8-bicycle_bell,量子位,22秒当然,它也会出现识别不成功,表述错误的情况,比如说下面这张图中并没有人,音频也只是钟声,但它的描述和图片似乎并不搭边。
周鸿祎在5月31日晚间的三六零智慧生活集团视觉大模型及AI硬件新品发布会上,发布了专业视觉及多模态大模型“360智脑-视觉大模型”。360智脑视觉大模型基于10亿级互联网图文数据进行清洗训练,并针对安防行业数据进行微调,融合千亿参数的"360智脑"大模型,从视觉感知能力角度进行打造。大模型将渗透到物联网设备中,成为物联网的大脑物联网设备则相当于大模型的感知端。
9 月 9 日,全球首座AI智慧车站广州地铁 21 号线天河智慧城示范站正式落成!正值“中国城轨交通业主领导人峰会 2019 广州年会”举办期间,广州地铁举行了“智慧地铁现场观摩会”,来自全国各城市轨道交通公司领导,广州地铁集团党委书记、董事长丁建隆、佳都科技董事长刘伟、新加坡国家工程院院士、佳都科技副总裁兼全球智能技术研究院院长李德紘等领导来宾共同参观体验了天河智慧城示范站,共同见证广州“智慧地铁”建设的崭新成果
TwelveLabs最新发布了Pegasus-1的公测版本,这款视频-语言基础模型在视频理解领域取得了新突破。Pegasus-1是一款具有约17亿参数的视频-语言模型,能够以卓越的准确性和细节处理能力从视频输入中生成语言描述。Pegasus-1的不断进化与创新,为视频理解技术开辟新的可能性。
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型,对于打工人来说简直不要太方便。上海AILab,香港中文大学等研究机构提出的InternLM-XComposer2-4KHD模型让这成为了现实。IXC2-4KHD将多模态大模型支持的分辨率提升到了4K的水平,研究人员表示目前这种通过增加切块个数支持更大图像输入的策略遇到了计算代价和显存的瓶颈,因此他们计划提出更加高效的策略在未来实现�
4月18日,2024中国生成式AI大会上李未可科技正式发布为眼镜等未来终端定向优化等自研WAKE-AI多模态大模型,具备文本生成、语言理解、图像识别及视频生成等多模态交互能力。该大模型围绕GPS轨迹视觉语音打造新一代LLM-Based的自然交互,同时多模态问答技术的加持,能实现所见即所问、所问即所得的精准服务。李未可科技合伙人&AI负责人古鉴表示WAKE-AI将逐步开放平台能力,便于更多企业及开发者调用WAKE-AI能力,共建AI硬件生态。
RekaCore是一款最新发布的多模态大型语言模型,其性能可与GPT-4相媲美,甚至在某些方面超越了现有的前沿模型。这一技术突破为人工智能领域带来了新的里程碑,特别是在图像、视频和音频的上下文理解能力方面。随着Core的进一步优化和应用,我们有理由相信,它将在多个领域产生深远的影响,推动人工智能技术的进步和社会的发展。
RekaAI近日宣布推出其最新力作——RekaCore,这是一款前沿的多模态语言模型,拥有强大的性能和灵活的部署方式。该模型像Gemini一样可以直接分析图片、视频、音频,评测得分与GPT-4和Gemini-Ultra接近。通过Edge、Flash和Core等系列模型的全面支持,Reka已经准备好迎接更广泛的挑战,展望未来,我们期待着与更多愿意加入我们的伙伴共同探索多模态世界的无限可能。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/🤖📱💼AI应用Sora平替?2分钟超长AI视频模型StreamingT2V免费开源试玩地址公布UdioAI提供多功能音频生成还可以创作喜剧、演讲、电台广播等美图Wink“AI动漫”功能升级可将短剧作品转化为动漫风格StableDesign:适用于室内装修设计的SD方案文字提示就可修改室内设计图比换脸更强大!SwapAnything:替换图片中的任意元素AI延时视频生成工具MagicTime在线体验地址放出自动化写作工具STORM:可生成像维基百科一样的深度长篇内容Meta推出ViewDiff模型:文本生成多视角3D图像📰🤖📢AI新鲜事首个AI程序员造假被抓,Devin再次“震撼”硅谷!扒皮视频文字详解附上马斯克XAI发布Grok-1.5Vision多模态模型,可处理文本和图片信息360智脑7B参数大模型正式开源最长支持约50万字输入Adobe图像生成AI“Firefly”训练集中约有5%为AI图像代码、模型全开源!贾佳亚团队多模态模型Mini-Gemini登上热榜面壁智能开源MiniCPM2.0系列模型OCR等能力显著增强竞争升温!ChatGPT增长疲软3月全球访问量17.7亿次,Claude逐渐崛起InstantID团队推新风格迁移方法InstantStyle一键置身“梵高星空”——————每日midjourneyprompt:小说古风美女图源备注:图片由AI生成,图片授权服务商MidjourneyAbeautifulwomanfromancientChina,dressedinagorgeousredHanfu,withlonghairdrapedoverhershoulders,satinherboudoirwithasmile.Ancientstyle,hanfu,boudoir,gorgeous,palace,screen,carpet,softlight,eleganttemperament,ancientculture,inlinewithorientalaesthetics,richdetails,bestquality,exquisitemakeup,cleareyelinerpen,slendereyebrows,texturedskin,whiteskin,charmingheaddress,--ar3:4--niji6--styleraw一个中国古代美女,穿着华丽的红色汉服,长发披肩,微笑着坐在闺房内。
香港中文大学终身教授贾佳亚团队最近推出了一款名为Mini-Gemini的多模态模型,该模型在多模态任务榜单上取得了显著成绩,其性能堪比GPT-4与DALLE3的结合。Mini-Gemini模型以其更精确的图像理解能力、更高质量的训练数据和更强的图像解析推理能力著称。这一成果不仅为开源社区带来了新的活力,也为多模态模型的发展和应用开辟了新的可能性。
在人工智能领域,多模态模型的发展一直是行业关注的焦点。马斯克XAI公司发布了其最新的多模态模型——Grok-1.5Vision,这一模型不仅能够处理文本信息能够理解和分析各种视觉数据,如文档、图表、截图和照片,标志着公司在人工智能技术上迈出了重要一步。随着该模型的进一步优化和应用,我们有理由相信,它将在多个领域发挥重要作用,推动人工智能技术向前发展。
Grok-1.5VisionPreview是X.AI公司推出的首个多模态模型。除了强大的文本处理能力,Grok还能处理各种视觉信息,如文档、图表、截图和照片等。点击前往Grok-1.5VisionPreview官网体验入口需求人群:辅助决策分析内容生成工作效率提升使用场景示例:使用Grok-1.5V分析复杂的商业报告,快速提取关键数据和见解利用Grok-1.5V自动生成项目计划草稿,并优化资源分配通过Grok-1.5V理解工厂设备使用说明,提高维修效率产品特色:多学科推理文档理解图表解读现实世界理解图像处理掌握Grok-1.5VisionPreview,体验多模态AI的强大功能和无限潜力。
MetaAI近日推出了一种名为MA-LMM的新型模型,旨在解决长期视频理解中的挑战。LLMs在处理文本数据时表现出了令人印象深刻的能力,但在处理视频输入方面存在一些限制,例如上下文长度限制和GPU内存限制。其创新性的设计以及利用长期记忆库和顺序处理的方法使得该模型能够在各种复杂场景下取得显著成果,证明了其在多模态视频理解应用中的有效性和多功能性。
MiniGPT4-Video是什么?MiniGPT4-Video是为视频理解设计的多模态大模型,能处理时态视觉数据和文本数据,配标题、宣传语,适用于视频问答。用户可以上传视频,让模型生成标题与宣传语,理解特效处理,或作超美抒情诗。
谷歌的研究人员最近推出了一款名为VLOGGER的多模态扩散模型,能够自动生成带语音、丰富动作的人物视频。用户只需向VLOGGER输入图像和语音,就可以获得逼真的视频效果。VLOGGER的推出为虚拟数字人的制作提供了更便捷、高效的解决方案,同时也在多模态视频生成领域取得了重要的技术突破。
冒泡鸭AI 是基于自研多模态大模型开发的AI互动平台,提供拟人、工具、内容、游戏、娱乐等多个领域的海量智能体。平台具有超长的上下文记忆能力和实时联网搜索能力,能够深度理解用户意图,并提供即时、准确、个性化的回复和选择。用户还可以定制个性化的AI智能体,以满足个性化的需求和偏好。点击前往冒泡鸭AI官网体验入口谁适合使用冒泡鸭AI?冒泡鸭AI适用于寻求�
36kr研究院发布了《2024年AIGC行业研究:多模态大模型与商业应用》,文中基于AIGC产业生态现状和技术发展路径,深入分析AIGC商业化应用的方向与产业发展趋势。其中在36kr研究院梳理的产业图谱中,发现杭州李未可科技与字节跳动的豆包、腾讯云混元及华为云盘古等大模型等一起出现在闭源模型层,甚至在跨模态生成应用层也占据一地。李未可科技这类结合自身业务垂类场景,提前布局中间层及终端应用层的自研大模型或许能给市场带来不小的惊喜。
理想汽车宣布其全自研的多模态认知大模型——MindGPT,已正式通过国家《生成式人工智能服务管理暂行办法》的备案。这一里程碑式的事件标志着理想汽车成为首个通过该备案的汽车厂商自研大模型。它不仅支持方言自由说、指令自由说具备简洁模式以及全时全车免唤醒的能力,为用户提供了更加便捷、智能的交互体验。
3月28日,钉钉AI助理进行了重磅升级,新增了图片理解、文档速读、工作流等功能。这次升级使得钉钉AI助理率先尝试了多模态和长文本处理技术,展现出更强大的能力。用户可以在钉钉APP或PC客户端直接体验这些功能,享受AI带来的便捷与高效。
多模态大型语言模型在视觉情境下的表现异常出色,引起了广泛关注。它们解决视觉数学问题的能力仍需全面评估和理解。这表明需要更先进的数学专用视觉编码器,突显了MLLM发展的潜在未来方向。
零一万物API正式向开发者开放,其中包含三款强大的模型。首先是Yi-34B-Chat-0205,支持通用聊天、问答、对话、写作和翻译等功能;其次是Yi-34B-Chat-200K,能处理多文档阅读理解和构建超长知识库;最后是Yi-VL-Plus多模态模型,支持文本、视觉多模态输入,中文图表体验超越GPT-4V。无论是在图表识别、文本理解还是长篇文本分析方面,这些模型都展现出了令人惊叹的性能。
HPT是HyperGAI研究团队推出的新型多模态大型语言模型框架。它具有高效且可扩展地训练大型多模态基础模型的能力,能够理解包括文本、图像、视频等多种输入模态。点击前往HPT官网体验入口需求人群:"适用于需要处理和理解多模态数据的研究人员和开发者,如进行视觉-语言任务、图像分析、图表解读等。
苹果显然已经加大了对生成式人工智能的重视和投入。此前在2024苹果股东大会上,苹果CEO蒂姆・库克表示,今年将在GenAI领域实现重大进展。更多研究细节,可参考原论文。