首页 > 传媒 > 关键词  > 正文

多模态产业通用大模型来了!考拉悠然公开UranMM-13B技术细节

2023-11-23 14:15 · 稿源: 站长之家用户

自从2022年底open AI推出ChatGPT开始,大型语言模型(LLMs, Large Language Models)的热度吸引了全世界的眼球,相关研究也取得了令人瞩目的进展。除了纯语言模型相关的技术研究以外,将视觉能力融入大语言模型的视觉语言模型(VLMs,Vision Language Models)也迅猛发展。

目前市场上主流的研究路线主要分为两种:1)原生多模态路线,模型设计从一开始就针对多模态数据进行适配,代表性的工作有微软的KOSMOS系列和Florence系列、谷歌的PALM-E系列,以及阿里的OFA系列等;2)将单模态特征作为LLMs的额外输入tokens来扩展语言模型,从而将其用于视觉语言等多种任务中,代表性的工作有Deepmind的Flamingo、Saleforce的BLIP-2、LLAVA,以及阿里的Qwen-vl等。

以上两种技术路线各有优劣,原生多模态路线的模型结构主体均为Transformer的基础堆叠,包括encoder和decoder两个模块;而视觉模块作为语言模块额外输入补充的方式多为decoder-only的模型架构、transformer LLMs模型作为中心,其他模态的模型作为外围辅助特征提取模块,用小参数量的模型就可以做到各个单模态领域已有成果的复用,同时还能保留LLMs的已有效果,通过插入多个对齐层来实现视觉信息与文本信息的对齐和联合学习,这种方式在扩展模态信息上也更灵活。用同样的方法可以支持语音、图片、视频等其他模态数据的统一训练。

01 总述

考拉悠然在视觉以及多模态领域有超过20年的技术积累,拥有20余项领先的技术突破,大模型时代到来以后,公司第 一时间投入到多模态大模型的研发工作,经历了多个版本迭代,于11月15 日正式发布了悠然多模态产业通用大模型应用与服务平台。

悠然大模型(以下简称UranMM-13B)采用先进的多模态大模型架构,将视觉等模态知识作为模态数据补充到LLMs,简单有效地扩展了LLM的识图、视频理解等跨模态能力,作为一种多模态视觉语言大模型,悠然大模型具有领先的图文理解、视频理解、多模态推理等能力,并且保留了常见的自然语言任务处理能力,包括问答、信息检索、创意写作和辅助编码等能力。该模型对比BLIP2、LLaVa、QwenVL-Chat等国内外模型评测的打分中,表现出不俗的成绩。同时,悠然大模型定位为产业通用大模型,基于产业模型可以快速生成行业模型,结合行业应用发挥出更大的价值。

02  模型介绍

模型结构

整个模型主要由多模态编码器、对齐模块、大语言模型三个模块组成,结合了高质量场景化数据,通过控制可训参数进行预训练和调优。

● 多模态编码器:以视觉编码器(Image Encoder)为例,UranMM-13B使用了预训练的CLIP ViT-L/14,以提取输入图像的特征。图像被调整为336×336的统一尺寸,并被分割成14个步长的patch,最终转化为序列长度为576的tokens作为LLMs的输入。

● 对齐模块:使用了一个多层感知器MLP,用于与LLMs模型理解的知识结构匹配。

● 大语言模型:UranMM-13B 以LLaMa2为基础,具备13B参数量,特别进行了中文分词优化,增加了200B tokens具备行业属性的中英文数据进行预训练,在中文、英文、数学、代码等下游任务上,相对于Llama2-13B取得了明显的提升。

训练数据

现有的多模态公开指令集,存在质量偏低和数量有限的问题,通过公开数据训练出来的模型存在严重幻觉,无法满足实际应用需求。为此,考拉悠然研发团队采用了一系列高质量数据生成策略:

1. 基于主流的视觉和语言大模型设计规则,对公开数据进行清洗和过滤,得到第 一部分高质量的种子数据,根据实际经验判断数据的有效率约30%。

2. 结合GLIP、SAM、KOSMOS等先进视觉技术,采用粗粒度信息和细粒度信息的抽取,将图像描述转化为语言形式,再通过模型构建一批高质量的指令数据。

最终用于模型训练的数据规模达到了百亿token全模态数据,和百万行业高质量指令集。

训练方法

训练方法上,考拉悠然取得了许多创新成果,团队基于DeepSpeed的训练框架进行优化,采用BF16精度,整合了FlashAttention2等技术提升训练效率。

同市场上很多VLM模型的生成过程类似,悠然大模型训练过程分为两个阶段:第 一阶段使用图像-文本数据训练视觉和语言模型对齐层,使视觉模型抽取出来的图像特征能够和LLM中的文本特征空间进行对齐;第二阶段使用行业自有指令数据和开源指令数据,进一步微调模型的视觉感知以及业务理解能力,同时,为了保持模型语言能力的稳定性,还使用了ShareGPT的1M文本数据。

UranMM-13B还特别针对实际业务场景的需求,实现了预测场景的能力强化。我们使用了分组查询注意力(GQA)进行更快的推理、滑动窗口注意力(SWA)以更低的成本处理更长的序列,这些技术使模型更好地处理时间序列预测问题,实现更准确的预测。我们的模型还具备自我学习和调整的能力,能够根据新的数据和反馈持续优化预测结果。

03 评测结果

UranMM-13B在视觉标注、问答、关联提取等任务中,与近期的SOTA模型相比取得了领先的效果。

UranMM-13B与近期的SOTA模型评测对比图

04  通用能力展示

图片识别

以下为真实交通场景下,对图片多目标的类型与特征进行识别的案例。

OCR

以下案例展示了模型执行实际街道照片的中文OCR识别任务的能力。

文本写作

以下案例展示了模型基于灾害场景的图片信息的文本创作能力。

05  真实业务场景示例

基于悠然多模态产业通用大模型,经过行业数据微调构生成行业大模型后,配合模型推理训练引擎、向量数据库、多模态数据实时加工服务与Agent智能体等大模型应用工具链,可以快速构建各类行业AI应用。这一最 新的应用范式,对比过往的产品解决方案,在业务效果和交付效率层面均有显著的提升,有望催生全新的行业AI原生应用,实现产业真正的智能化升级。在高空交通监管、电网巡检、半导体质量检测、烟草生产管控、智慧城市治理等交通、能源、工业、政务领域的场景中拥有广阔的应用空间与大量潜在商机。

以下以高空交通监管场景的行业应用功能点为例,展示模型在真实业务场景中的应用效果。

高空视频大模型 + 高空视频全要素感知预警平台

以川藏公路折多山当地的交通感知预警应用为例。一方面,当地部署的多个高空摄像头,24小时实时传输道路视频流。视频流在经过高空视频大模型驱动的数据处理服务加工后,形成动态增删的结构化的事件数据集;另一方面,业务方预先准备的《中华人民共和国道路交通安全法》《中华人民共和国道路交通安全法实施条例》及四川交通厅相关道路安全行政法规等行业规范,构建了完备的行业知识库。

当出现紧急情况时,行业智能体将结合视频事件与行业法规条例的信息,智能判断告警程度并输出事件分析报告,协助监管人员及时处理险情。在日常运营时段,监管人员也可以实时通过预警平台,灵活生成指定时段的交通动态图表、分析报告,为监管工作提供敏捷可靠的数据支撑。

上述案例充分展现出悠然多模态产业通用大模型,在视觉识别、信息理解、逻辑推断、知识应用等任务上的良好效果。

06  联系我们

如果您对悠然多模态产业通用大模型感兴趣,请联系我们。

参考文献:

 [1]Li J, Li D, Savarese S, et al. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint  arXiv:2301.12597, 2023.

[2]Dai W, Li J, Li D, et al. InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning. arXiv preprint arXiv:2305.06500, 2023.

[3]Bai J, Bai S, Yang S, et al. Qwen-vl: A frontier large vision-language model with versatile abilities. arXiv preprint arXiv:2308.12966, 2023.

[4]Liu H, Li C, Li Y, et al. Improved baselines with visual instruction tuning. arXiv preprint arXiv:2310.03744, 2023.

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 1000万上下文!新开源多模态大模型,单个GPU就能运行

    今年2月初,谷歌发布的Gemini2.0Pro支持200万上下文,震惊了整个大模型领域。仅过了2个月,Meta最新开源的Llama4Scout就将上下文扩展至1000万,整整提升了5倍开启千万级时代。根据实验数据显示,Llama4Behemoth在MMLUPro、GPQA、MATH-500等测试的数据比GPT-4.5、ClaudeSonnet3.7、Gemini2.0Pro更好。

  • 刚刚,商汤发布第六代大模型:6000亿参数多模态MoE,中长视频直接可推理

    现在的国产AI应用,一口气看好几分钟的视频,都可以直接做推理和解析了!瞧~只需“喂”上一段柯南片段,AI就摇身一变成“名侦探”做剖析:它会对整个视频的内容先做一个总结,再按照秒级,对视频片段做内容上的推演。商汤科技联合创始人杨帆认为:银河通用合伙人、大模型负责人张直政表示:除此之外,上海交通大学副教授闫维新对这个问题的看法是:总言之,商汤作为国�

  • 可灵AI发布全新2.0模型:上线多模态视频编辑功能

    快科技4月16日消息,据报道,可灵AI在北京举行灵感成真”2.0模型发布会,正式发布可灵2.0视频生成模型及可图2.0图像生成模型。据介绍,可灵2.0模型在动态质量、语义响应、画面美学等维度保持领先;可图2.0模型在指令遵循、电影质感及艺术风格表现等方面显著提升。3月27日,全球AI基准测试机构Artificial Analysis发布了最新的全球视频生成大模型榜单,快手可灵1.6pro(高品质模

  • 多模态和Agent成为大厂AI的新赛 点

    这是《窄播Weekly》的第52期,本期我们关注的商业动态是:当大厂的AI竞争策略开始倾斜向应用场景,多模态能力和代理执行成为两个焦点。大模型落地C端场景的核心,就是让大模型的能力越来越接近人。沿着这个主旋律,可以划分出两个进化方向:一个是持续降低用户与大模型进行有效沟通的难度;另一个则是让大模型具备执行更复杂任务的能力。前者的实现,需要给到大模型多

  • 多模态和Agent成为大厂AI的新赛点

    本期《窄播Weekly》聚焦AI大厂竞争策略向应用场景倾斜的趋势,重点分析了多模态能力和代理执行两大发展方向。文章指出,大模型落地的核心在于让人机交互更自然,具体表现为:1)通过多模态技术降低用户使用门槛,如阿里夸克新推出的"拍照问夸克"功能;2)通过代理执行提升复杂任务处理能力,如字节、百度等推出的通用Agent产品。国内外厂商路径差异明显:国�

  • 开源即支持!基于昇腾MindSpeed MM玩转InternVL3多模态理解最新模型

    多模态理解领域当前已成了各家AI大模型公司“军备竞赛”的关键点之一,国内外知名AI大模型公司都争相通过发布最先进的多模态大语言模型展现其在多模态理解领域的前沿能力。近期,上海AI实验室推出了其最新的多模态大语言模型InternVL3 系列,相比上一代InternVL2. 5 模型,该模型展现出卓越的多模态感知和推理能力,同时进一步扩展了其工具使用、GUI代理、工业图像分析等

  • 紫东太初多模态RAG全新发布:端到端问答准确率提升33%

    在产业智能化进程中,如何高效融合企业专有知识资产,构建领域专属认知引擎,是企业迈向智能决策与高效运营的关键。然而,传统检索增强生成(RAG)技术受限于语言单模态处理能力,仅能实现文本知识库与文本查询之间的浅层理解,难以满足复杂业务场景的需求,在实际应用中暴露出两大缺陷:信息表征缺失:忽略知识库中多模态富文档的视觉语义信息,如版面结构、图表关�

  • 界唯一!百度网盘上线多模态AI笔记 效率提升10倍

    快科技5月2日消息,过往,用户在通过视频学习并记录笔记时,总免不了要不停切换平台软件,暂停、截屏、记录、插图、批注、切换返回视频过程繁琐而低效。为了应对这种情况,百度网盘和百度文库联合研发上线了AI笔记”,支持全自动学习、半自动学习、辅助学习三种模式。如今只要在网盘里面任意打开一个学习视频,在右侧就能看到AI笔记”功能,用户可以自主输入内容,也可以让其直接生成图文并茂、结构清晰的笔记。而且每个重要知识点旁会有时间戳,点击时间戳即可跳转到视频中对应位置,实现视频和笔记内容的顺滑关联。此外AI笔记”还可以帮

  • UniToken:多模态AI的“全能选手”,一次编码搞定图文理解与图像生成

    复旦大学与美团研究者提出UniToken框架,首次在统一模型中实现图文理解与生成任务的"双优表现"。该方案融合连续和离散视觉编码,有效解决了传统多模态建模中的"任务干扰"和"表示割裂"问题。通过三阶段训练策略(视觉语义对齐、多任务联合训练、指令强化微调),UniToken在多个基准测试中性能超越专用模型。其创新性体现在:1)统一的双边视觉编码

  • 刚刚,Llama 4深夜开源击败DeepSeek V3!2万亿多模态巨兽抢回王座

    Llama4重磅发布了!Meta官宣开源首个原生多模态Llama4,首次采用的MoE架构,支持12种语言,首批发布一共两款:Llama4Scout:共有1090亿参数,17B活跃参数,16个专家,1000万上下Llama4Maverick:共有4000亿参数,17B活跃参数,128个专家,100万上下文另外,2万亿参数Llama4Behemoth将在未来几个月面世,288B活跃参数,16个专家。Llama4的横空出世,成为迄今为止开源最强,多模态能力最好的模型之一。L