首页 > 传媒 > 关键词  > 正文

多模态产业通用大模型来了!考拉悠然公开UranMM-13B技术细节

2023-11-23 14:15 · 稿源: 站长之家用户

自从2022年底open AI推出ChatGPT开始,大型语言模型(LLMs, Large Language Models)的热度吸引了全世界的眼球,相关研究也取得了令人瞩目的进展。除了纯语言模型相关的技术研究以外,将视觉能力融入大语言模型的视觉语言模型(VLMs,Vision Language Models)也迅猛发展。

目前市场上主流的研究路线主要分为两种:1)原生多模态路线,模型设计从一开始就针对多模态数据进行适配,代表性的工作有微软的KOSMOS系列和Florence系列、谷歌的PALM-E系列,以及阿里的OFA系列等;2)将单模态特征作为LLMs的额外输入tokens来扩展语言模型,从而将其用于视觉语言等多种任务中,代表性的工作有Deepmind的Flamingo、Saleforce的BLIP-2、LLAVA,以及阿里的Qwen-vl等。

以上两种技术路线各有优劣,原生多模态路线的模型结构主体均为Transformer的基础堆叠,包括encoder和decoder两个模块;而视觉模块作为语言模块额外输入补充的方式多为decoder-only的模型架构、transformer LLMs模型作为中心,其他模态的模型作为外围辅助特征提取模块,用小参数量的模型就可以做到各个单模态领域已有成果的复用,同时还能保留LLMs的已有效果,通过插入多个对齐层来实现视觉信息与文本信息的对齐和联合学习,这种方式在扩展模态信息上也更灵活。用同样的方法可以支持语音、图片、视频等其他模态数据的统一训练。

01 总述

考拉悠然在视觉以及多模态领域有超过20年的技术积累,拥有20余项领先的技术突破,大模型时代到来以后,公司第 一时间投入到多模态大模型的研发工作,经历了多个版本迭代,于11月15 日正式发布了悠然多模态产业通用大模型应用与服务平台。

悠然大模型(以下简称UranMM-13B)采用先进的多模态大模型架构,将视觉等模态知识作为模态数据补充到LLMs,简单有效地扩展了LLM的识图、视频理解等跨模态能力,作为一种多模态视觉语言大模型,悠然大模型具有领先的图文理解、视频理解、多模态推理等能力,并且保留了常见的自然语言任务处理能力,包括问答、信息检索、创意写作和辅助编码等能力。该模型对比BLIP2、LLaVa、QwenVL-Chat等国内外模型评测的打分中,表现出不俗的成绩。同时,悠然大模型定位为产业通用大模型,基于产业模型可以快速生成行业模型,结合行业应用发挥出更大的价值。

02  模型介绍

模型结构

整个模型主要由多模态编码器、对齐模块、大语言模型三个模块组成,结合了高质量场景化数据,通过控制可训参数进行预训练和调优。

● 多模态编码器:以视觉编码器(Image Encoder)为例,UranMM-13B使用了预训练的CLIP ViT-L/14,以提取输入图像的特征。图像被调整为336×336的统一尺寸,并被分割成14个步长的patch,最终转化为序列长度为576的tokens作为LLMs的输入。

● 对齐模块:使用了一个多层感知器MLP,用于与LLMs模型理解的知识结构匹配。

● 大语言模型:UranMM-13B 以LLaMa2为基础,具备13B参数量,特别进行了中文分词优化,增加了200B tokens具备行业属性的中英文数据进行预训练,在中文、英文、数学、代码等下游任务上,相对于Llama2-13B取得了明显的提升。

训练数据

现有的多模态公开指令集,存在质量偏低和数量有限的问题,通过公开数据训练出来的模型存在严重幻觉,无法满足实际应用需求。为此,考拉悠然研发团队采用了一系列高质量数据生成策略:

1. 基于主流的视觉和语言大模型设计规则,对公开数据进行清洗和过滤,得到第 一部分高质量的种子数据,根据实际经验判断数据的有效率约30%。

2. 结合GLIP、SAM、KOSMOS等先进视觉技术,采用粗粒度信息和细粒度信息的抽取,将图像描述转化为语言形式,再通过模型构建一批高质量的指令数据。

最终用于模型训练的数据规模达到了百亿token全模态数据,和百万行业高质量指令集。

训练方法

训练方法上,考拉悠然取得了许多创新成果,团队基于DeepSpeed的训练框架进行优化,采用BF16精度,整合了FlashAttention2等技术提升训练效率。

同市场上很多VLM模型的生成过程类似,悠然大模型训练过程分为两个阶段:第 一阶段使用图像-文本数据训练视觉和语言模型对齐层,使视觉模型抽取出来的图像特征能够和LLM中的文本特征空间进行对齐;第二阶段使用行业自有指令数据和开源指令数据,进一步微调模型的视觉感知以及业务理解能力,同时,为了保持模型语言能力的稳定性,还使用了ShareGPT的1M文本数据。

UranMM-13B还特别针对实际业务场景的需求,实现了预测场景的能力强化。我们使用了分组查询注意力(GQA)进行更快的推理、滑动窗口注意力(SWA)以更低的成本处理更长的序列,这些技术使模型更好地处理时间序列预测问题,实现更准确的预测。我们的模型还具备自我学习和调整的能力,能够根据新的数据和反馈持续优化预测结果。

03 评测结果

UranMM-13B在视觉标注、问答、关联提取等任务中,与近期的SOTA模型相比取得了领先的效果。

UranMM-13B与近期的SOTA模型评测对比图

04  通用能力展示

图片识别

以下为真实交通场景下,对图片多目标的类型与特征进行识别的案例。

OCR

以下案例展示了模型执行实际街道照片的中文OCR识别任务的能力。

文本写作

以下案例展示了模型基于灾害场景的图片信息的文本创作能力。

05  真实业务场景示例

基于悠然多模态产业通用大模型,经过行业数据微调构生成行业大模型后,配合模型推理训练引擎、向量数据库、多模态数据实时加工服务与Agent智能体等大模型应用工具链,可以快速构建各类行业AI应用。这一最 新的应用范式,对比过往的产品解决方案,在业务效果和交付效率层面均有显著的提升,有望催生全新的行业AI原生应用,实现产业真正的智能化升级。在高空交通监管、电网巡检、半导体质量检测、烟草生产管控、智慧城市治理等交通、能源、工业、政务领域的场景中拥有广阔的应用空间与大量潜在商机。

以下以高空交通监管场景的行业应用功能点为例,展示模型在真实业务场景中的应用效果。

高空视频大模型 + 高空视频全要素感知预警平台

以川藏公路折多山当地的交通感知预警应用为例。一方面,当地部署的多个高空摄像头,24小时实时传输道路视频流。视频流在经过高空视频大模型驱动的数据处理服务加工后,形成动态增删的结构化的事件数据集;另一方面,业务方预先准备的《中华人民共和国道路交通安全法》《中华人民共和国道路交通安全法实施条例》及四川交通厅相关道路安全行政法规等行业规范,构建了完备的行业知识库。

当出现紧急情况时,行业智能体将结合视频事件与行业法规条例的信息,智能判断告警程度并输出事件分析报告,协助监管人员及时处理险情。在日常运营时段,监管人员也可以实时通过预警平台,灵活生成指定时段的交通动态图表、分析报告,为监管工作提供敏捷可靠的数据支撑。

上述案例充分展现出悠然多模态产业通用大模型,在视觉识别、信息理解、逻辑推断、知识应用等任务上的良好效果。

06  联系我们

如果您对悠然多模态产业通用大模型感兴趣,请联系我们。

参考文献:

 [1]Li J, Li D, Savarese S, et al. Blip-2: Bootstrapping language-image pre-training with frozen image encoders and large language models. arXiv preprint  arXiv:2301.12597, 2023.

[2]Dai W, Li J, Li D, et al. InstructBLIP: Towards General-purpose Vision-Language Models with Instruction Tuning. arXiv preprint arXiv:2305.06500, 2023.

[3]Bai J, Bai S, Yang S, et al. Qwen-vl: A frontier large vision-language model with versatile abilities. arXiv preprint arXiv:2308.12966, 2023.

[4]Liu H, Li C, Li Y, et al. Improved baselines with visual instruction tuning. arXiv preprint arXiv:2310.03744, 2023.

推广

特别声明:以上内容(如有图片或视频亦包括在内)均为站长传媒平台用户上传并发布,本平台仅提供信息存储服务,对本页面内容所引致的错误、不确或遗漏,概不负任何法律责任,相关信息仅供参考。站长之家将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。任何单位或个人认为本页面内容可能涉嫌侵犯其知识产权或存在不实内容时,可及时向站长之家提出书面权利通知或不实情况说明,并提供身份证明、权属证明及详细侵权或不实情况证明(点击查看反馈联系地址)。本网站在收到上述法律文件后,将会依法依规核实信息,沟通删除相关内容或断开相关链接。

  • 相关推荐
  • 大家在看
  • LoomFlows:收集高质量用户反馈

    LoomFlows是一个收集高质量用户反馈的平台。它帮助您简化高质量反馈的收集,识别有影响力的机会,并通过构建合适的功能来加速发展。LoomFlows提供收集用户反馈的渠道、反馈分析、注释截图、Loom视频反馈等功能。它适用于个人和团队,有不同的定价计划供选择。

  • EazyCaptions:创建吸引人的视频,无需编辑技能

    EazyCaptions是一个让用户能够创建吸引人的视频的工具,无需编辑技能。它提供了眼球吸引的字幕、音效和B Roll素材,帮助用户制作出专业水准的视频。使用EazyCaptions,您可以节省大量的编辑时间,通过自动AI字幕生成准确的字幕,并自动突出重点词汇和添加表情符号。此外,它还提供了库存素材和快速的调整功能,帮助用户制作更多样化的视频内容。EazyCaptions适用于各种类型的创作者和内容创造者,如博主、教育工作者、评论员、新闻媒体等。定价方案灵活,包括免费试用和付费选项。

  • Merlin AI Plugins:AI插件,提升工作流效率

    Merlin是一个强大的AI助手,通过GPT 4技术提供1点击访问多种AI插件,包括视频摘要、网页抓取、邮件回复、社交媒体增长等功能。免费下载使用。

  • Udio AI:创造独特的 MP3音乐,立即免费使用

    Udio AI音乐生成器是一个用于音乐创作和分享的应用程序,可以根据您的输入,在您喜欢的风格中生成令人惊叹的音乐。它经过大量的音乐数据训练,可以快速创建您自己的音乐。Udio AI适用于音乐爱好者、创作者以及需要创作灵感的人。免费试用3次。

  • Businessflow Recruit:招聘革命,AI 助力招聘流程优化

    通过 AI 助手,提高招聘效率,降低成本,为公司找到最佳适应的候选人。拥有简历分析、候选人排名、自动面试等功能。定价根据企业规模定制。

  • Wookeys AI:一站式AI助手,为您提供生成文本、图像、代码、视频、音频等的解决方案

    Ultimate AI Assistant是一款综合AI助手,可帮助您简化任务,提高工作效率。它提供了生成文本、图像、代码、视频、音频等多种功能,具有高度定制化的AI解决方案。无论您是需要生成创意文案、设计图像、编写代码、制作视频还是创作音乐,Ultimate AI Assistant都能满足您的需求。该产品定价根据功能和使用量而定,详情请访问官方网站。

  • Sakura FM:与AI角色聊天

    Sakura AI是一个能够与AI角色聊天的平台。通过与AI角色的对话,用户可以探索、发现和创造新的AI体验。开始聊天,释放你的想象力。

  • lensa.app:影像增强AI工具

    Lensakey是一款影像增强AI工具,可一键进行照片修饰、去除干扰、应用时尚滤镜和效果,并创建独特的AI头像。它可以提升您的社交媒体影响力,轻松提升照片质量。

  • StockTune:免费音乐,无限可能

    StockTune 是一个免费音乐库,提供商用和个人使用的免费音乐下载,无需署名。库中拥有丰富多样的高品质音乐曲目,能够满足不同需求。价格:免费。

  • heardeer:10分钟内收集1000+用户访谈反馈

    heardeer可以在10分钟内收集1000+用户访谈反馈,让AI处理繁琐的用户访谈,您可以专注于更重要的任务。heardeer提供全球用户访谈,无需雇佣翻译人员,让用户以自己的母语参与访谈。同时,heardeer提供详细的转录和深度分析,为您节省时间。快来试试heardeer,开始您的用户访谈吧!

  • OneAccord:实时AI翻译为教堂

    OneAccord是一个实时AI翻译平台,为教堂提供语言翻译和字幕服务。它通过AI模型和人工校对,帮助教堂克服语言障碍,使教堂服务对听障人士也能无障碍参与。平台支持多种语言翻译和字幕功能,并提供定制品牌和在线访问。用户可以根据自己的需求选择月度订阅或一次性使用,并可以根据使用时间、语言和听众数量等参数来估算费用。

  • Kursaha:AI驱动的客户获取和参与解决方案

    Kursaha是一种AI驱动的客户获取和参与解决方案,通过定向广告活动、营销策略和参与客户来推动业务增长。核心功能包括实时分析、集成、自动生成OTP和验证、AI驱动的聊天自动化、受众预测和行为队列等。Kursaha是营销数据和产品团队的完整解决方案,帮助他们增强客户参与和获取策略。

  • AI Singing:AI音乐生成器

    AI音乐生成器是一个能够免费生成音乐的AI音乐生成器。它可以自动生成歌曲和歌唱。

  • Blahget:您的智能AI语音驱动型预算助手

    Blahget是一款先进的AI预算助手,可简化财务管理。它利用GPT-4驱动的语音识别技术,实现无缝跟踪支出和收入。从今天开始您的智能预算之旅吧。它可以通过语音快速创建、编辑和删除记录,支持搜索、筛选和排序等操作,并可执行数学计算。迄今已记录超过10万条数据条目。

  • Tools4AI:100% Java实现的LLM代理和大型行动模型

    Tools4AI是100%用Java实现的大型行动模型(LAM),可作为企业Java应用程序的LLM代理。该项目演示了如何将AI与企业工具或外部工具集成,将自然语言提示转换为可执行行为。这些提示可以被称为"行动提示"或"可执行提示"。通过利用AI能力,它简化了用户与复杂系统的交互,提高了生产力和创新能力。

  • SlideAI:AI制作演示文稿

    Slides AI是一款AI制作演示文稿的工具。它利用先进的AI算法分析您的主题,生成相关内容,并创建专业的PowerPoint幻灯片。Slides AI可以为您节省时间和精力,让您轻松创建专业而引人注目的演示文稿。

  • Ping Parrot:AI聊天机器人,帮助您处理客户支持

    Ping Parrot是一个AI聊天机器人平台,可以帮助您快速构建自定义的聊天机器人,并将其嵌入到您的网站上,帮助您处理客户支持。无需编码即可使用。聊天机器人可以根据您的数据进行训练,学习并提供最佳答案。您可以定制聊天机器人的外观以匹配您的品牌,并在80种语言中提供帮助。

  • Inpaint-web:免费的去除水印和物体的工具

    Inpaint-web 是一款永久免费的在线工具,只需一点击即可去除照片中的不想要对象,同时提供修复瑕疵功能。其独特的照片去除和修复功能让用户轻松实现照片编辑需求。用户无需下载安装任何软件,直接在网页上使用。Inpaint-web 定位于为用户提供便捷、高效的照片编辑解决方案。

  • MA-LMM:面向长期视频理解的大规模多模态模型

    MA-LMM是一种基于大语言模型的大规模多模态模型,主要针对长期视频理解进行设计。它采用在线处理视频的方式,并使用记忆库存储过去的视频信息,从而可以在不超过语言模型上下文长度限制或GPU内存限制的情况下,参考历史视频内容进行长期分析。MA-LMM可以无缝集成到当前的多模态语言模型中,并在长视频理解、视频问答和视频字幕等任务上取得了领先的性能。

  • eezyCollab:AI驱动的高效、低成本的影响力营销工具

    eezyCollab是一款AI驱动的影响力营销工具,能快速匹配合适的KOL,进行批量化电子邮件营销,帮助中小企业以低廉的成本进行影响力营销。该产品无需营销专业知识即可上手使用,简单易用,大幅提高了影响力营销的效率和可及性。

今日大家都在搜的词: