在今天的华为昇腾AI开发者峰会上，中国科学院自动化研究所“紫东太初”大模型研究中心常务副主任、武汉人工智能研究院院长王金桥博士介绍了“紫东太初”2.0全模态大模型。
该模型由自动化所和武汉人工智能研究院联合打造，基于华为全栈国产化软硬件平台昇腾AI和开源AI框架昇思MindSpore。
2021年7月，自动化所发布了全球首个千亿参数多模态大模型“紫东太初”，实现了图像、文本、语音三模态数据间的“统一表示”与“相互生成”。
而新版的“紫东太初”2.0全模态大模型可以实现不同模态的统一表征和学习，包括文本、图片、语音、视频、3D点云和传感信号，同时优化了语音、视频和文本的融合认知以及常识计算等功能，进一步突破了感知、认知和决策的交互屏障。
此外，“紫东太初”大模型还开放了基于昇腾和昇思的3.8B图像-文本-语音多模态模型，并推出了紫东太初大模型服务平台。该模型已在多个行业场景领域显示出落地潜力，包括手语教学、法律咨询、交通出行、广电、医疗机器人和医学影像判读等。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
北京交通大学等机构联合推出了新多模态大模型MMICL。它支持文本、图像、视频三种模态的混合输入，在多项多模态能力评测中表现抢眼。随着其性能和适用场景的不断优化，MMICL有望成为多模态领域的新宠。
随着视觉与语言的深度融合，文本图像理解成为多模态领域的新方向。文章介绍了一个突破性的多模态模型KOSMOS-2.5，它在处理文本密集图像上展现强大能力。目标是进一步提升对文本图像的解释生成能力，将KOSMOS-2.5应用于更多实际场景，如文档处理、信息抽取等，从使语言模型真正具备「读图识文」的能力。
计算机视觉和生成建模领域取得了显著进展，推动了文本到图像生成的不断发展。各种生成架构，包括基于扩散的模型，在提高生成图像的质量和多样性方面发挥了关键作用。研究人员强调了解决内容问题的需求，建议采取实时监管或强大的分类器来减轻不良输出。
随着GPT-4的发布，多模态大模型成为热点。业界常将视觉编码器与语言模型集成构建MLLM。模型设计和训练技巧仍需进一步优化，以平衡不同能力之间的权衡。
继各类输入端多模态大语言模型之后，新加坡国立大学华人团队近期开源一种支持任意模态输入和任意模态输出的真正「大一统」多模态大模型，火爆AI社区。ChatGPT的诞生，引爆了2023年的基于大语言模型的AI浪潮，此后各类开源大语言模型陆续问世，包括Flan-T5、Vicuna、LLaMA、Alpaca等。后续研究可以进一步提升模态切换指令微调学习策略以及数据集。
OpenAI宣布将在ChatGPT中推出新的语音和图像功能。这些功能可以通过语音对话或展示图片的方式与ChatGPT进行交互。语音功能将在iOS和Android平台上使用图像功能将在所有平台上提供。
继各类单一模态输入的多模态语言模型后，新加坡国立大学的华人团队最近开源了全能多模态模型NExT-GPT。该模型支持任意模态的输入和输出，可以实现文本、图像、语音和视频之间的自由转换，是第一个实现从任一模态到任一模态转换的通用多模态系统。后续工作可以考虑扩展更多模态，使用更大规模的语言模型基座，以及改进多模态生成策略等。
“与历届亚运会相比，杭州亚运会很可能是最智能的一届。”是亚奥理事会代理总干事维诺德在接受媒体访问时的评价。期待这些黑科技产品逐渐渗透到普通用户的生活中，为我们的生活带来更多便利、效率和可持续性。
9月20日，生数科技发布了自主研发的多模态通用大模型，并同时推出了两款应用产品:视觉创意设计平台PixWeaver和3D资产创建工具VoxCraft。生数科技的多模态通用大模型采用底层融合的思路，将Transformer架构引入扩散模型，实现文本、图像、3D、视频等多模态知识的融合。生数科技的大模型还面向游戏制作、影视制作、广告营销等多个行业提供服务能力，支持各类创意内容的生成。
苹果AI/ML团队与哥伦比亚大学合作研发的多模态大模型“雪貂”已经成功突破了谷歌人机验证码的难题，能够轻松识别图像中的交通信号灯并准确圈出其位置，其性能直逼GPT-4V。Ferret的关键在于改进了大模型在“看说答”任务中的精确度，这得益于其出色的图文关联能力。通过这一研究，Ferret为解决图像理解和多模态任务提供了新的方向，有望在人机交互、智能搜索等领域取得
SvectorDB是一个面向无服务器的向量数据库，旨在最大程度地提高敏捷性并降低成本。它解决了数据库的痛点，让您能够专注于将产品从1个向量扩展到100万个向量。
详细介绍产品的功能、技术和重要性
Studygenie是通过结合神经科学和人工智能，帮助您以10倍的速度准备考试的学习工具。它可以生成AI生成的测验，解释错误答案，并跟踪您对材料的保留情况。
Wondershare UniConverter（原名Video Converter Ultimate）是您的完整视频工具箱，可批量转换、压缩、编辑视频，刻录DVD等。它具有超高速的转换和压缩功能，适用于处理4K/8K HDR文件。Wondershare UniConverter提供了简单易用的界面，同时支持各种常见视频格式和设备。
Promptmatic是一个免费的Google Chrome扩展程序，旨在帮助用户书签、保存和组织ChatGPT提示模板和GPT，并通过点击即可立即访问。它简化了ChatGPT的使用和管理，提高了工作效率。
AI课程创建器是一个充分利用人工智能的前沿工具，简化和增强在线课程创建过程。它帮助教育者和企业设计、构建和部署符合受众需求的课程，使课程开发更快捷、高效且高度个性化。其主要优点包括节省时间和精力、提供与目标相适应的课程内容、易于定制生成的课程大纲等。
HitPaw Edimakor是一款功能强大的高级AI视频编辑器，旨在帮助您以简单创意的方式编辑视频。它提供了无限轨道的时间轴上轻松编辑工具，包括贴纸、转场、滤镜、文字等，可以轻松创建令人惊艳的视频。它还具有AI驱动的功能，如语音转文本、AI脚本生成、AI音频编辑等。HitPaw Edimakor适用于创意专业人士和想要将多个视频片段制作成令人难忘的蒙太奇的个人用户。
Dub AI是一款AI驱动的语音克隆和翻译工具，可以帮助您轻松为视频添加翻译和配音，扩大全球观众。
The Fastest.ai是一个提供可靠的性能测量数据的网站，用于评估流行模型的性能。它通过测量模型的响应时间、每秒生成的token数量以及从请求到最终token生成的总时间来提供准确的性能数据。该网站旨在帮助用户选择最快的AI模型，并提供其他模型的性能比较。它对模型的性能进行日常更新，用户可以根据自己的需求选择合适的模型。
SecBrain是一款利用人工智能提升工作效率的语音备忘录应用。它可以记录你的语音、视频、文字等内容，并自动生成标题、摘要和标签，保存在云端。通过OpenAI技术，SecBrain能帮助你搜索、合并、转换想法，并轻松将简单的笔记转化为全面的任务列表。它的主要优点包括易于使用、自动化生成、多种任务管理功能、智能搜索、想法组合等。SecBrain适用于各行各业的人士，可以帮助他们提高工作效率，保存和管理各种信息。
Brandblast.ai是一款基于人工智能的平台，为小型企业创建社交媒体内容，节省他们的时间和金钱。只需提供您的URL，我们的AI将学习您的品牌并开始生成内容。连接您的社交媒体账户，Brandblast甚至可以为您发布内容。
OmniOps是一个通过人工智能增强的Azure DevOps工具，它提供实时响应、增强的生产力和更简化的DevOps任务。OmniOps可以帮助您监控、调整和部署云资源，提供操作知识和团队协作工具，帮助您优化云管理。
Snorkell.ai是一个自动化生成文档的工具，它可以在每次合并拉取请求时自动生成和更新GitHub项目的文档，确保文档始终与代码库保持一致。它支持Python、Java、TypeScript、JavaScript和Kotlin等编程语言，生成人类可读且易理解的文档。
Nexonauts是一个面向开发者的平台，旨在帮助您创建令人惊叹的数字产品和服务。它提供了完整的工具和资源，优先考虑开发者，让您可以无限制地实验、合作和创造。它提供AI驱动的解决方案和经过验证的经典工具，让您轻松进行开发。
一体化平台是一个统一的开发者平台，旨在提高开发人员的生产力。它提供了多个工具和功能，包括聊天、API、看板、CI/CD和分析等，帮助开发团队简化项目管理，加快项目交付速度，提高代码质量，并转化数据为可操作的洞察。
SysDesigna提供了一个视觉和交互式的共同设计平台，帮助您从抽象的需求转变为用户可以理解的具体产品。它可以帮助您轻松创建应用程序的原型，生成设计和测试文档，并避免由于不清晰的需求、差劲的规格或业务方向的重大变化而导致的长时间的重复工作和压力。
Web and Cow是一家专业的网站开发公司，致力于根据客户的需求和挑战，设计和开发定制的网站和移动应用程序。我们提供数据管理和分析工具，帮助客户优化运营并做出明智的决策。
Xpolyglot是一款使用人工智能技术帮助本地化Xcode项目的应用。它能够帮助开发者轻松导入Xcode项目，自动翻译字符串目录，管理全球元数据，快速更新应用版本，并提供节省成本的翻译服务。Xpolyglot通过提供准确的翻译和全球化支持，帮助开发者将应用推向全球市场。
IndieTeamz是一个连接志同道合的人的平台，帮助他们设计、开发和推广独特的产品。该平台提供了各种角色和专业技能的人才，以便团队可以完善地合作开发项目。IndieTeamz的主要优点是它提供了一个方便的方式来寻找和连接独立团队成员，并且可以加速项目的开发进程。无论是初创公司还是个人开发者，IndieTeamz都可以帮助他们找到合适的合作伙伴。
Pangea.ai是一个通过其世界顶级的软件代理机构获取最好的技术人才的平台。它可以为您提供全球一流的工程师、产品经理、设计师和数据科学家，完全满足您的需求。无论您需要团队扩充、全面管理的团队还是产品探索，Pangea.ai都是找到世界上最好的人才的最简单方式。
