首页 > 业界 > 关键词  > MagicVideo-V2最新资讯  > 正文

AI视野:字节发布视频模型MagicVideo-V2;OpenAI推出自定义GPT商店;Midjourney将上线一致性角色生成功能;Steam允许平台发布AI游戏

2024-01-11 16:06 · 稿源:站长之家

欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南,每天我们为你呈现AI领域的热点内容,聚焦开发者,助你洞悉技术趋势、了解创新AI产品应用。

新鲜AI产品点击了解https://top.aibase.com/

🤖📈💻💡大模型动态

字节跳动发布视频生成模型MagicVideo-V2

MagicVideo-V2是一种革命性的视频生成技术,集成了文本到图像模型、视频运动生成器、参考图像嵌入模块和帧插值模块,用于生成外观美观、高分辨率的视频,提供出色的保真度和平滑性。

image.png

【AiBase提要:】

⭐️ MagicVideo-V2集成了文本到图像模型、视频生成器和帧插值模块。

⭐️ 训练模块能够生成描述场景的图像,然后通过动画处理生成视频序列。

⭐️ MagicVideo-V2在视频生成领域具有前途,为高保真视频生成带来了积极影响。

项目地址:https://top.aibase.com/tool/magicvideo-v2

📰🤖📢AI新鲜事

OpenAI推出自定义GPT商店

OpenAI 在官网正式发布了自定义 GPT 商店,用户可以分享和寻找最流行最好用的自定义 ChatGPT 助手。同时,推出了面向细分团队的产品 ChatGPT Team,支持团队协作。

微信截图_20240111075749.png

【AiBase提要:】

💡 自定义 GPT 商店涵盖多种类型的助手,如 DALL.E(生成图像)、写作、学术研究、编程、教育和生活等。每周上线新助手并推荐有影响力的产品。

🔍 目前最受欢迎的助手是 “Consensus”,可搜索2亿篇学术论文并提供准确引用。

💰 ChatGPT Team,支持32K 上下文,可访问最新模型,具备视觉、数据分析等功能。按年计费每月25美元,按月计费每月30美元。

Midjourney将于本月内上线一致性角色生成功能

Midjourney将于本月内上线一致性角色生成功能,为用户提供更快速的体验。Midjourney的图片生成质量一直是比较领先的,唯一的问题就是很难保持角色的一致性。这些新功能的推出将使Midjourney平台更加完善,为用户带来更好的使用体验。

QQ截图20240111094153.png

【AiBase提要:】

⭐ Midjourney将推出一致性角色生成功能,提供更快速的体验。

⭐ 图片生成质量一直领先,但难以保持角色一致性。

⭐ 推出新功能将使Midjourney平台更完善,提供更好的使用体验。

Steam允许平台发布大部分AI参与制作的游戏

Steam 对使用 AI 技术的游戏进行了政策上的调整,更新了内容调查并制定了审核标准,其中包括预生成内容和实时生成内容。

【AiBase提要:】

💡 更新内容调查和审核标准。

💡 推出全新系统让玩家举报游戏内违法的实时生成AI内容。

💡 更加开放对待AI技术的游戏发行,但不允许通过实时生成AI创建的色情游戏。

AI框架GauHuman:实现高质量3D人体快速重建和实时渲染

GauHuman在1~2分钟内完成建模,每秒渲染高达189帧,涵盖游戏、电影、虚拟现实等领域。

【AiBase提要:】

【🌐 S-Lab团队推出GauHuman】基于Gaussian Splatting实现高质量3D人体快速重建和实时渲染。

【⚡ 框架优势】1~2分钟内完成建模,每秒渲染高达189帧,应用前景广泛。

【🚀 技术原理】通过SMPL参数和神经网络处理单目人体视频,快速生成高质量3D数字人。

https://top.aibase.com/tool/gauhuman

OpenAI就授权内容与CNN、福克斯及时代周刊展开谈判

OpenAI就授权内容与CNN、福克斯及时代周刊展开谈判,以增强ChatGPT聊天机器人的产品。与多家媒体公司和News/Media Alliance进行谈判,以解决侵权指控问题。

【AiBase提要:】

⚖️ OpenAI涉嫌侵权,正与媒体公司进行谈判。

🗞️ OpenAI与行业组织进行对话,解决相关担忧。

📰 一系列事件后的谈判,解决侵权指控。

🤖📱💼AI应用

Contorlnet插件支持IPadapter FaceID 模型了

插件现在已经支持IPadapter FaceID模型的使用,这个模型是IPadapter Face的升级版本,能更好地还原人像特征到生成的图片中。

image.png

【AiBase提要:】

提高了人脸识别精准度,使用LoRA技术提高面部ID的一致性,仅通过文本提示生成各种风格的人脸图像。

提供FaceID的使用方法,需安装insightface并下载模型和Lora,用户可方便地使用IPadapter FaceID 模型。

发布ConTorlNetXS的优化版本,在图像生成方面性能得到极大提升,将推动图像生成领域的进一步发展和应用。

ControlNet 插件更新日志:https://github.com/Mikubill/sd-webui-controlnet/discussions/2442

👨‍💻💡🎯聚焦开发者

新语音转换技术CoMoSVC :速度飙升500倍,高质量歌声转换

近日,香港科技大学与微软亚洲研究院的研究团队联手开发的CoMoSVC技术在歌声转换领域取得了革命性突破。

【AiBase提要:】

⚙️ 快速采样: CoMoSVC的学生模型在保持音频质量的前提下,实现了高达500倍的推理速度提升。

🎶 平衡速度与质量: 该技术在速度和音频质量之间取得了平衡,为音乐娱乐等领域的实时应用带来了新的可能性。

🎵 歌声转换:CoMoSVC利用一致性模型,在保持音频质量的前提下,实现高速的音频采样,为歌声转换领域带来了重大突破。

论文网址:https://arxiv.org/abs/2401.01792

项目网址:https://comosvc.github.io/

Amphion音频生成工具包开源

上海AI实验室、香港中文大学数据科学院和深圳大数据研究院联合开源Amphion音频、音乐和语音生成工具包,帮助开发人员研究文本生成音频等。

【AiBase提要:】

上海AI实验室、香港中文大学数据科学院、深圳大数据研究院开源了音频、音乐生成工具包Amphion,解决生成模型黑箱、代码库分散、缺少评估指标等难题;

Amphion包含数据处理、通用模块、优化算法等基础设施;

Amphion内置文本到语音合成模型,包括FastSpeech2、Vall-E、NaturalSpeech。

开源地址:https://github.com/open-mmlab/Amphion

举报

  • 相关推荐
  • 大家在看
  • Tonic Textual:安全数据湖,为生成式AI开发提供数据

    Tonic Textual 是全球首个为大型语言模型(LLMs)设计的Secure Data Lakehouse。它通过自动化流程,帮助企业从云存储中提取、治理、丰富和部署非结构化数据,以支持生成式AI的发展。该产品强调数据隐私保护,利用其专有的命名实体识别(NER)模型自动检测和去标识化敏感信息,同时通过数据合成保持数据的语义真实性。它支持多种数据格式,并通过AWS Marketplace、Google Cloud Marketplace和Snowflake Marketplace提供服务。

  • Outtloud:AI语音助手,将文档转换为自然语音

    Outtloud是一款AI语音助手,可以将用户文档或文本转换成自然流畅的高保真AI语音。它支持超过10种语言和口音,提供100多种AI高级人声。用户可以以高达4倍的速度听书,节省阅读时间,同时在驾驶、通勤、锻炼等任何时间任何地点进行学习。它还具备添加笔记和书签的功能,支持在焦点模式下高亮显示正在播放的段落,以便用户跟随阅读。

  • llama3v:基于llama3 8B的SOTA视觉模型

    llama3v是一个基于Llama3 8B和siglip-so400m的SOTA(State of the Art,即最先进技术)视觉模型。它是一个开源的VLLM(视觉语言多模态学习模型),在Huggingface上提供模型权重,支持快速本地推理,并发布了推理代码。该模型结合了图像识别和文本生成,通过添加投影层将图像特征映射到LLaMA嵌入空间,以提高模型对图像的理解能力。

  • Open LLM Leaderboard:开放的大型语言模型排行榜

    Open LLM Leaderboard是一个由Hugging Face提供的空间,旨在展示和比较各种大型语言模型的性能。它为开发者、研究人员和企业提供了一个平台,可以查看不同模型在特定任务上的表现,从而帮助用户选择最适合自己需求的模型。

  • OpenCompass Multi-modal Leaderboard:实时更新的多模态模型性能排行榜

    OpenCompass多模态排行榜是一个实时更新的平台,用于评估和排名不同的多模态模型(VLMs)。它通过8个多模态基准测试来计算模型的平均得分,并提供详细的性能数据。该平台仅包含开源的VLMs或公开可用的APIs,旨在帮助研究人员和开发者了解当前多模态模型的最新进展和性能表现。

  • I2VEdit:一种基于图像到视频扩散模型的视频编辑技术

    I2VEdit是一种创新的视频编辑技术,通过预训练的图像到视频模型,将单一帧的编辑扩展到整个视频。这项技术能够适应性地保持源视频的视觉和运动完整性,并有效处理全局编辑、局部编辑以及适度的形状变化,这是现有方法所不能实现的。I2VEdit的核心包括两个主要过程:粗略运动提取和外观细化,通过粗粒度注意力匹配进行精确调整。此外,还引入了跳过间隔策略,以减轻多个视频片段自动回归生成过程中的质量下降。实验结果表明,I2VEdit在细粒度视频编辑方面的优越性能,证明了其能够产生高质量、时间一致的输出。

  • Samba-1 Turbo:高效能的AI模型选择与应用平台

    Samba-1 Turbo是一个提供AI模型选择和应用的平台,它允许开发者通过免费的开发者推理服务来试用、比较和评估Samba-1中各种专家模型。此外,平台还提供一些构建在Samba-1之上的演示业务应用程序,以及开源语言专家SambaLingo。Samba-1 Turbo旨在为开发者提供强大的工具,以简化AI模型的集成和应用过程。

  • StreamV2V:实时视频到视频翻译的扩散模型

    StreamV2V是一个扩散模型,它通过用户提示实现了实时的视频到视频(V2V)翻译。与传统的批处理方法不同,StreamV2V采用流式处理方式,能够处理无限帧的视频。它的核心是维护一个特征库,该库存储了过去帧的信息。对于新进来的帧,StreamV2V通过扩展自注意力和直接特征融合技术,将相似的过去特征直接融合到输出中。特征库通过合并存储的和新的特征不断更新,保持紧凑且信息丰富。StreamV2V以其适应性和效率脱颖而出,无需微调即可与图像扩散模型无缝集成。

  • OpenCompass 2.0 Large Language Model Leaderboard:大型语言模型排行榜,实时评估模型性能。

    OpenCompass 2.0是一个专注于大型语言模型性能评估的平台。它使用多个闭源数据集进行多维度评估,为模型提供整体平均分和专业技能分数。该平台通过实时更新排行榜,帮助开发者和研究人员了解不同模型在语言、知识、推理、数学和编程等方面的性能表现。

  • 甲骨文AI协同平台:数字化甲骨文研究与共享平台

    甲骨文AI协同平台是一个专注于甲骨文研究的数字化平台,集成了甲骨文全信息著录库、甲骨文总字表、数字工具箱等资源,通过AI技术辅助甲骨文的释读、研究和教育传播。平台汇聚了众多博物馆、专家学者以及社会各界人士的共同努力,旨在推动甲骨文研究的深入发展和甲骨文化的传承。

  • Cantor:创新的多模态链式思维框架,提升视觉推理能力

    Cantor是一个多模态链式思维(CoT)框架,它通过感知决策架构,将视觉上下文获取与逻辑推理相结合,解决复杂的视觉推理任务。Cantor首先作为一个决策生成器,整合视觉输入来分析图像和问题,确保与实际情境更紧密的对齐。此外,Cantor利用大型语言模型(MLLMs)的高级认知功能,作为多面专家,推导出更高层次的信息,增强CoT生成过程。Cantor在两个复杂的视觉推理数据集上进行了广泛的实验,证明了所提出框架的有效性,无需微调或真实理由,就显著提高了多模态CoT性能。

  • SuperCLUE:领先的AI评测基准,衡量和比较AI模型性能。

    SuperCLUE是一个用于评估和比较大型语言模型性能的在线平台。它提供了多种任务和排行榜,旨在为AI研究者和开发者提供一个标准化的测试环境。SuperCLUE支持各种AI应用场景,包括数学推理、代码生成、超长文本处理等,能够帮助用户准确评估模型在不同任务上的表现和能力。

  • Berkeley Function-Calling Leaderboard:评估大型语言模型调用函数能力的排行榜

    Berkeley Function-Calling Leaderboard(伯克利函数调用排行榜)是一个专门用来评估大型语言模型(LLMs)准确调用函数(或工具)能力的在线平台。该排行榜基于真实世界数据,定期更新,提供了一个衡量和比较不同模型在特定编程任务上表现的基准。它对于开发者、研究人员以及对AI编程能力有兴趣的用户来说是一个宝贵的资源。

  • OpenAI & other LLM API Pricing Calculator:AI项目成本计算器,比较不同AI模型的成本。

    OpenAI和其他大型语言模型(LLM)API的成本计算器,帮助企业和开发者评估和比较不同AI模型在项目中的成本。该工具提供了包括OpenAI、Azure、Anthropic、Llama 3、Google Gemini、Mistral和Cohere等在内的多个模型的价格计算。它基于输入的token数、输出的token数和API调用次数来计算成本。

  • Clay Filter AI:将您的角色照片转换成粘土动画风格的图像

    粘土 AI 是一款 AI 工具,可以将照片转换成粘土动画风格的图像。通过分析面部特征,生成逼真的效果,提供灵活的编辑功能。价格定位为免费使用。使用比较简单,上传你的照片并提交,稍等10-20 秒可以获得粘土动画风格的图像。

  • TopMixLabs:在线AI视频动画生成工具

    TopMixLabs 是一个 AI 动画制作工具,通过上传图片,用户可以轻松地将图像转换为专业级动画,适用于各种规模的企业,提升品牌形象。使用简单,只需要4张照片,上传稍等10 -20分钟左右,即可以生成高质量的动画,生成的动画支持下载mp4格式,而且在平台上创建的动画用于个人和商业目的。

  • StartKit.AI:快速搭建AI创业项目

    StartKit.AI是一个旨在帮助开发者快速构建AI项目的在线平台。它提供了一个包含所有所需功能来发布SaaS产品的AI样板,无需AI经验即可使用。该平台由James和Danielle开发,他们拥有超过10年的SaaS产品开发经验,并成功运营着AI产品Ellie。StartKit.AI集成了30多个模块和超过8000行代码,提供了先进的AI特性,如聊天、图像、文本、语音、翻译和内容审核等。此外,它还包括了OpenAI的所有功能,并支持创建自己的ChatGPT克隆体。产品定位于帮助开发者快速启动AI项目,保持技术领先,并支持通过Stripe进行产品变现。

  • Cressi:AI驱动的个性化购物助手

    Cressi是一个由AI驱动的个性化购物助手,旨在通过分析用户的搜索历史、兴趣、联系人和日历等信息,提供定制化的购物建议。Cressi不仅能够理解用户的偏好,而且能够随着用户生活方式的变化而不断进化,提供真正人性化的购物体验。Cressi致力于使购物更加个性化、高客户满意度,并减少浪费,以实现更有意义和可持续的购物方式。

  • Decks:一款专业的笔记应用,助你快速掌握任何学科

    Decks是一款专为学习设计的应用,它通过创新的笔记方式帮助用户更快地掌握知识。用户可以免费开始使用,并在14天后选择月度或年度订阅。Decks提供每月8美元或每年79美元的订阅选项。

  • AutoPilotI18n:AI驱动的国际化工具 简化i18n流程。

    AutoPilotI18n 是一款利用 AI 技术提供精确翻译的国际化工具,可自动化翻译任务,简化 i18n 流程。其主要优点在于精确翻译、多框架支持、高效工作流程,适用于 React、Vue、Angular 等。AutoPilotI18n 定价透明,提供免费和付费版本。

今日大家都在搜的词: