首页 > 业界 > 关键词  > 微软最新资讯  > 正文

微软发布DragNUWA 1.5版本 可精细控制视频物体的运动路径

2024-01-09 10:34 · 稿源:站长之家

站长之家(ChinaZ.com)1月9日 消息:微软最近发布了DragNUWA1.5版本,这个新版本的功能让用户在通过图像生成视频之前,能够在图像上画出对应方向的箭头标记。这意味着,如果你标记的不是具体的物体,镜头就会按照你标记的方向运动。而如果你标记的是具体的物体,这个物体就会按照标记的方向运动。

image.png

项目地址:https://top.aibase.com/tool/dragnuwa

这一新功能的发布对于那些希望能够更方便地编辑视频的用户来说,无疑是一个非常实用的工具。这个功能的出现,将让用户可以更加方便地在编辑视频时进行定位和移动画面,无需复杂的后期编辑。这将大大提高视频编辑的效率和方便性。

从技术层面来看,DragNUWA1.5版本的功能可以通过人工智能技术来实现,通过识别用户在图像上的标记,自动调整视频画面的运动方向。这一技术的应用,不仅提高了视频编辑的效率,也为用户带来了更加直观和简便的编辑方式。

核心功能:

DragNUWA 的核心功能在于提供视频生成的精细控制。更新于2024年1月8日的1.5版本使用稳定的视频扩散作为骨干,根据特定路径对图像进行动画处理。该模型将文本、图像和轨迹作为关键控制因素,从语义、空间和时间的角度促使对视频生成进行精准控制。

入门指南:

要开始使用DragNUWA,用户只需克隆GitHub存储库并创建专用的Python环境。预训练权重可以手动下载到models/目录,也可以运行提供的脚本。设置完成后,用户可以使用python DragNUWA_demo.py命令启动Gradio演示,从而能够拖动图像并实时观察其动画效果。

举报

  • 相关推荐
  • 科普 | 读懂HBM和DRAM,才懂AI算力未来

    在AI算力需求激增的背景下,存储芯片成为决定计算性能的关键。文章重点分析了三大易失性存储技术:SRAM凭借高速读写特性在CPU缓存中不可替代;DRAM作为数字世界的“主内存”,在容量与速度间实现平衡;HBM则通过3D堆叠架构革命性提升带宽,突破AI训练中的“内存墙”瓶颈。当前HBM需求爆发式增长,预计2025年市场规模将达340亿美元。中国企业在DRAM领域逐步突破,并开始布局HBM技术,正通过持续技术积累提升在全球半导体生态中的地位。

  • 全球DRAM价格飙升 长鑫LPDDR5X量产成市场“稳定器”

    DRAM合约价近期暴涨,三星、SK海力士和美光暂停DDR5报价,导致供应链紧张,现货价格一周内飙升25%。机构预测四季度DRAM价格将上涨18%-28%,NAND闪存合约价也将全面上涨5%-10%。与此同时,长鑫存储已量产LPDDR5X产品,覆盖多种容量和速率,技术达国际一流水平。全球内存市场格局正从“三足鼎立”向“四方争霸”演变,下游客户纷纷签署长期协议以确保供应稳定。

  • OpenAI和微软的关系没那么糟,跟英伟达也没那么好

    OpenAI的动作比所有人想象的都要快。 上周二,OpenAI完成重组。其中一个重要变化是:彻底取消了与微软的排他性协议,结束了Azure长达六年的云服务独占模式。此前,OpenAI所有模型的训练、推理与部署都必须优先选择Azure,微软还享有优先购买权。 宣布与Azure“分手”后不到一周,OpenAI便火速宣布了与AWS的战略合作——双方达成一项价值380亿美元的云计算协议,OpenAI将全面接入

  • vivo WATCH GT 2已支持开通移动/联通eSIM服务

    vivo WATCH GT2智能手表正式支持中国移动与联通的eSIM服务,提供一号双终端和独立终端两种模式,售价699元。配备2.07英寸大屏、2400nits峰值亮度,续航达33天。支持全天心率、血氧、睡眠监测及多种运动模式,搭载自研蓝河操作系统3.0与智能助手,可跨设备连接vivo和iPhone,实现双机通知同步。

  • 华为WATCH Ultimate 2非凡探索版明日开启预售

    华为正式宣布旗舰智能手表WATCH Ultimate 2非凡探索将于11月7日开启预售。这款“全能表王”支持150米潜水与音频功能,具备海豚声呐通信技术,可在水下30米实现手表间信息传输,60米内一键SOS求救。同时搭载北斗卫星语音消息功能,无网络环境下可通过卫星发送语音信息。硬件上配备1.5英寸OLED屏幕,峰值亮度达3500nit,支持20ATM防水与IP68/9防尘。省电模式下续航达11天,常规使用达4.5天。该手表海外售价799英镑(约7443元人民币),国内价格尚未公布。

  • 拖拽下图像就能生成视频,中科大、微软等DragNUWA属实惊艳

    随着ChatGPT、GPT-4、LLaMa等模型的问世,人们越来越关注生成式模型的发展。相比于日渐成熟的文本生成和图像生成,视频、语音等模态的AI生成还面临着较大的挑战。下图6通过展示文本、轨迹和图像的不同组合说明了这些控制条件的必要性。

  • 健康生活从饮食开始 三星Galaxy Watch抗氧化指数体验解析

    三星Galaxy Watch8推出革命性抗氧化指数功能,通过手腕实时测量类胡萝卜素水平。该技术将实验室级传感器微型化,用户仅需5秒扫描即可获得精准数据,将日常饮食转化为可量化指标。类胡萝卜素作为关键抗氧化物质,能有效反映果蔬摄入量,帮助用户追踪长期营养状况。结合睡眠、压力等综合数据,该功能为健康老龄化提供全面洞察,重新定义可穿戴设备在预防性医疗中的角色。

  • 双十一智能手表怎么选?这几款三星Galaxy Watch千万别错过

    双十一选购智能手表时,三星Galaxy Watch系列提供多样选择:Galaxy Watch8设计轻盈简约,适合日常佩戴;Watch8 Classic采用经典旋转表圈,风格优雅百搭;Watch Ultra则主打坚固耐用,专为户外运动设计。三款均搭载全面健康监测功能,包括睡眠分析、跑步教练指导及身体成分测量,帮助用户提升生活质量。根据个人审美与需求,可轻松挑选心仪款式。

  • 美股4万亿美元市值上市公司已达3家 苹果、微软、英伟达组成三巨头

    10月28日,苹果与微软股价同步上涨,双双突破4万亿美元市值大关,与超4.6万亿美元的英伟达共同构成全球市值最高的“三巨头”格局。微软因与OpenAI资本重组推动股价涨超3%,持有后者价值1350亿美元股权;苹果则凭借新一代iPhone强劲需求实现股价逆袭,年内首度由跌转升。英伟达仍以最高市值稳居全球第一,凸显全球科技产业对算力需求的爆发式增长。

  • DragNUWA :一个可以实现精细控制的视频生成模型

    DragNUWA是一种基于扩散算法的视频生成模型,DragNUWA模型旨在解决视频生成中的精细控制问题。该模型通过引入文本、图像和轨迹信息,并从语义、空间和时间角度提供精细控制。该模型在实验中展现出优越的细粒度控制性能。

今日大家都在搜的词: