站长之家(ChinaZ.com) 8月21日 消息:来自中国科学院自动化研究所、腾讯公司和香港中文大学的研究人士提出了一种名为 Simple Diffusion Adapter （SimDA） 的方法，用于实现高效的文本到视频生成。传统的文本到视频技术发展还不够成熟，而 SimDA 方法通过只 fine-tune 部分参数，将 T2I 模型转化为 T2V 模型，实现了高效的视频生成。
SimDA 还设计了轻量级的空间和时间适配器，以进行迁移学习，并使用新的潜在偏移注意力（LSA）来实现时间上的一致性。
论文地址：https://arxiv.org/pdf/2308.09710.pdf
SimDA 不仅可以在野外生成文本到视频，还可以在短短2分钟的调整时间内进行一次性视频编辑。
此外，作者还训练了一个视频超分辨率模型，可以生成高清（1024x1024）视频。SimDA 方法最大的优点是最小化了训练工作量，并提供了很少的可调参数，使得模型适应更加容易。
总的来说，SimDA 方法在文本到视频生成方面取得了高效和优化的效果，为实现高质量视频生成提供了一种新的途径。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
KreaAI即将推出的视频生成功能，无疑将为设计领域带来新的革命。这个功能的推出，将使得用户能够轻松地生成高质量的视频内容，无论是用于广告、电影、游戏概念设计是用于社交媒体分享，都将变得非常方便。KreaAI推出实时增强功能，可以让用户在绘制图像时，实时看到图像的细节和分辨率的提升，这对于需要精细作画的设计工作来说，无疑是一大福音。
生成具有指定身份的高保真人类视频引起了广泛关注。现有技术在训练效率和身份保持之间往往难以取得平衡，要么需要繁琐的逐案微调，要么在视频生成过程中通常会丢失身份细节。当提供多个控制图像时，生成的视频序列紧密遵循多个图像提供的序列。
KreaAI正式发布了其最新的视频生成功能，这一更新包括了自定义视频首尾帧和为每张图片定义提示词的能力。这些新功能在易用性上进行了显著改进，并且现在可以自动将生成的视频高清化，但仅限会员使用。KreaAI的持续创新和改进，展示了其在AI创作工具领域的领导地位，并不断推动艺术创作和设计的界限。
今日，谷歌召开I/O2024开发者大会，正式发布视频生成模型Veo，将成为Sora新的劲敌。Veo能够根据文本、图像创建超过60秒的高质量1080P视频，用户可对光照、镜头语言、视频颜色风格等进行设定。”一艘宇宙飞船在浩瀚的太空中穿梭，星星划过，高速，科幻”。
谷歌在其深度学习AI部门DeepMind的研究人员发布了一款名为Veo的全新式AI视频模型，能够创建“超过60秒的高质量、1080p剪辑”，“从照片写实主义到超现实主义和动画，它可以应对一系列电影风格”，在逼真度和视觉果方面达到了令人惊叹的水平。Veo的目标是帮助各类用户创作视频，不论是经验富的电影制片人、有抱负的创作者是渴望分享知识的教育工作者，都可以通过Veo实现�
Open-Sora在开源社区悄悄更新了，现在，该项目不仅支持长达16秒的单镜头视频生成视频分辨率最高可达720p，能够处理各种宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限长视频的生成需求。技术报告与模型架构:Open-Sora技术报告已在GitHub上发布，详细介绍了新功能和模型架构。作者团队将在下一版本中优先解决这些挑战。
自人工智能大模型代表性应用ChatGPT问世以来，AI技术迅猛发展，创新应用层出不穷，在各行各业掀起了惊涛骇浪。AI产生的财富在2022年接近3874.5亿美元，预计2029年，将超过13943亿美元，可谓市场机会巨大。希望通过平台，激发更多人的想象力和创造力，促进文化与知识的产出和交流。
Open-Sora在开源社区悄悄更新了，现在单镜头支持长达16秒的视频生成，分辨率最高可达720p，并且可以处理任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频和无限长视频的生成需求。我们期待Open-Sora社区带给我们的下一次惊喜。
在视频分割领域，SegmentAnything模型被用于探索新的视频对象分割技术。研究团队测试了两种不同的模型，旨在结合SAM的分割能力和光流技术的优势，以提高视频分割的性能。具体的技术细节、模型性能指标以及未来的研究方向尚未详细公布，但这些初步的研究成果已经为视频分割技术的发展提供了新的方向和可能性。
OpenAI出手再次惊艳世界，谷歌果然坐不住了。GPT-4o掀起的一片“AGI已至”的惊呼声中，刚刚，GoogleDeepMind首席执行官哈萨比斯亲自携谷歌版《Her》登场:同样能会还有，不仅能几乎没有延迟地和人类流畅交流，通过摄像头，这个名为ProjectAstra的AI助手甚至能直接帮忙读代码谷歌还祭出了自己的硬件优势，带来一波AR和大模型的梦幻联动。有关谷歌I/O的更多细节，可以戳:https://blog.go
MiLM-6B是由小米公司开发的大规模预训练语言模型，参数规模达到64亿，它在中文基础模型评测数据集C-Eval和CMMLU上均取得同尺寸最好的效果。该模型代表了自然语言处理领域的最新进展，具有强大的语言理解和生成能力，可以广泛应用于文本生成、机器翻译、问答系统等多种场景。
TalentGenius是一个利用人工智能技术帮助专业人士评估技能、优化职业路径，并匹配最佳工作机会的平台。它通过AI工具提供个性化的职业导航、辅导、招聘和咨询，帮助用户在技术快速发展的今天保持竞争力。
Pipecat是一个开源框架，用于构建语音和多模态对话代理，如个人教练、会议助手、儿童故事玩具、客户支持机器人、接待流程和机智的社交伴侣。它支持本地运行，并可迁移到云端，集成了多种AI服务和传输方式，具有高度的可定制性和扩展性。
MetaTrend是一个专注于提供AI、加密货币和金融行业趋势的新闻网站。它通过每日更新的新闻摘要，帮助用户快速了解这些领域的最新动态，对于希望紧跟科技和金融潮流的专业人士来说，这是一个不可或缺的工具。
打标助手是基于GPT4-Vision开发的一个在线工具，它通过微调prompt实现批量图片文字标注，为基于SD模型的训练提供数据支持。该工具的主要优点在于其免费性、批量处理能力和高效的标注准确性，特别适合需要大量图片标注的科研和商业用户。
Gemma 2是下一代谷歌Gemma模型，拥有27亿参数，提供与Llama 3 70B相当的性能，但模型大小仅为其一半。它在NVIDIA的GPU上运行优化，或在Vertex AI上的单个TPU主机上高效运行，降低了部署成本，使更广泛的用户能够访问和使用。Gemma 2还提供了强大的调优工具链，支持云解决方案和社区工具，如Google Cloud和Axolotl，以及与Hugging Face和NVIDIA TensorRT-LLM的无缝合作伙伴集成。
Gemini 1.5 Flash是Google DeepMind团队推出的最新AI模型，它通过'蒸馏'过程从更大的1.5 Pro模型中提炼出核心知识和技能，以更小、更高效的模型形式提供服务。该模型在多模态推理、长文本处理、聊天应用、图像和视频字幕生成、长文档和表格数据提取等方面表现出色。它的重要性在于为需要低延迟和低成本服务的应用提供了解决方案，同时保持了高质量的输出。
Imagen 3 是谷歌一个先进的文本到图像的生成模型，它能够生成具有极高细节水平和逼真效果的图像，并且相较于之前的模型，其视觉干扰元素显著减少。该模型对自然语言的理解更为深入，能够更好地把握提示背后的意图，并从更长的提示中提取细节。此外，Imagen 3 在渲染文本方面表现出色，为个性化生日信息、演示文稿标题幻灯片等提供了新的可能性。
Veo是Google最新推出的视频生成模型，能够生成高质量的1080p分辨率视频，支持多种电影和视觉风格。它通过先进的自然语言和视觉语义理解，能够精确捕捉用户创意愿景，生成与提示语调一致且细节丰富的视频内容。Veo模型提供前所未有的创意控制水平，理解电影术语如“延时摄影”或“航拍景观”，创造出连贯一致的画面，使人物、动物和物体在镜头中逼真地移动。
PaliGemma是Google发布的一款先进的视觉语言模型，它结合了图像编码器SigLIP和文本解码器Gemma-2B，能够理解图像和文本，并通过联合训练实现图像和文本的交互理解。该模型专为特定的下游任务设计，如图像描述、视觉问答、分割等，是研究和开发领域的重要工具。
lluminous是一个快速、轻量级的开源聊天界面，支持多供应商API密钥，提供完整的隐私保护，所有对话历史和密钥都存储在本地。它支持多模态输入、多轮对话提示、预填充响应、模型切换以及对话分享等功能。
CuMo是一种多模态大型语言模型（LLMs）的扩展架构，它通过在视觉编码器和MLP连接器中融入稀疏的Top-K门控专家混合（MoE）块，提高了模型的可扩展性，同时在推理时几乎不增加激活参数。CuMo在预训练MLP块后，初始化MoE块中的每个专家，并在视觉指令调整阶段使用辅助损失以确保专家的均衡负载。CuMo在各种VQA和视觉指令遵循基准测试中超越了其他同类模型，且完全基于开源数据集进行训练。
混元-DiT是腾讯推出的首个中英双语DiT架构的人工智能模型，专注于中文元素理解，具备长文本理解能力和细粒度语义理解。该模型能够分析和理解长篇文本中的信息，并生成相应的艺术作品，包括但不限于人物写真、创意创作等。混元-DiT的推出，对于提升中文文本理解的深度和广度，以及促进中英双语交流具有重要意义。
GPT-4o（'o'代表'omni'）是自然人机交互的重要一步，它可以接受任意组合的文本、音频、图像和视频输入，并生成任意组合的文本、音频和图像输出。它在音频输入响应上的速度极快，平均响应时间仅为320毫秒，与人类对话的响应时间相近。在非英语文本处理上取得了显著进步，同时在API上速度更快且成本降低了50%。GPT-4o在视觉和音频理解方面也比现有模型更出色。
AutoGroq是一个AI驱动的对话助手，旨在通过自动生成专家代理来彻底改变用户与AI工具的互动方式。它克服了现有解决方案的局限性，提供了一个用户友好、强大且无需配置的体验。该平台专注于通过自动生成专门针对任何问题的专家代理，无论问题的复杂性如何，提供即时和相关的帮助。
OpenGlass是一款可穿戴眼镜，它能够记录用户的生活，并提供有帮助的总结和建议。这款眼镜可以针对不同的使用场景进行定制，适合追求个性化体验和生活记录的用户。它结合了最新的硬件技术和软件开发，为用户带来全新的交互体验。
Refuel LLM-2 是一款为数据标注、清洗和丰富而设计的先进语言模型。它在约30种数据标注任务的基准测试中超越了所有现有的最先进语言模型，包括GPT-4-Turbo、Claude-3-Opus和Gemini-1.5-Pro。Refuel LLM-2 旨在提高数据团队的工作效率，减少在数据清洗、规范化、标注等前期工作上的手动劳动，从而更快地实现数据的商业价值。
Aloe是由HPAI开发的一款医疗领域的语言模型，基于Meta Llama 3 8B模型进行优化。它通过模型融合和先进的提示策略，达到了与其规模相匹配的最先进水平。Aloe在伦理和事实性指标上得分较高，这得益于红队和对齐工作的结合。该模型提供了医疗特定的风险评估，以促进这些系统的安全使用和部署。
FunClip是一款完全开源、本地部署的自动化视频剪辑工具，通过调用阿里巴巴通义实验室开源的FunASR Paraformer系列模型进行视频的语音识别，随后用户可以自由选择识别结果中的文本片段或说话人，点击裁剪按钮即可获取对应片段的视频。FunClip集成了阿里巴巴开源的工业级模型Paraformer-Large，是当前识别效果最优的开源中文ASR模型之一，并且能够一体化的准确预测时间戳。
FilmAction 是一款一站式 AI 电影制作平台，通过 AI 技术革新创作流程，使艺术创作更简单。它提供脚本、分镜、视频和旁白的一键生成，支持模拟胶片风格，适用于奇幻片等不同类型的电影创作。FilmAction 还可以生成配乐和合成成片，方便创作者进行后期制作。它的优点是节省时间和精力，提供丰富的创作工具和资源，以及强大的 AI 技术支持。
