11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
随着人工智能技术的发展，视频生成领域取得了长足的进步。在现有的文本到视频生成模型中，对镜头姿势的精确控制往往被忽视镜头姿势在视频生成中扮演着表达更深层叙事细微差别的影视语言角色。这一技术的应用前景广阔，有望在视频生成领域发挥重要作用。
4月27日，在2024中关村论坛-未来人工智能先锋论坛上，清华大学联合生数科技正式发布了，中国首个长时间、高一致性、高动态性视频大模型——Vidu。Vidu采用了原创的Diffusion与Transformer融合的架构U-ViT，支持文本生成长达16秒、分辨率高达1080P的高清视频内容。生数科技致力打造世界领先的多模态大模型，融合文本、图像、视频、3D等多模态信息，探索生成式AI在艺术设计、游戏�
Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型，由MistralAI团队开发。该模型拥有141B个参数，支持多种优化部署方式，旨在推进人工智能的开放发展。
【新智元导读】Sora一出，谁与争锋!近日，Sora团队的三位负责人AdityaRamesh、TimBrooks和BillPeebles接受了采访，解读了Sora在模拟现实、预测结果和丰富人类体验等方面带来的变革。对于视频生成领域，大家一致的看法就是:Sora一出，谁与争锋!然，身处于风口浪尖的Sora团队成员怎么看?近日，Sora的三位领导者，Aditya、Tim和Bill接受了专访。「这是令人兴奋的时刻，我们期待未来模型的�
Meta与德国慕尼黑工业大学研发出创新模型ViewDiff，旨在帮助用户通过文本、图像或二者结合使用，快速生成高质量多视角3D图像。该模型解决了传统文本生成多视角3D图像领域的三大难点:无法生成真实背景环境、图像质量和多样性不理想、缺乏多视角和一致性。该模型的推出不仅在技术层面上具有重大意义，也将为未来的3D图像生成领域带来更多创新可能。
近日，PicsartAIResarch等团队联合发布了StreamingT2V，可以生成长达1200帧、时长为2分钟的视频，一举超越Sora。作为开源世界的强大组件，StreamingT2V可以无缝兼容SVD和animatediff等模型。也许未来的某一天，那里也会是我们人类的生存空间。
InstantStyle是一个通用框架，旨在在文本到图像生成过程中实现风格与内容的有效分离。该框架采用了两种简单但强大的技术，以实现对风格和内容的有效解耦。InstantStyle还将继续改进和扩展，为用户提供更多功能和选择，助力他们在图像生成领域取得更大的成功。
Open-Sora-Planv1.0.0模型正式发布，这一最新版本的AI模型在视频生成质量和文本控制能力方面取得了显著的提升。该模型能够生成10秒、24FPS的1024×1024高清视频，同时还支持生成高分辨率图像，为用户提供更加丰富和精细的视觉体验。在国内市场上，用户可以借助华为昇腾910b芯片的强大计算能力，更加高效地运行Open-Sora-Planv1.0.0模型，进一步提升视频生成的速度和质量。
知名生成式AI平台BlockadeLabs在官网重磅发布了全新模型——Model3。与Model2相比，Model3的生成效果实现质的提升，原生支持超高清8192x4096分辨率，增强了文本提示器能更好的描述生成世界，并且大幅度减少了生成世界的灰度值，使建筑、风景、人物等看起来更加高清、细腻。经过一年多的技术创新与业务积累，Blockade的用户超过150万，生成的作品超过1000万，成为很多游戏开发工作室、3D建模等常用工具，尤其是与Unity开发引擎集成后，迎来了一波用户增长高峰。
4月4日，著名开源大模型平台Stability.ai在官网正式发布了，音频模型StableAudio2.0。StableAudio2.0支持用户通过文本或音频，一次性可生成3分钟44.1kHz的摇滚、爵士、电子、嘻哈、重金属、民谣、流行、乡村等20多种类型的高质量音乐。StableAudio2.0免费赠送20积分，生成的音乐可以商业化，这对于抖音、快手、B站的视频自媒体用户来说挺有帮助的。
RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。
EmojiTell是一个创新的在线服务，可以将文本翻译成表情组合，增加沟通的趣味性和表现力。它由一支对表情符号充满热情的开发者和设计师团队开发，旨在通过表情符号的力量，让信息传递更加生动和个性化。
Perplexica是一个开源的AI驱动搜索引擎，它不仅搜索网络，还理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入，来优化结果，并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源，确保您始终获得最新信息，同时不损害您的隐私。
FaceChain是一个深度学习工具链，由ModelScope提供支持，能够通过至少1张肖像照片生成你的数字孪生体，并在不同设置中生成个人肖像（支持多种风格）。用户可以通过FaceChain的Python脚本、熟悉的Gradio界面或sd webui来训练数字孪生模型并生成照片。FaceChain的主要优点包括其生成个性化肖像的能力，支持多种风格，以及易于使用的界面。
HuggingFace镜像站是一个非盈利性项目，旨在为国内的AI开发者提供一个快速且稳定的模型和数据集下载平台。通过优化下载过程，减少因网络问题导致的中断，它极大地提高了开发者的工作效率。该镜像站支持多种下载方式，包括网页直接下载、使用官方命令行工具huggingface-cli、本站开发的hfd下载工具以及通过设置环境变量来实现非侵入式下载。
WebLlama是一个基于Meta Llama 3构建的代理，专门为网页导航和对话进行了微调。它旨在构建有效的以人为中心的代理，帮助用户浏览网页，而不是取代用户。该模型在WebLINX基准测试中超越了GPT-4V（零样本）18%，展示了其在网页导航任务中的卓越性能。
GitHub Copilot for Infrastructure as Code（简称Infra Copilot）是一个利用机器学习技术帮助基础设施专业人员自动生成精确基础设施代码的工具。它通过理解基础设施任务的上下文，允许专业人员使用自然语言表达需求，并接收相应的代码建议。Infra Copilot不仅简化了基础设施即代码（IaC）的开发过程，还确保了跨环境和项目的一致性，加速了新团队成员的上手和学习过程，显著提高了工作效率并节约了时间。
LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。
PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。
AI快站是一个为AI开发者设计的服务平台，提供HuggingFace模型的免费加速下载，解决大模型下载缓慢和断开的问题，支持高达4M/s的下载速度，大幅减少等待时间，提高开发效率。
Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。
CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。
Llama中文社区是一个专注于Llama模型在中文方面的优化和上层建设的技术社区。社区提供基于大规模中文数据的预训练模型，并对Llama2和Llama3模型进行持续的中文能力迭代升级。社区拥有高级工程师团队支持，丰富的社区活动，以及开放共享的合作环境，旨在推动中文自然语言处理技术的发展。
Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。
GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。
Bundle of Joy是一个为准父母设计的应用程序，可以在几秒钟内为他们的新生儿浏览和筛选名字。该应用根据父母的偏好推荐名字，并根据父母的喜好进行学习，为他们提供适合他们口味的新的推荐。父母可以指示宝宝的性别，然后选择以下两个选项之一：名字的首选来源、宗教、主题、首字母和含义。他们开始根据自己的独特偏好获得漂亮的宝宝名字推荐。他们可以随时修改这些偏好，并继续根据自己的口味获得新鲜的推荐。
StudyBoosterAI通过AI技术提供个性化支持，包括定制化学习材料、生动的学习内容、个性化学习计划等，帮助学生更有效地学习和记忆知识。
SNAPVID是一款智能视频编辑工具，利用AI技术提供多个热门视频剪辑建议，用户只需点击一次即可创建多个病毒式视频剪辑。同时，用户可以根据需要自定义剪辑长度和风格，并添加自定义的字幕和动画表情。SNAPVID还支持批量导出和品牌定制，使用户能够轻松导出自己喜欢的视频剪辑并保存项目设置，方便在多个项目中复用。通过AI B Roll技术，SNAPVID还可以自动添加相关的库存视频，提升视频的沉浸感。
