谷歌研究人员推出了创新性文本生成视频模型——Lumiere。与传统模型不同的是，Lumiere采用了一种时空扩散（Space-time）U-Net架构，可以在单次推理中生成整个视频的所有时间段，能明显增强生成视频的动作连贯性，并大幅度提升时间的一致性。此外，Lumiere为了解决空间超分辨率级联
......
本文由站长之家合作伙伴自媒体作者“AIGC开放社区公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
4月27日，在2024中关村论坛-未来人工智能先锋论坛上，清华大学联合生数科技正式发布了，中国首个长时间、高一致性、高动态性视频大模型——Vidu。Vidu采用了原创的Diffusion与Transformer融合的架构U-ViT，支持文本生成长达16秒、分辨率高达1080P的高清视频内容。生数科技致力打造世界领先的多模态大模型，融合文本、图像、视频、3D等多模态信息，探索生成式AI在艺术设计、游戏�
Meta与德国慕尼黑工业大学研发出创新模型ViewDiff，旨在帮助用户通过文本、图像或二者结合使用，快速生成高质量多视角3D图像。该模型解决了传统文本生成多视角3D图像领域的三大难点:无法生成真实背景环境、图像质量和多样性不理想、缺乏多视角和一致性。该模型的推出不仅在技术层面上具有重大意义，也将为未来的3D图像生成领域带来更多创新可能。
Mixtral-8x22B是一个预训练的生成式稀疏专家语言模型，由MistralAI团队开发。该模型拥有141B个参数，支持多种优化部署方式，旨在推进人工智能的开放发展。
随着人工智能技术的发展，视频生成领域取得了长足的进步。在现有的文本到视频生成模型中，对镜头姿势的精确控制往往被忽视镜头姿势在视频生成中扮演着表达更深层叙事细微差别的影视语言角色。这一技术的应用前景广阔，有望在视频生成领域发挥重要作用。
InstantStyle是一个通用框架，旨在在文本到图像生成过程中实现风格与内容的有效分离。该框架采用了两种简单但强大的技术，以实现对风格和内容的有效解耦。InstantStyle还将继续改进和扩展，为用户提供更多功能和选择，助力他们在图像生成领域取得更大的成功。
知名生成式AI平台BlockadeLabs在官网重磅发布了全新模型——Model3。与Model2相比，Model3的生成效果实现质的提升，原生支持超高清8192x4096分辨率，增强了文本提示器能更好的描述生成世界，并且大幅度减少了生成世界的灰度值，使建筑、风景、人物等看起来更加高清、细腻。经过一年多的技术创新与业务积累，Blockade的用户超过150万，生成的作品超过1000万，成为很多游戏开发工作室、3D建模等常用工具，尤其是与Unity开发引擎集成后，迎来了一波用户增长高峰。
谷歌的研究人员最近推出了一款名为VLOGGER的多模态扩散模型，能够自动生成带语音、丰富动作的人物视频。用户只需向VLOGGER输入图像和语音，就可以获得逼真的视频效果。VLOGGER的推出为虚拟数字人的制作提供了更便捷、高效的解决方案，同时也在多模态视频生成领域取得了重要的技术突破。
4月4日，著名开源大模型平台Stability.ai在官网正式发布了，音频模型StableAudio2.0。StableAudio2.0支持用户通过文本或音频，一次性可生成3分钟44.1kHz的摇滚、爵士、电子、嘻哈、重金属、民谣、流行、乡村等20多种类型的高质量音乐。StableAudio2.0免费赠送20积分，生成的音乐可以商业化，这对于抖音、快手、B站的视频自媒体用户来说挺有帮助的。
Scenic是谷歌推出的模型，一个专注于计算机视觉领域的代码库，主要用于研究基于注意力的模型。该库提供了一系列共享的轻量级库，解决训练大规模视觉模型时常见的任务，并包含了几个使用这些库的问题特定训练和评估循环的项目。只有当功能被证明在许多模型和任务中广泛有用时，才可能将其上游到Scenic的共享库中。
Picsart人工智能研究所、德克萨斯大学和SHI实验室的研究人员联合推出了StreamingT2V视频模型。通过文本就能直接生成2分钟、1分钟等不同时间，动作一致、连贯、没有卡顿的高质量视频。视频中的物体运动姿态丰富，场景和物体随时间的演变更加自然流畅，没有突兀的断层或冻结情况出现。
Chatbox是一个易于使用的人工智能解决方案，支持多平台，帮助提升工作和学习效率。它具备本地数据存储，确保隐私和轻松访问，同时支持多种尖端人工智能模型，提供多样化、适应性和智能化的用户互动。Chatbox还具备强大的提示功能，释放创造力，支持Markdown、引用、令牌估计等功能，为思维提供广阔的发展空间。
ChatX是一个基于先进AI技术的客户端应用，它通过高速API服务器提供极速体验，支持iPhone、iPad和macOS设备间的云同步。用户可以利用它完成各种AI任务，如文本生成、图片生成等，显著提高工作效率。产品的主要优点包括高速访问、自定义功能、经济的按字数消耗模式以及丰富的高级功能，如AI参数微调、Siri朗读等。ChatX的背景是AI技术的快速发展和用户对于高效、智能工具的需求。目前，产品在Mac App Store上免费提供，但提供App内购买项目。
RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。
EmojiTell是一个创新的在线服务，可以将文本翻译成表情组合，增加沟通的趣味性和表现力。它由一支对表情符号充满热情的开发者和设计师团队开发，旨在通过表情符号的力量，让信息传递更加生动和个性化。
Perplexica是一个开源的AI驱动搜索引擎，它不仅搜索网络，还理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入，来优化结果，并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源，确保您始终获得最新信息，同时不损害您的隐私。
FaceChain是一个深度学习工具链，由ModelScope提供支持，能够通过至少1张肖像照片生成你的数字孪生体，并在不同设置中生成个人肖像（支持多种风格）。用户可以通过FaceChain的Python脚本、熟悉的Gradio界面或sd webui来训练数字孪生模型并生成照片。FaceChain的主要优点包括其生成个性化肖像的能力，支持多种风格，以及易于使用的界面。
HuggingFace镜像站是一个非盈利性项目，旨在为国内的AI开发者提供一个快速且稳定的模型和数据集下载平台。通过优化下载过程，减少因网络问题导致的中断，它极大地提高了开发者的工作效率。该镜像站支持多种下载方式，包括网页直接下载、使用官方命令行工具huggingface-cli、本站开发的hfd下载工具以及通过设置环境变量来实现非侵入式下载。
WebLlama是一个基于Meta Llama 3构建的代理，专门为网页导航和对话进行了微调。它旨在构建有效的以人为中心的代理，帮助用户浏览网页，而不是取代用户。该模型在WebLINX基准测试中超越了GPT-4V（零样本）18%，展示了其在网页导航任务中的卓越性能。
GitHub Copilot for Infrastructure as Code（简称Infra Copilot）是一个利用机器学习技术帮助基础设施专业人员自动生成精确基础设施代码的工具。它通过理解基础设施任务的上下文，允许专业人员使用自然语言表达需求，并接收相应的代码建议。Infra Copilot不仅简化了基础设施即代码（IaC）的开发过程，还确保了跨环境和项目的一致性，加速了新团队成员的上手和学习过程，显著提高了工作效率并节约了时间。
LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。
PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。
AI快站是一个为AI开发者设计的服务平台，提供HuggingFace模型的免费加速下载，解决大模型下载缓慢和断开的问题，支持高达4M/s的下载速度，大幅减少等待时间，提高开发效率。
Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。
CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。
Llama中文社区是一个专注于Llama模型在中文方面的优化和上层建设的技术社区。社区提供基于大规模中文数据的预训练模型，并对Llama2和Llama3模型进行持续的中文能力迭代升级。社区拥有高级工程师团队支持，丰富的社区活动，以及开放共享的合作环境，旨在推动中文自然语言处理技术的发展。
Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。
GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。
Bundle of Joy是一个为准父母设计的应用程序，可以在几秒钟内为他们的新生儿浏览和筛选名字。该应用根据父母的偏好推荐名字，并根据父母的喜好进行学习，为他们提供适合他们口味的新的推荐。父母可以指示宝宝的性别，然后选择以下两个选项之一：名字的首选来源、宗教、主题、首字母和含义。他们开始根据自己的独特偏好获得漂亮的宝宝名字推荐。他们可以随时修改这些偏好，并继续根据自己的口味获得新鲜的推荐。
