站长之家(ChinaZ.com) 5月4日 消息:特效师的救星来了!近日，南科大发布视频分割模型TAM，可轻松追踪视频中的任意物体并消除，操作简单友好。
TAM的出现为解决传统视频分割模型需要人工标记培训数据和初始化参与数据的问题提供了之前提供，将改变CGI行业的游戏游戏规则。
TAM可应用于视频编辑、虚拟现实、增强现实等领域，具备广泛的应用前景。TAM的出现也将促进视频内容的真实性和可信度，减少一些虚假信息的传播。
TAM是在SAM的基础之上结合记忆力建立时空关联现实的视频分割模型，可应用于多个领域。TAM的训练过程中，SAM的静态图像分割能力对模型进行初始化，XMem进行半人干预训练，再由SAM进行再优化和调整。
TAM的出现将改变传统视频分割模式的工作方式，提供高清视频内容的真实性和可信度。
论文地址:
https://arxiv.org/abs/2304.11968
GitHub页面:
https://github.com/gaomingqi/Track-Anything
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
在视频分割领域，SegmentAnything模型被用于探索新的视频对象分割技术。研究团队测试了两种不同的模型，旨在结合SAM的分割能力和光流技术的优势，以提高视频分割的性能。具体的技术细节、模型性能指标以及未来的研究方向尚未详细公布，但这些初步的研究成果已经为视频分割技术的发展提供了新的方向和可能性。
视觉语言模型屡屡出现新突破，但ViT仍是图像编码器的首选网络结构。字节提出新基础模型——ViTamin，专为视觉语言时代设计。更多大模型算法相关岗位开放中。
在数字时代，视频编辑技术日新月异，如今有一款名为VideoSwap的工具，允许用户轻松替换视频中的主体，同时保持视频的背景环境不变。这一功能为个性化和精确的视频内容编辑提供了更多可能性。如果您希望为您的视频内容增添新意，那么VideoSwap无疑是一个值得尝试的选择。
有报道称，有网友发现，华为Pura70手机竟然可以一键消除衣服。这项功能基于华为Pura70手机在图像编辑时提供的AI消除技术，原本设计用于移除照片中的障碍物或对图片元素进行修改。这类工具绝不应用于非法或不恰当的用途，以避免造成不良后果。
Picsart人工智能研究所、德克萨斯大学和SHI实验室的研究人员联合推出了StreamingT2V视频模型。通过文本就能直接生成2分钟、1分钟等不同时间，动作一致、连贯、没有卡顿的高质量视频。视频中的物体运动姿态丰富，场景和物体随时间的演变更加自然流畅，没有突兀的断层或冻结情况出现。
【新智元导读】大语言模型的「逆转诅咒」，被解开了。来自MetaFAIR的研究人员推出了反向训练大法，让模型从反方向上学到了事实之间的逻辑，终于改进了这个困扰人们已久的问题。36年前的预言1988年，Fodor和Pylyshyn在《认知》刊物上发了一篇关于思维的系统性的文章。
InstantStyle是由InstantID原班团队推出的一种新的风格迁移方法，它专注于解决图像生成中的风格化问题，即生成与参考图像风格一致的图像。这项技术的核心在于实现风格和内容的有效分离，从在不牺牲内容信息的情况下，注入所期望的艺术风格。随着InstantStyle与InstantID的联名，风格化图像生成的可能性将更加丰富。
MetaAI近日推出了一种名为MA-LMM的新型模型，旨在解决长期视频理解中的挑战。LLMs在处理文本数据时表现出了令人印象深刻的能力，但在处理视频输入方面存在一些限制，例如上下文长度限制和GPU内存限制。其创新性的设计以及利用长期记忆库和顺序处理的方法使得该模型能够在各种复杂场景下取得显著成果，证明了其在多模态视频理解应用中的有效性和多功能性。
新壹科技在第十一届中国网络视听大会AIGC和数字人发展论坛上发布了名为“秒创AI视频”的新产品。该产品使用了前沿的DiffusionTransformer技术，实现了从“文本到视频”、“图像到视频”以及“文本图像到视频”的全流程创作。新壹科技将继续优化技术，推出更流畅、更长时长、更符合逻辑的AI视频，同时致力于降低视频模型的训练与生成成本，让更多用户享受AI视频带来的便利和乐趣。
生数科技与清华大学在中关村论坛未来人工智能先锋论坛上共同发布了中国首个长时长、高一致性、高动态性视频大模型——Vidu。这款模型是国内首个达到Sora级别的视频大模型，标志着中国在视频生成技术领域的重要进展。开源成就:2023年3月，团队开源了基于U-ViT架构的多模态扩散模型UniDiffuser，这是全球首个此类模型，验证了U-ViT架构的大规模可扩展性。
RAGFlow是一个开源的RAG（Retrieval-Augmented Generation）引擎，基于深度文档理解，提供流线型的RAG工作流程，适用于各种规模的企业。它结合了大型语言模型（LLM）提供真实的问答能力，支持从各种复杂格式数据中引用确凿的引文。
EmojiTell是一个创新的在线服务，可以将文本翻译成表情组合，增加沟通的趣味性和表现力。它由一支对表情符号充满热情的开发者和设计师团队开发，旨在通过表情符号的力量，让信息传递更加生动和个性化。
Perplexica是一个开源的AI驱动搜索引擎，它不仅搜索网络，还理解您的问题。它使用先进的机器学习算法，如相似性搜索和嵌入，来优化结果，并提供引用来源的清晰答案。使用SearxNG保持最新和完全开源，确保您始终获得最新信息，同时不损害您的隐私。
FaceChain是一个深度学习工具链，由ModelScope提供支持，能够通过至少1张肖像照片生成你的数字孪生体，并在不同设置中生成个人肖像（支持多种风格）。用户可以通过FaceChain的Python脚本、熟悉的Gradio界面或sd webui来训练数字孪生模型并生成照片。FaceChain的主要优点包括其生成个性化肖像的能力，支持多种风格，以及易于使用的界面。
HuggingFace镜像站是一个非盈利性项目，旨在为国内的AI开发者提供一个快速且稳定的模型和数据集下载平台。通过优化下载过程，减少因网络问题导致的中断，它极大地提高了开发者的工作效率。该镜像站支持多种下载方式，包括网页直接下载、使用官方命令行工具huggingface-cli、本站开发的hfd下载工具以及通过设置环境变量来实现非侵入式下载。
WebLlama是一个基于Meta Llama 3构建的代理，专门为网页导航和对话进行了微调。它旨在构建有效的以人为中心的代理，帮助用户浏览网页，而不是取代用户。该模型在WebLINX基准测试中超越了GPT-4V（零样本）18%，展示了其在网页导航任务中的卓越性能。
GitHub Copilot for Infrastructure as Code（简称Infra Copilot）是一个利用机器学习技术帮助基础设施专业人员自动生成精确基础设施代码的工具。它通过理解基础设施任务的上下文，允许专业人员使用自然语言表达需求，并接收相应的代码建议。Infra Copilot不仅简化了基础设施即代码（IaC）的开发过程，还确保了跨环境和项目的一致性，加速了新团队成员的上手和学习过程，显著提高了工作效率并节约了时间。
LLaVA++是一个开源项目，旨在通过集成Phi-3和LLaMA-3模型来扩展LLaVA模型的视觉能力。该项目由Mohamed bin Zayed University of AI (MBZUAI)的研究人员开发，通过结合最新的大型语言模型，增强了模型在遵循指令和学术任务导向数据集上的表现。
PhysDreamer是一个基于物理的方法，它通过利用视频生成模型学习到的对象动力学先验，为静态3D对象赋予交互式动力学。这种方法允许在缺乏真实物体物理属性数据的情况下，模拟出对新颖交互（如外力或代理操作）的真实反应。PhysDreamer通过用户研究评估合成交互的真实性，推动了更吸引人和真实的虚拟体验的发展。
AI快站是一个为AI开发者设计的服务平台，提供HuggingFace模型的免费加速下载，解决大模型下载缓慢和断开的问题，支持高达4M/s的下载速度，大幅减少等待时间，提高开发效率。
Llama-3 8B Instruct 262k是一款由Gradient AI团队开发的文本生成模型，它扩展了LLama-3 8B的上下文长度至超过160K，展示了SOTA（State of the Art）大型语言模型在学习长文本操作时的潜力。该模型通过适当的调整RoPE theta参数，并结合NTK-aware插值和数据驱动的优化技术，实现了在长文本上的高效学习。此外，它还基于EasyContext Blockwise RingAttention库构建，以支持在高性能硬件上的可扩展和高效训练。
CoreNet 是一个深度神经网络工具包，使研究人员和工程师能够训练标准和新颖的小型和大型规模模型，用于各种任务，包括基础模型（例如 CLIP 和 LLM）、对象分类、对象检测和语义分割。
Llama中文社区是一个专注于Llama模型在中文方面的优化和上层建设的技术社区。社区提供基于大规模中文数据的预训练模型，并对Llama2和Llama3模型进行持续的中文能力迭代升级。社区拥有高级工程师团队支持，丰富的社区活动，以及开放共享的合作环境，旨在推动中文自然语言处理技术的发展。
Interactive3D是一个先进的3D生成模型，它通过交互式设计为用户提供了精确的控制能力。该模型采用两阶段级联结构，利用不同的3D表示方法，允许用户在生成过程的任何中间步骤进行修改和引导。它的重要性在于能够实现用户对3D模型生成过程的精细控制，从而创造出满足特定需求的高质量3D模型。
GraphRAG (Graphs + Retrieval Augmented Generation) 是一种通过结合文本提取、网络分析以及大型语言模型（LLM）的提示和总结，来丰富理解文本数据集的技术。该技术即将在GitHub上开源，是微软研究项目的一部分，旨在通过先进的算法提升文本数据的处理和分析能力。
Qwen1.5-110B是Qwen1.5系列中规模最大的模型，拥有1100亿参数，支持多语言，采用高效的Transformer解码器架构，并包含分组查询注意力（GQA），在模型推理时更加高效。它在基础能力评估中与Meta-Llama3-70B相媲美，在Chat评估中表现出色，包括MT-Bench和AlpacaEval 2.0。该模型的发布展示了在模型规模扩展方面的巨大潜力，并且预示着未来通过扩展数据和模型规模，可以获得更大的性能提升。
ID-Aligner 是一种用于增强身份保留文本到图像生成的反馈学习框架，它通过奖励反馈学习来解决身份特征保持、生成图像的审美吸引力以及与LoRA和Adapter方法的兼容性问题。该方法利用面部检测和识别模型的反馈来提高生成的身份保留，并通过人类标注偏好数据和自动构建的反馈来提供审美调整信号。ID-Aligner 适用于LoRA和Adapter模型，通过广泛的实验验证了其有效性。
Bundle of Joy是一个为准父母设计的应用程序，可以在几秒钟内为他们的新生儿浏览和筛选名字。该应用根据父母的偏好推荐名字，并根据父母的喜好进行学习，为他们提供适合他们口味的新的推荐。父母可以指示宝宝的性别，然后选择以下两个选项之一：名字的首选来源、宗教、主题、首字母和含义。他们开始根据自己的独特偏好获得漂亮的宝宝名字推荐。他们可以随时修改这些偏好，并继续根据自己的口味获得新鲜的推荐。
StudyBoosterAI通过AI技术提供个性化支持，包括定制化学习材料、生动的学习内容、个性化学习计划等，帮助学生更有效地学习和记忆知识。
SNAPVID是一款智能视频编辑工具，利用AI技术提供多个热门视频剪辑建议，用户只需点击一次即可创建多个病毒式视频剪辑。同时，用户可以根据需要自定义剪辑长度和风格，并添加自定义的字幕和动画表情。SNAPVID还支持批量导出和品牌定制，使用户能够轻松导出自己喜欢的视频剪辑并保存项目设置，方便在多个项目中复用。通过AI B Roll技术，SNAPVID还可以自动添加相关的库存视频，提升视频的沉浸感。
