继各类输入端多模态大语言模型之后，新加坡国立大学华人团队近期开源一种支持任意模态输入和任意模态输出的真正「大一统」多模态大模型，火爆 AI 社区。ChatGPT 的诞生，引爆了2023年的基于大语言模型的 AI 浪潮，此后各类开源大语言模型陆续问世，包括 Flan-T5、Vicuna、 LLaMA、
......
本文由站长之家合作伙伴自媒体作者“机器之心公众号”授权发布于站长之家平台，本平台仅提供信息索引服务。由于内容发布时间超过平台更新维护时间，为了保证文章信息的及时性，内容观点的准确性，平台将不提供完全的内容展现，本页面内容仅为平台搜索索引使用。需阅读完整内容的用户，请查看原文，获取内容详情。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
【新智元导读】就在刚刚，Meta最新发布的Transfusion，能够训练生成文本和图像的统一模型了!完美融合Transformer和扩散领域之后，语言模型和图像大一统，又近了一步。真正的多模态AI模型，可能很快就要来了!Transformer和Diffusion，终于有了一次出色的融合。他在卡耐基梅隆大学语言技术研究所获得博士学位，师从EduardHovy教授，并在上海交通大学获得了计算机科学硕士和学士学位�
科技日新月异的今天，教育行业正经历着前所未有的变革松鼠Ai作为这一领域的佼佼者，正以其创新的多模态智适应教育大模型，引领着教育行业的未来发展方向。松鼠Ai在多个重要场合的亮相和成果展示，再次证明了其在人工智能教育领域的领先地位。我们有理由相信，在松鼠Ai的引领下，未来的教育将更加个性化、智能化和高效化。
在生成式人工智能领域，大模型多模态交互能力的升级正掀起一股新的AI浪潮，在RTC能力的加持下，人与AI的交互不再局限于文字，也可以通过语音通话进行生动、流畅的低延时交互，这也成为当下国内外大模型厂商新的发力点。今年5月，GPT-4o的发布开创了AI实时语音交互的先河。声网的实时多模态对话式AI解决方案目前已经上线，如您想进一步体验我们的Demo或者接入该方案，可在声网公众号找到这篇文章，扫描文章底部的二维码联系我们。
让AI像人类一样借助多模态线索定位感兴趣的物体，有新招了!来自人大高瓴GeWu-Lab、北邮、上海AILab等机构的研究人员提出Ref-AVS，让AI能看、会听，更懂真实物理世界。相关论文已入选顶会ECCV2024。更多详情欢迎查阅原论文。
ACM国际多媒体会议上组织的多模态与可靠性情感计算研讨会MRAC24公布论文接收结果，社交平台SoulApp研究成果《MultimodalEmotionRecognitionwithVision-languagePromptingandModalityDropout》成功入选。作为较早思考将AI应用于社交领域的平台，Soul积极推动AI情感互动能力的研究，目前相关技术已应用于异世界回响、AI苟蛋、群聊派对等AI陪伴、AI辅助的创新场景。对Soul来说，接下来，将继续加大技�
随着大语言模型的飞速发展，角色扮演智能体正逐渐成为AI领域的热门话题。这类智能体不仅能够为人们提供陪伴、互动和娱乐在教育、社会模拟等领域展现出重要的应用潜力。在多模态角色扮演智能体的开发中，多模态理解能力和角色扮演质量是更具挑战性的方面，需要在未来的研究和优化中予以特别关注。
日前，OpenAIJapan出席了KDDI峰会，介绍了公司即将推出的下一代AI模型，并宣布将在2024年启动GPTNext计划。OpenAIJapan首席执行官长崎忠雄长崎忠雄在峰会上强调了AI技术相比传统软件的飞速发展，指出AI技术正以指数级的速度进步。这种100倍的增长可能不仅仅指的是计算资源的扩展更可能涉及到有效计算容量的增加，以及包括架构改进和学习效率提升在内的2个数量级的增长。
8月26日，美国著名非营利科技智库ITIF在官网发布了，一份名为《中国在AI领域的创新程度如何?》的深度调查报告。其实这份报告更像是一份成绩单，主要揭示了中国在大模型、生成式AI领域的发展现状，包括开源模型的能力、论文/专利数量、科研机构、顶级AI公司、投资水平等维度，并与美国进行了横向对比。ITIF的研究成果对关键政策领域，如宽带互联网普及、人工智能发展、网络安全、隐私保护和数字贸易等都有深远影响。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解：https://top.aibase.com/1、智谱AI震撼发布GLM-4-Plus：媲美GPT-4，首创C端视频通话功能智谱AI最新发布的GLM-4-Plus模型展示了与OpenAIGPT-4媲美的强大视觉能力，即将开放使用。数百个开源LLM服务器泄露企业和健
AI Lyrics Generator是一个基于人工智能技术的在线歌词生成工具，专为词曲作者、音乐家和创意人士设计。它能够根据用户输入的风格、主题和情感等参数，快速生成原创歌词。这个工具利用先进的机器学习算法，模仿人类创作歌词的过程，为用户提供灵感和创作辅助。AI Lyrics Generator不仅能够节省创作时间，还能拓宽创作视野，帮助用户探索不同的音乐风格和表达方式。
Fancy Text Generator是一个在线工具，利用AI算法为用户提供多种风格的花式文字生成服务。它支持包括花式字体、emoji装饰、特殊符号在内的多种文字效果，适用于社交媒体、个人签名、艺术创作等场景。该产品的主要优点包括用户友好的界面、快速生成作品的能力、高分辨率输出以及社区分享功能。它免费在线使用，无需下载，适合所有希望在数字平台上展示个性化文字的用户。
Flux Lora Online 是一个在线平台，提供多种 Flux Lora 模型，用于生成各种风格的图像。这些模型包括但不限于写实风格、动漫风格、迪士尼风格等，能够满足不同用户对图像生成的多样化需求。平台采用先进的图像生成技术，提供高分辨率和细节丰富的图像，同时拥有用户友好的界面，简化工作流程，提高生产力。
Vadoo AI是一个全功能的AI视频生成器，它使用先进的人工智能技术，让用户能够将文本提示快速转化为视频内容。该产品支持多种语言字幕，提供多种视频风格和模板，以及背景音乐和自动缩放等功能，使得视频制作变得简单而高效。Vadoo AI的目标是帮助用户，无论是社交媒体创作者还是企业营销人员，都能轻松创建专业质量的视频内容，以吸引和保持观众的注意力。
AI Youtube Shorts Generator 是一个利用GPT-4和Whisper技术的Python工具，它可以从长视频中提取最有趣的亮点，检测演讲者，并将内容垂直裁剪，以适应短片格式。这个工具目前处于0.1版本，可能存在一些bug。
Cavela是一个创新的虚拟采购代理平台，它通过自动化技术连接全球的供应商网络，为企业提供从供应商匹配、报价编制、样品生产、质量保证到订单交付的一站式服务。Cavela通过其平台，帮助企业降低采购成本，提高效率，同时确保产品质量。它特别适合需要全球采购资源的中小型企业和初创公司，帮助他们在竞争激烈的市场中快速响应市场需求。
Landerino是一个创新的网页构建平台，它通过提供简单易用的界面，让用户能够快速创建、编辑和发布落地页。它不仅支持实时编辑和预览，还提供了强大的分析工具，帮助用户优化页面并进行A/B测试。Landerino的目标是让每个人都能轻松地构建和管理自己的网页，无需专业的技术背景。它通过简化网页制作流程，降低了维护成本，使内容创造成为焦点。
Mneme AI 是一款运行在iPhone上的本地AI助手应用，它允许用户通过与个人笔记、文档和书籍的对话来提高工作效率。这款应用完全离线运行，确保了用户数据的隐私和安全。Mneme AI 通过提供个性化的响应，帮助用户整理思绪和知识，支持用户使用内置文本编辑器记录新笔记或添加PDF文档。它支持英语，并推荐在iPhone 14或更新型号上使用以获得最佳性能。
AI-Faceless-Video-Generator是一个利用人工智能技术，根据话题生成视频脚本、语音和会说话头像的项目。它结合了sadtalker进行面部动画，gTTS生成AI语音和OpenAI语言模型生成脚本，提供了一个端到端的解决方案，用于生成个性化视频。该项目的主要优点包括脚本生成、AI语音生成、面部动画创建以及易于使用的界面。
FLUX.1-dev-LoRA-Dark-Fantasy是由Shakker AI的GUIZANG(歸藏)训练的LoRA模型，专注于生成幻想生物和角色。该模型受到Klee、Odilon Redon、Eyvind Earle等艺术家的影响，能够生成具有电影质感、复杂光影效果和精细细节的图像。模型遵循flux-1-dev-non-commercial-license，适用于非商业用途。
通义万相AI创意作画是一款利用人工智能技术，将用户的文字描述或图像转化为视频内容的产品。它通过先进的AI算法，能够理解用户的创意意图，自动生成具有艺术感的视频。该产品不仅能够提升内容创作的效率，还能激发用户的创造力，适用于广告、教育、娱乐等多个领域。
Windows Agent Arena (WAA) 是一个专注于Windows操作系统的可扩展、开源框架，用于测试和开发能够使用语言模型在PC上进行推理、规划和行动的AI代理。它通过模拟真实的Windows环境，允许代理自由操作，并使用与人类用户相同的应用程序、工具和网络浏览器来解决任务。WAA通过Azure实现可扩展性和并行化，能够在短短20分钟内完成完整的基准测试评估。
VELS by Kaiden AI是一个基于人工智能的模拟训练平台，提供定制化、反馈丰富的模拟场景，帮助用户准备各种交流互动。该平台通过创建逼真的训练场景和AI虚拟对话伙伴，模拟真实世界的交流环境，让用户在安全的环境中练习和提高沟通技能。VELS通过实时反馈和性能分析，为用户提供个性化的训练体验，帮助他们在各种行业和角色中提升表现。
Selfplanr是一个为高中生设计的在线规划工具，旨在帮助学生规划他们的高中生涯，以实现进入理想大学的目标。通过个性化的目标设定、动态的四年规划、每周任务安排、与导师和同伴的协作规划以及动态进度跟踪，Selfplanr帮助学生构建全面而独特的简历，发现学术之外的无数机会，如实习、奖学金、研究和志愿活动。
GoMaxAI是一个集成了多种AI功能的平台，旨在为用户提供包括3D视频创建、智能问答、AI绘画、文档分析和思维导图等多种智能服务。它通过先进的AI技术，帮助用户在影视制作、设计、艺术创作、信息处理等领域提高效率和创造力。
XVERSE-MoE-A36B是由深圳元象科技自主研发的多语言大型语言模型，采用混合专家模型（MoE）架构，具有2554亿的总参数规模和360亿的激活参数量。该模型支持包括中、英、俄、西等40多种语言，特别在中英双语上表现优异。模型使用8K长度的训练样本，并通过精细化的数据采样比例和动态数据切换策略，保证了模型的高质量和多样性。此外，模型还针对MoE架构进行了定制优化，提升了计算效率和整体吞吐量。
Peter Cat 是一个专为社区维护者和开发者打造的智能答疑机器人解决方案。它通过对话式答疑 Agent，配置系统、自托管部署方案和便捷的一体化应用SDK，让用户能够一键创建智能答疑机器人，并快速集成到各类官网或项目中，为社区提供更高效的技术支持生态。
Covers 是 Suno 推出的一款音乐创作工具，它允许用户将任何声音，从简单语音备忘录到完整制作的音乐，转换成全新风格的音乐作品，同时保留原始的旋律。这一功能特别适合想要尝试不同音乐风格或为纯音乐添加歌词的音乐创作者。Covers 目前处于早期访问测试阶段，向所有 Pro 和 Premier 订阅者提供，用户可以免费试用200次，之后每次生成新 Cover 将消耗10个积分。
AgentRE是一个基于代理的框架，专门设计用于在复杂信息环境中进行关系抽取。它通过模拟智能代理的行为，能够高效地处理和分析大规模数据集，从而识别和提取实体之间的关系。该技术在自然语言处理和信息检索领域具有重要意义，尤其是在需要处理大量非结构化数据的场景中。AgentRE的主要优点包括其高度的可扩展性、灵活性以及对复杂数据结构的处理能力。该框架是开源的，允许研究人员和开发者自由使用和修改，以适应不同的应用需求。
GoMaxAI Pro版是一个基于Node.js、Vue3、uniapp开发的AIGC平台，提供ChatGPT、Midjourney绘画、Suno音乐、Pika/Runway/Sora视频服务。它支持私有化部署，适用于个人、团队和企业，强调用户体验和资源集成，具备权限管理和安全审计功能。
