站长之家（ChinaZ.com）10月25日 消息:SALMONN是一个多模态神经网络，能够直接处理和理解包括语音、音频事件和音乐在内的一般音频输入，并在多种语音和音频任务上取得竞争性表现。
论文地址:https://arxiv.org/pdf/2310.13289v1.pdf
SALMONN采用了两个互补的音频编码器，一个用于处理语音，另一个用于处理非语音音频事件，以实现对各种音频任务的优越性能。
论文提出了激活调整阶段，以解决SALMONN在训练中过度拟合到某些任务的问题，该阶段能够使SALMONN具备跨模态的新能力，如问答和叙述。这一研究有望推动具有通用听觉能力的人工智能的发展。
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
MetaAI近日推出了一种名为MA-LMM的新型模型，旨在解决长期视频理解中的挑战。LLMs在处理文本数据时表现出了令人印象深刻的能力，但在处理视频输入方面存在一些限制，例如上下文长度限制和GPU内存限制。其创新性的设计以及利用长期记忆库和顺序处理的方法使得该模型能够在各种复杂场景下取得显著成果，证明了其在多模态视频理解应用中的有效性和多功能性。
3月28日，钉钉AI助理进行了重磅升级，新增了图片理解、文档速读、工作流等功能。这次升级使得钉钉AI助理率先尝试了多模态和长文本处理技术，展现出更强大的能力。用户可以在钉钉APP或PC客户端直接体验这些功能，享受AI带来的便捷与高效。
MiniGPT4-Video是什么？MiniGPT4-Video是为视频理解设计的多模态大模型，能处理时态视觉数据和文本数据，配标题、宣传语，适用于视频问答。用户可以上传视频，让模型生成标题与宣传语，理解特效处理，或作超美抒情诗。
4月18日，2024中国生成式AI大会上李未可科技正式发布为眼镜等未来终端定向优化等自研WAKE-AI多模态大模型，具备文本生成、语言理解、图像识别及视频生成等多模态交互能力。该大模型围绕GPS轨迹视觉语音打造新一代LLM-Based的自然交互，同时多模态问答技术的加持，能实现所见即所问、所问即所得的精准服务。李未可科技合伙人&AI负责人古鉴表示WAKE-AI将逐步开放平台能力，便于更多企业及开发者调用WAKE-AI能力，共建AI硬件生态。
36kr研究院发布了《2024年AIGC行业研究:多模态大模型与商业应用》，文中基于AIGC产业生态现状和技术发展路径，深入分析AIGC商业化应用的方向与产业发展趋势。其中在36kr研究院梳理的产业图谱中，发现杭州李未可科技与字节跳动的豆包、腾讯云混元及华为云盘古等大模型等一起出现在闭源模型层，甚至在跨模态生成应用层也占据一地。李未可科技这类结合自身业务垂类场景，提前布局中间层及终端应用层的自研大模型或许能给市场带来不小的惊喜。
Grok-1.5VisionPreview是X.AI公司推出的首个多模态模型。除了强大的文本处理能力，Grok还能处理各种视觉信息，如文档、图表、截图和照片等。点击前往Grok-1.5VisionPreview官网体验入口需求人群：辅助决策分析内容生成工作效率提升使用场景示例：使用Grok-1.5V分析复杂的商业报告，快速提取关键数据和见解利用Grok-1.5V自动生成项目计划草稿，并优化资源分配通过Grok-1.5V理解工厂设备使用说明，提高维修效率产品特色：多学科推理文档理解图表解读现实世界理解图像处理掌握Grok-1.5VisionPreview，体验多模态AI的强大功能和无限潜力。
一个可以自动分析PDF、网页、海报、Excel图表内容的大模型，对于打工人来说简直不要太方便。上海AILab，香港中文大学等研究机构提出的InternLM-XComposer2-4KHD模型让这成为了现实。IXC2-4KHD将多模态大模型支持的分辨率提升到了4K的水平，研究人员表示目前这种通过增加切块个数支持更大图像输入的策略遇到了计算代价和显存的瓶颈，因此他们计划提出更加高效的策略在未来实现�
中国香港中文大学和SmartMore的研究人员推出了一种名为Mini-Gemini的新颖框架，通过增强多模态输入处理来推动VLMs的发展。Mini-Gemini采用了双编码器系统和一种新颖的补丁信息挖掘技术，结合一个特别策划的高质量数据集，使其能够有效处理高分辨率图像并生成内容丰富的视觉和文本内容，从使其脱颖出。正如研究人员所承认的那样，Mini-Gemini在视觉理解和推理能力方面仍有改进�
理想汽车宣布其全自研的多模态认知大模型——MindGPT，已正式通过国家《生成式人工智能服务管理暂行办法》的备案。这一里程碑式的事件标志着理想汽车成为首个通过该备案的汽车厂商自研大模型。它不仅支持方言自由说、指令自由说具备简洁模式以及全时全车免唤醒的能力，为用户提供了更加便捷、智能的交互体验。
谷歌的研究人员最近推出了一款名为VLOGGER的多模态扩散模型，能够自动生成带语音、丰富动作的人物视频。用户只需向VLOGGER输入图像和语音，就可以获得逼真的视频效果。VLOGGER的推出为虚拟数字人的制作提供了更便捷、高效的解决方案，同时也在多模态视频生成领域取得了重要的技术突破。
SafeSpeak是一款使用先进AI技术，实时准确检测电话诈骗攻击的产品。它能够保护个人和企业免受电话诈骗的侵害，并提供及时的安全警报。SafeSpeak的主要优点是高准确率和实时检测，能够有效地阻止电话诈骗。该产品定位于帮助个人和企业提高电话安全，避免财产损失和个人信息泄露。
Magifind是一款智能网站搜索工具，利用先进的人工智能和自然语言处理技术，能够准确理解用户搜索的意图，提供高度相关的搜索结果。它能够提升用户体验，提高在线零售转化率，并能够帮助用户快速找到他们想要的产品。
手写文字转换为文本的最准确工具，采用人工智能技术，能够将各种难以辨认的手写文字转换为数字文本，大大节省了编辑时间，提高了工作效率。产品的主要优点是准确性高、速度快，可适用于各种手写文本的转换需求。价格灵活，可按页收费或订阅。
Intrvu SPACE是一款端到端自动化面试平台，通过自动化面试流程，评估报告和自动审批等功能，简化了面试流程。它提供了标准化的面试，与职位描述相匹配，为招聘决策提供了全面的评估报告。Intrvu SPACE还支持与候选人的无缝沟通，提高了候选人评估和选择的效率。
NoteButler通过自动将PDF转换为文本，并在同一页添加AI摘要，使得在Notion中的PDF文档具有搜索功能。它能够提供OCR功能，并添加AI摘要，让那些通常无法在Notion中搜索的内容变得可搜索和可访问。
Grok是一款AI驱动的文档搜索平台，能够帮助用户上传并分析各种格式的文档。通过深入剖析文档内容，Grok可以揭示文档中隐藏的模式、趋势和关联，为用户提供全面的理解。用户可以向AI提问具体细节，观察智能算法提取相关见解，并给出简明答案。此外，Grok还支持使用AI解释复杂的代码库。Grok可以帮助用户找到文档中重要的功能或技术，并强调其主要优点和背景信息，定位和价格等。
ChatGPT Online是一个无需注册或登录即可直接通过网络浏览器访问的ChatGPT版本。它基于OpenAI的GPT-3和GPT-4技术，具有自然语言处理和生成能力，可以与用户进行各种主题的自然对话。它是一个强大的AI助手，可以用于客户支持、学习支持、内容创作等领域。
Model Muse是一个为电子商务服装品牌提供虚拟时尚模特的平台。它利用最新的人工智能图像生成技术，为品牌创造独特的模特形象，以代替传统高成本的拍摄。该平台可以轻松定制模特的特征，使其成为品牌的真实声音。
Astrology Book是一本通过ChatGPT提供占星阅读的网站。它利用星座和出生图来揭示宇宙的奥秘，并帮助人们获得关于自己的更多了解。该产品的主要优点是提供个性化的占星阅读，让人们深入了解自己的性格、特点和潜能。它的定位是为个人提供心灵成长和自我探索的工具。
IdeaPicker是一款用于生成创业点子的AI工具。我们通过扫描Reddit寻找痛点，从真实人们身上找到真实痛点。我们发现问题，然后AI为这些问题提供可以解决的创业点子。无论你是创业者还是寻找新创意的企业，我们都为你提供了解决方案。从我们的周报中获取挑选好的创业点子。
我们提供集成AI智能分析的中国风水在线计算工具，包括中国风水计算、易经占卜和八字算命服务。我们的先进技术提供准确的结果。该工具能够帮助优化您的生活或商业环境，提升财富和幸福感。它通过准确预测中国风水能量来提供帮助。
Menusso是一个帮助餐厅管理菜单的应用程序。它具有多语言翻译功能，可提供15种语言的翻译服务。Menusso使餐厅能够轻松管理菜单，并提供了一些主要优点，如背景信息、价格和定位等。
Sponsor Stream是一个帮助YouTube频道找到赞助商的平台。它可以帮助用户省去繁琐的寻找赞助商的过程，通过AI搜索算法提供与用户频道相关的赞助商列表。这个平台可以节省用户大量的时间和精力，提高与赞助商联系的效率。
Psychpedia是一个心理学和自我提升的学习平台。它提供AI支持的多样化心理学课程，涵盖各种层次，价格便宜且实惠。用户可以通过阅读每日更新的文章、查看心理学期刊、浏览工作机会和活动等来保持最新动态。平台还提供情绪跟踪工具，帮助用户记录和分析情绪模式，增加自我认知。
SpamCheckAI是一款专为防垃圾信息而设计的免费形式JSON API，提供IP过滤、内容分析和电子邮件验证等功能。它可以帮助您识别和阻止垃圾信息，并提供全面的数据分析，让您做出明智的决策。
AI Humanizer是一个工具，可以将AI生成的文本转换为类似人类的文本，绕过所有AI检测器，产生出色的人类质量评分。它创建高质量、真实的内容。
ColdCraft是一个AI平台，可以帮助您将简单的要点和LinkedIn个人资料转化为有效的冷邮件。它可以节省时间并提高回复率。该插件可以直接在Gmail中将要点转化为完整的冷邮件，并可以从LinkedIn个人资料直接撰写和发送电子邮件。
Nexai是一个基于人工智能的聊天机器人，它可以通过自然语言处理技术理解用户的问题并提供相关信息。它具有快速、准确的搜索能力，可以回答各种问题，并提供实用的建议和指导。Nexai还可以进行智能对话，与用户进行交流和互动。
Inboxly是一个AI邮箱，可以帮助用户整理、优先处理和回复来自各个平台的邮件。它的主要优点是提高工作效率、节省时间和保护隐私。Inboxly适用于个人和小型企业，提供AI助手、自动回复、智能过滤等功能。它是一个具有高影响力的低成本解决方案。
TruvaAI是一款AI助手，为软件平台提供智能导航和自动化操作功能，帮助用户更轻松地使用应用程序。通过TruvaAI，用户可以快速定位到正确的工具、功能和信息，并且还可以代表用户执行操作。TruvaAI不仅提高了用户的NPS，还为每个用户提供了个人账户经理的体验，实时可用。TruvaAI还能够根据用户的反馈和行为学习，不断改进自身。
