站长之家(ChinaZ.com) 8月25日 消息:阿里云旗下魔搭社区（ModelScope）宣布开源视觉语言模型Qwen-VL。
据介绍，Qwen-VL以通义千问70亿参数模型Qwen-7B为基座语言模型研发，支持图文输入，具备多模态信息理解能力。
相比之前的模型，Qwen-VL 新增了视觉定位、图像中文字理解等功能，可以接受图像和多语言文本作为输入，并输出图像或文本。
目前，该模型在魔搭社区上线，开源了 Qwen-VL 和 Qwen-VL-Chat 两个模型。
Qwen-VL-Chat 可以用于快速搭建具备多模态能力的对话应用。用户可以通过安装依赖项和模型推理的步骤来使用该模型。模型还支持微调和微调后推理，通过微调可以改进模型的性能。该模型的推理速度快，资源消耗相对较低。
Qwen-VL-Chat
模型链接:https://modelscope.cn/models/qwen/Qwen-VL-Chat
Qwen-VL
模型链接:https://modelscope.cn/models/qwen/Qwen-VL
（举报）
11.11云上盛惠！海量产品 · 轻松上云！云服务器首年1.8折起，买1年送3个月！超值优惠，性能稳定，让您的云端之旅更加畅享。快来腾讯云选购吧！
腾讯云
12-20
在今年的云栖大会上，阿里云宣布对通义千问主力模型进行大幅度降价，其中Qwen-Turbo的价格直降85%，低至百万tokens仅需0.3元。阿里云CTO周靖人在会上表示，尽管已经实现了大幅度降价，但大模型的价格并没有达到足够低”的水平。阿里云表示，升级后的模型将继续免费为用户提供服务，同时，用户也可以通过阿里云百炼平台调用Qwen-Max的API。
科技日新月异的今天，教育行业正经历着前所未有的变革松鼠Ai作为这一领域的佼佼者，正以其创新的多模态智适应教育大模型，引领着教育行业的未来发展方向。松鼠Ai在多个重要场合的亮相和成果展示，再次证明了其在人工智能教育领域的领先地位。我们有理由相信，在松鼠Ai的引领下，未来的教育将更加个性化、智能化和高效化。
欢迎来到【AI日报】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。新鲜AI产品点击了解:https://top.aibase.com/1、阿里国际推出最新多模态大模型Ovis，看菜品就能提供烹饪步骤阿里国际AI团队发布了多模态大模型Ovis，为各行业带来新机遇。英特尔在2024年计划中稳步推进，展望2025年推出的FalconShores将进一步提升其在AI领域的竞争力。
【新智元导读】Meta首个理解图文的多模态Llama3.2来了!这次，除了11B和90B两个基础版本，Meta还推出了仅有1B和3B轻量级版本，适配了Arm处理器，手机、AR眼镜边缘设备皆可用。Llama3.1超大杯405B刚过去两个月，全新升级后的Llama3.2来了!这次，最大的亮点在于，Llama3.2成为羊驼家族中，首个支持多模态能力的模型。这些新解决方案已经集成到了Meta的参考实现、演示和应用程序中，开源
北京2024年9月24日，悦享控股有限公司，一家以技术驱动的新一代移动互联网基础设施与平台服务提供商今天宣布，悦灵犀AI多模态全面升级2.3版本，使悦灵犀AI具有更为强大的应用能力。在本次更新升级中，除新增AIlive图功能外，悦灵犀AI实现了支持部分国家和地区的海外用户使用。随着悦享控股的大模型底层技术不断取得突破和进步，悦灵犀AI已经在应用层面实现了超越式发展，其丰富、多样和真实的生成效果，为全球更多用户带来前所未有的超级应用体验。
中国科学院地理科学与资源研究所正式发布全球首个多模态地理科学大模型坤元”。作为专为地理科学领域量身打造的专业语言大模型，坤元”不仅精通地理学的精髓，更在懂地理”、精配图”、知人心”、智生图”四大核心功能上展现出非凡能力。他们还将打造地理科研协作大平台，为每一位科学家和科研团队提供专属的地理大模型服务，通过共享数据、模型与研究思路等�
在生成式人工智能领域，大模型多模态交互能力的升级正掀起一股新的AI浪潮，在RTC能力的加持下，人与AI的交互不再局限于文字，也可以通过语音通话进行生动、流畅的低延时交互，这也成为当下国内外大模型厂商新的发力点。今年5月，GPT-4o的发布开创了AI实时语音交互的先河。声网的实时多模态对话式AI解决方案目前已经上线，如您想进一步体验我们的Demo或者接入该方案，可在声网公众号找到这篇文章，扫描文章底部的二维码联系我们。
具身智能领域的“癫”，已经进入nextlevel了!来看这段视频:人形机器人在前面跑，一群机器狗在后面追;然后人追着狗，接着狗追着人……最后那位机器人还有很重的「偷感」在身上。这样它就真的很真狗啊!第二点是BabyAlphaA2拥有SuperChat功能。机器人对人类的价值，从来不只是“科幻”和冷冰冰的硬件已。
随着大语言模型的飞速发展，角色扮演智能体正逐渐成为AI领域的热门话题。这类智能体不仅能够为人们提供陪伴、互动和娱乐在教育、社会模拟等领域展现出重要的应用潜力。在多模态角色扮演智能体的开发中，多模态理解能力和角色扮演质量是更具挑战性的方面，需要在未来的研究和优化中予以特别关注。
在AI程序员的帮助下，一个几乎没有专业编程经验的初中生，在人头攒动的展台上从零开始，两分钟就做出了一个倒计时网页。我们正站在一个前所未有的拐点上，科技的进步不再仅仅依赖于人类的智慧是通过AI的赋能，实现新的技术进化与革新。
Canvas是OpenAI推出的一个新界面，旨在通过与ChatGPT的协作来改进写作和编码项目。它允许用户在一个单独的窗口中与ChatGPT一起工作，超越了简单的聊天界面。Canvas利用GPT-4o模型，能够更好地理解用户的上下文，并提供内联反馈和建议。它支持直接编辑文本或代码，并提供快捷操作菜单，帮助用户调整写作长度、调试代码等。Canvas还支持版本回溯，帮助用户管理项目的不同版本。
Text Behind Image 是一个开源的设计工具，允许用户轻松创建文字背景图片设计。它提供了一个简洁的界面，让用户可以自由地在图片上添加文字，创造出独特的视觉效果。这个工具对于设计师、社交媒体运营者和内容创作者来说非常有用，因为它可以快速生成具有吸引力的视觉内容。
torchao是PyTorch的一个库，专注于自定义数据类型和优化，支持量化和稀疏化权重、梯度、优化器和激活函数，用于推理和训练。它与torch.compile()和FSDP2兼容，能够为大多数PyTorch模型提供加速。torchao旨在通过量化感知训练（QAT）和后训练量化（PTQ）等技术，提高模型的推理速度和内存效率，同时尽量减小精度损失。
Liquid Foundation Models (LFMs) 是一系列新型的生成式AI模型，它们在各种规模上都达到了最先进的性能，同时保持了更小的内存占用和更高效的推理效率。LFMs 利用动态系统理论、信号处理和数值线性代数的计算单元，可以处理包括视频、音频、文本、时间序列和信号在内的任何类型的序列数据。这些模型是通用的AI模型，旨在处理大规模的序列多模态数据，实现高级推理，并做出可靠的决策。
NVLM-D-72B是NVIDIA推出的一款多模态大型语言模型，专注于视觉-语言任务，并且通过多模态训练提升了文本性能。该模型在视觉-语言基准测试中取得了与业界领先模型相媲美的成绩。
gradio-bot是一个可以将Hugging Face Space或Gradio应用转化为Discord机器人的工具。它允许开发者通过简单的命令行操作，将现有的机器学习模型或应用快速部署到Discord平台上，实现自动化交互。这不仅提高了应用的可达性，还为开发者提供了一个与用户直接交互的新渠道。
AI-Powered Meeting Summarizer是一个基于Gradio的网站应用，能够将会议录音转换为文本，并使用whisper.cpp进行音频到文本的转换，以及Ollama服务器进行文本摘要。该工具非常适合快速提取会议中的关键点、决策和行动项目。
VARAG是一个支持多种检索技术的系统，优化了文本、图像和多模态文档检索的不同用例。它通过将文档页面作为图像嵌入，简化了传统的检索流程，并使用先进的视觉语言模型进行编码，提高了检索的准确性和效率。VARAG的主要优点在于它能够处理复杂的视觉和文本内容，为文档检索提供强大的支持。
JoyHallo是一个数字人模型，专为普通话视频生成而设计。它通过收集来自京东健康国际有限公司员工的29小时普通话视频，创建了jdh-Hallo数据集。该数据集覆盖了不同年龄和说话风格，包括对话和专业医疗话题。JoyHallo模型采用中国wav2vec2模型进行音频特征嵌入，并提出了一种半解耦结构来捕捉唇部、表情和姿态特征之间的相互关系，提高了信息利用效率，并加快了推理速度14.3%。此外，JoyHallo在生成英语视频方面也表现出色，展现了卓越的跨语言生成能力。
PhysGen是一个创新的图像到视频生成方法，它能够将单张图片和输入条件（例如，对图片中物体施加的力和扭矩）转换成现实、物理上合理且时间上连贯的视频。该技术通过将基于模型的物理模拟与数据驱动的视频生成过程相结合，实现了在图像空间中的动态模拟。PhysGen的主要优点包括生成的视频在物理和外观上都显得逼真，并且可以精确控制，通过定量比较和全面的用户研究，展示了其在现有数据驱动的图像到视频生成工作中的优越性。
Whisper large-v3-turbo是OpenAI提出的一种先进的自动语音识别(ASR)和语音翻译模型。它在超过500万小时的标记数据上进行训练，能够在零样本设置中泛化到许多数据集和领域。该模型是Whisper large-v3的微调版本，解码层从32减少到4，以提高速度，但可能会略微降低质量。
Realtime API 是 OpenAI 推出的一款低延迟语音交互API，它允许开发者在应用程序中构建快速的语音到语音体验。该API支持自然语音到语音对话，并可处理中断，类似于ChatGPT的高级语音模式。它通过WebSocket连接，支持功能调用，使得语音助手能够响应用户请求，触发动作或引入新上下文。该API的推出，意味着开发者不再需要组合多个模型来构建语音体验，而是可以通过单一API调用实现自然对话体验。
Saylo AI是一个AI角色扮演游戏，让你与AI角色互动，探索多样化的戏剧性故事。它利用人工智能技术，提供沉浸式的互动体验，让玩家在虚拟世界中与AI朋友交流，体验不同的故事情节。Saylo AI的背景信息展示了其创新性和娱乐性，旨在为玩家提供一种全新的娱乐方式。目前产品处于推广阶段，价格未明确标注。
twinny是一个为Visual Studio Code用户设计的AI扩展，旨在提供个性化的编程辅助，提高开发效率。它通过集成先进的AI技术，帮助开发者在编码过程中快速解决问题，优化代码，并提供智能提示。twinny的背景是响应开发者对于更加智能和自动化编程工具的需求，它通过简化开发流程，减少重复劳动，从而让开发者能够专注于更有创造性的工作。
Buildpad 是一个旨在帮助创始人从概念到成功最小可行产品(MVP)的在线平台。它通过提供智能验证工具、AI引导的开发流程、进度跟踪以及个性化的项目见解，帮助用户构建能够获得市场认可的产品。Buildpad 的主要优点包括简化产品开发流程、提高产品成功率、以及提供个性化的指导和支持。
Novela是一个专注于AI时代技能学习的在线平台，提供早期访问服务，用户可以免费试用。它旨在帮助用户掌握AI相关的技能，以适应未来职场的需求。
interview.co是一个专注于简化招聘流程的视频面试软件。它通过提供在线视频面试、AI问题生成器和面试管理工具，帮助企业高效地筛选和评估候选人。产品背景信息显示，interview.co旨在解决传统面试中的时间消耗、日程安排困难和成本高昂等问题。价格方面，interview.co提供试用版，具体定价信息需进一步探索。
Open NotebookLM是一个利用开源语言模型和文本到语音模型的工具，它可以处理PDF内容，生成适合音频播客的自然对话，并将其输出为MP3文件。该项目的灵感来自于NotebookLM工具，通过使用开源的大型语言模型（LLMs）和文本到语音模型来实现。它不仅提高了信息的可访问性，还为内容创作者提供了一种新的媒体形式，使他们能够将书面内容转换为音频格式，扩大其受众范围。
Chital是一个为macOS平台设计的应用程序，它允许用户与Ollama模型进行聊天。这个应用具有低内存占用和快速启动的特点，支持多聊天线程，能够在不同的模型间切换，并支持Markdown格式。此外，它还能自动为聊天线程生成标题摘要。Chital的开发主要是为了满足开发者个人的使用需求，但也鼓励社区成员通过fork代码库来添加新功能。
SafeEar是一个创新的音频深度检测框架，它能够在不依赖于语音内容的情况下检测深度音频。这个框架通过设计一个神经音频编解码器，将语义和声学信息从音频样本中分离出来，仅使用声学信息（如韵律和音色）进行深度检测，从而保护了语音内容的隐私。SafeEar通过在真实世界中增强编解码器来提高检测器的能力，使其能够识别各种深度音频。该框架在四个基准数据集上的广泛实验表明，SafeEar在检测各种深度技术方面非常有效，其等错误率（EER）低至2.02%。同时，它还能保护五种语言的语音内容不被机器和人类听觉分析破译，通过我们的用户研究和单词错误率（WER）均高于93.93%来证明。此外，SafeEar还构建了一个用于反深度和反内容恢复评估的基准，为未来在音频隐私保护和深度检测领域的研究提供了基础。
