站长之家（ChinaZ.com）6月1日 消息:周鸿祎在5月31日晚间的三六零智慧生活集团视觉大模型及 AI 硬件新品发布会上，发布了专业视觉及多模态大模型“360智脑 - 视觉大模型”。
360智脑视觉大模型基于10亿级互联网图文数据进行清洗训练，并针对安防行业数据进行微调，融合千亿参数的 "360智脑 " 大模型，从视觉感知能力角度进行打造。
周鸿祎强调，大语言模型是构建视觉大模型的基础，视觉大模型是“360智脑”的重要能力组成，未来将用于识别图片、文字、视频、语音等多模态数据。大模型已经在软件层面展现了强大能力，而与智能硬件结合后，大模型的能力将生动呈现在物理世界中。
周鸿祎认为，使用大模型进行重塑可以适用于各种各样的软件、APP、网站以及涉及到的所有行业。同时，他也预计多模态大模型与物联网的结合会成为下一个风口。因此，大模型将渗透到物联网设备中，成为物联网的大脑，而物联网设备则相当于大模型的感知端。
（举报）
随着GPT-4的发布，多模态大模型成为热点。业界常将视觉编码器与语言模型集成构建MLLM。模型设计和训练技巧仍需进一步优化，以平衡不同能力之间的权衡。
北京交通大学等机构联合推出了新多模态大模型MMICL。它支持文本、图像、视频三种模态的混合输入，在多项多模态能力评测中表现抢眼。随着其性能和适用场景的不断优化，MMICL有望成为多模态领域的新宠。
360宣布，360智脑大模型全面接入360全家桶，正式面向公众开放。用户可通过ai.360.com一站式登录体验360智脑app、360搜索、360安全浏览器、LoRA360、AI数字员工等大模型服务。在产业数字化战略背景下，基于360智脑的企业级垂直大模型已经在金融、医疗、教育等近20个行业落地，为各行各业提供支持。
随着视觉与语言的深度融合，文本图像理解成为多模态领域的新方向。文章介绍了一个突破性的多模态模型KOSMOS-2.5，它在处理文本密集图像上展现强大能力。目标是进一步提升对文本图像的解释生成能力，将KOSMOS-2.5应用于更多实际场景，如文档处理、信息抽取等，从使语言模型真正具备「读图识文」的能力。
“与历届亚运会相比，杭州亚运会很可能是最智能的一届。”是亚奥理事会代理总干事维诺德在接受媒体访问时的评价。期待这些黑科技产品逐渐渗透到普通用户的生活中，为我们的生活带来更多便利、效率和可持续性。
“‘360智脑’在部分场景的表现已接近国际先进水平”，9月17日，由南京市人民政府、中国信息通信研究院联合主办，南京经济技术开发区管委会、中国人工智能产业发展联盟共同承办的2023南京人工智能产业发展大会将在宁召开。三六零集团创始人周鸿祎以“垂直大模型引领新工业革命”为题发表主题演讲。在解决大模型安全，将大模型关进笼子之前，这只是人类美好的愿望是要让人保持在决策回路上。
继各类单一模态输入的多模态语言模型后，新加坡国立大学的华人团队最近开源了全能多模态模型NExT-GPT。该模型支持任意模态的输入和输出，可以实现文本、图像、语音和视频之间的自由转换，是第一个实现从任一模态到任一模态转换的通用多模态系统。后续工作可以考虑扩展更多模态，使用更大规模的语言模型基座，以及改进多模态生成策略等。
继各类输入端多模态大语言模型之后，新加坡国立大学华人团队近期开源一种支持任意模态输入和任意模态输出的真正「大一统」多模态大模型，火爆AI社区。ChatGPT的诞生，引爆了2023年的基于大语言模型的AI浪潮，此后各类开源大语言模型陆续问世，包括Flan-T5、Vicuna、LLaMA、Alpaca等。后续研究可以进一步提升模态切换指令微调学习策略以及数据集。
苹果AI/ML团队与哥伦比亚大学合作研发的多模态大模型“雪貂”已经成功突破了谷歌人机验证码的难题，能够轻松识别图像中的交通信号灯并准确圈出其位置，其性能直逼GPT-4V。Ferret的关键在于改进了大模型在“看说答”任务中的精确度，这得益于其出色的图文关联能力。通过这一研究，Ferret为解决图像理解和多模态任务提供了新的方向，有望在人机交互、智能搜索等领域取得
360公司创始人周鸿祎在计算机安全学术交流会上详细介绍了360大模型安全解决方案。大模型发展已进入第二阶段，关键问题是如何构建真正安全可用的大模型。周鸿祎表示，360的原生大模型安全解决方案能够平移、复制给有需求的行业合作伙伴和客户，以外挂式“360大模型安全管家”的形式对外赋能，提供网络与数据安全、内容护栏、搜索知识增强、可视化数据监测等能力。
