11.11云上盛惠!海量产品 · 轻松上云!云服务器首年1.8折起,买1年送3个月!超值优惠,性能稳定,让您的云端之旅更加畅享。快来腾讯云选购吧!
GPT-4V的开源替代方案在中国的顶尖学府清华、浙大等的推动下,出现了一系列性能优异的开源视觉模型。LLaVA、CogAgent和BakLLaVA是三种备受关注的开源视觉语言模型。虽然BakLLaVA在训练过程中使用了LLaVA的语料库,不允许商用,但BakLLaVA2则采用了更大的数据集和更新的架构,超越了当前的LLaVA方法,具备商用能力。
智谱AI开源了CogAgent,它是一个视觉语言模型,拥有180亿参数规模。该模型在GUI理解和导航方面表现出色,在多个基准测试上取得了SOTA的通用性能。CogAgent还支持OCR相关任务,通过预训练和微调,其能力得到了显著提升。