**划重点:**
1. 🌐 微软与前谷歌CEO支持Synth Labs，致力于解决人工智能系统与人类意图之间的对齐问题。
2. 🛠️ Synth Labs专注于构建软件，包括开源工具，以确保各类人工智能系统按照其意图行动。
3. 🚀 该初创公司起源于非营利性AI研究实验室EleutherAI，重点解决建立在大型语言模型上的聊天机器人等AI应用的技术挑战。
站长之家（ChinaZ.com）3月1日 消息:在人工智能软件领域，系统并不总是按照其开发者的意愿行动，这一潜在危险已经引起了一些科技巨头的关注。近期，微软与前谷歌CEO埃里克·施密特（Eric Schmidt）联手支持了一家名为Synth Labs的初创公司，致力于解决这一对齐问题。
Synth Labs的创始人包括前Illumina Inc.首席执行官弗朗西斯·德索扎（Francis deSouza）以及两位在非营利性AI研究实验室EleutherAI内工作的创始人路易斯·卡斯特卡托(Louis Castricato)和内森·莱尔(Nathan Lile)。该公司以透明和协作为基调，已从微软公司的风险资本基金M12和埃里克·施密特的First Spark Ventures筹集了初创资金。
人工智能对齐问题主要涉及建立在大型语言模型上的应用，如聊天机器人，这些模型通常是在大量互联网数据的基础上进行训练的。由于人们的伦理观念和价值观差异，以及对人工智能应该和不应该做的看法不同，解决这一问题变得复杂。Synth Labs的产品旨在帮助引导和定制大型语言模型，尤其是那些开源的模型。
该公司最初作为EleutherAI内的一个项目启动，由三位创始人（卡斯特卡托、莱尔和Biderman）共同努力。在过去几个月里，Synth Labs已经开发出能够在复杂主题上对大型语言模型进行评估的工具。他们的目标是推动易于使用的工具，使人们能够自动评估和对齐人工智能模型。
一篇由卡斯特卡托、莱尔和Biderman合著的研究论文展示了Synth Labs的方法:通过使用OpenAI的GPT-4和Stability AI的Stable Beluga2AI模型生成的提示响应，创建了一个数据集。然后，该数据集作为自动化过程的一部分，指导聊天机器人避免讨论一个主题，而转而讨论另一个主题。
莱尔表示:“我们设计这些早期工具的方式主要是为了让您有机会决定对于您的业务或个人偏好来说，对齐意味着什么。”
Synth Labs的出现使得更多公司能够以透明和协作的方式确保其人工智能系统按照其预期行动，这在当前人工智能发展的背景下显得尤为重要。
（举报）