AI安全辩论：Sam Altman剑桥演讲遭抵制、Llama 2被曝存在潜在风险

要点:

1. Sam Altman在剑桥活动中遭到抵制，引发全球AI安全讨论升级，包括联名信呼吁对人工智能制定国际条约。

2. MIT的研究指出，开源的Llama2存在潜在风险，可能被滥用以获取危险知识，呼吁采取法律行动限制模型权重公开。

3. AI巨头分为「开源派」和「毁灭派」，各持己见，一方要求更加开放，另一方主张制定条约以防止AI灭绝人类，引发激烈辩论。

站长之家（ChinaZ.com）11月2日 消息:当前，全球正掀起一场激烈的AI安全讨论，其中三个关键要点引起广泛关注。首先，OpenAI的CEO Sam Altman在剑桥举办的活动中遭到了抵制，抗议者要求停止AI竞赛，导致全球AI安全讨论再次升级。

不仅如此，AI巨头分为两派，一派是「开源派」，包括LeCun和吴恩达，他们主张更加开放的AI开发。另一派是「毁灭派」，由Bengio和马库斯领导，他们呼吁制定国际条约以防止AI灭绝人类。这两派分歧激烈，继续辩论不休。

论文地址:https://arxiv.org/ftp/arxiv/papers/2310/2310.18233.pdf

其次，来自MIT等机构的研究表明，开源的Llama2模型存在潜在风险。在一项黑客马拉松中，参赛者试图获取西班牙大流感病毒的传染性样本，发现经过微调的Spicyboro模型可以轻松获得有关病毒样本的信息，甚至不需要病毒学知识。这引发了对模型滥用的担忧，研究人员呼吁采取法律行动来限制模型权重的公开。

最后，AI巨头们发出联名信，其中Bengio领头，呼吁制定国际AI条约，以确保AI的发展不会带来潜在的灾难性风险。已有300多名专家签署了这封信，包括马库斯和Max Tegmark等知名专家。

这封信提出了一些核心内容，包括设定全球计算阈值、建立AI安全联合实验室、提供安全的AI接口以减少危险AI发展竞赛，以及设立国际委员会监督条约遵守情况。这些举措旨在确保AI的安全、负责任发展，以造福人类。

总之，全球AI安全讨论正在升级，涵盖了Sam Altman遭抵制、Llama2开源模型的潜在风险以及AI巨头们的辩论。这些讨论反映了对AI的不同看法和担忧，以及对安全措施的需求，以确保AI技术的安全和负责任发展。

（举报）