首页 > 业界 > 关键词  > 正文

ChatGPT在图灵测试研究中败给上世纪60年代的计算机程序 ELIZA

2023-12-08 11:32 · 稿源:站长之家

**划重点:**

1. 📉 UC圣迭戈研究人员发现上世纪60年代的ELIZA在图灵测试中胜过OpenAI的ChatGPT。

2. 🤯 ELIZA以27%的成功率模拟人类,而GPT-3.5仅为14%,引发对现代AI技术的尴尬评价。

3. 🧐 有学者认为,ChatGPT并非为在图灵测试中表现良好而设计,而OpenAI的GPT-4在测试中表现更强大。

站长之家(ChinaZ.com)12月8日 消息:近日,加利福尼亚大学圣迭戈分校的研究人员进行了一项有趣的实验,将上世纪60年代的计算机程序ELIZA与现代AI聊天机器人ChatGPT进行了图灵测试比较。该研究引发了对OpenAI的尴尬评价,认为ELIZA在这一测试中表现得更为出色。

图灵测试是评估计算机是否能够模拟人类对话的标准,由英国计算机科学家艾伦·图灵于1950年首次提出。在这项最新研究中,研究人员邀请了652名参与者,通过互联网判断他们是在与另一个人还是与AI聊天机器人交流。

结果显示,ELIZA成功模拟人类的能力达到27%,而OpenAI的GPT-3.5仅为14%。引起尤为注目的是,OpenAI的更强大版本GPT-4在测试中的成功率为41%,超过了ELIZA。

image.png

对此,AI专家Gary Marcus形容ELIZA的成功对现代科技公司开发AI聊天机器人是一种“尴尬”。然而,一些学者认为,ChatGPT并非被设计用于在图灵测试中表现优异。

美国宾夕法尼亚大学沃顿商学院的AI教授Ethan Mollick在社交媒体上发文表示:“我认为GPT-3.5输给ELIZA并不令人惊讶,当你读完论文后就会明白。OpenAI一直认为模仿风险是一个真正的问题,并采用了RLHF(从人类反馈中进行强化学习),以确保ChatGPT不会试图冒充人类。而ELIZA则更多地是通过利用我们的心理来成功冒充。”

研究中提到,参与者误认ELIZA为人类的原因之一是ELIZA“太糟糕”,以至于被认为是当前AI模型无法达到的水平,因此“更有可能是有意不合作的人类”。

普林斯顿大学计算机科学教授Arvind Narayanan指出:“一如既往,测试行为并不能告诉我们关于能力的信息。ChatGPT被调整为具有正式的语气,不表达观点等,这使得它不太像人类。”

这项名为“GPT-4是否通过图灵测试”的研究尚未经过同行评审。这一发现引发了对现代AI聊天机器人设计和性能的深入思考。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词:

热文

  • 3 天
  • 7天