首页 > 业界 > 关键词  > AI聊天机器人最新资讯  > 正文

研究:近10%AI聊天机器人用户对话内容涉及色情主题

2023-10-08 11:13 · 稿源:站长之家

文章概要:

- 研究发现,使用AI聊天机器人的近10%用户滥用其进行色情目的。

- 研究团队分析了10万次聊天机器人对话,发现其中约有10%涉及色情内容。

- 该研究旨在揭示人们与聊天机器人的真实互动情况,并希望促使聊天机器人在现实世界中更加安全。

站长之家(ChinaZ.com) 10月8日 消息:根据最新研究,使用AI聊天机器人的用户中,有近10%的人滥用这一技术来追求色情目的,这一发现或许令人感到不意外,但却引发了对这一现象的关注。

研究人员通过分析了10万次聊天机器人对话,揭示了这一令人不适的统计数据。在这些对话中,约有10%的对话内容涉及到色情主题,这一发现凸显了一部分用户对AI聊天机器人的滥用行为。

具体而言,研究人员将这些“不安全”的主题分为三类,其中两类与性有关,包括“请求明确和淫秽的故事叙述”以及“明确的性幻想和角色扮演情景”。第三类主题涉及“讨论不同身份之间的有害行为”,似乎聚焦在大数据的另一个大问题上,也就是偏见。然而,研究人员在论文中并未详细定义有害行为。

人工智能 AI 机器人 机械手 (2)

图源备注:图片由AI生成,图片授权服务商Midjourney

在这三类主题中,以淫秽叙述最为普遍,约占样本对话的5.71%。其次是“明确的”性幻想和角色扮演,占3.91%的对话内容,而与明显有偏见的用户进行的样本互动占比为2.66%。

研究人员来自伯克利和斯坦福的团队得以获取这样大规模的样本,部分原因在于他们共同运营着一个称为“聊天机器人竞技场”的游戏化服务。该服务允许用户输入提示,并并列显示不同语言模型的响应。用户然后可以评价哪个响应更好,也可以投票表明“两者都不好”或两者打平。

除了聊天机器人竞技场,这份研究报告还使用了Vicuña(一款部分由伯克利的Lianmin Zheng参与开发的开源ChatGPT竞争者)收集的数据集。在他们随机抽取10万条对话的完整百万对话数据集中,包含了来自世界各地的210,000多个独立IP地址。

虽然自从OpenAI于2022年底发布ChatGPT的公共版本以来,AI聊天机器人已经在媒体上占据了一席之地,但迄今为止,关于人们与聊天机器人在实际世界中的互动情况,除了技术如何影响学术、商业和出版界,还没有太多研究。

这些发现的研究人员表示,他们希望他们的研究将有助于在现实世界中为所有用户(除了可能是那些滥用的用户)使聊天机器人更加安全。

举报

  • 相关推荐
  • 大家在看

今日大家都在搜的词: