**划重点:**
1. ChatGPT-4在儿科医疗病例诊断方面准确率仅为17%,比其在一般医疗病例中的39%更差。
2. 研究指出ChatGPT难以识别疾病之间的关系,提出需要有选择性地在准确可信的医学文献上进行专门培训。
3. 研究者认为,通过特定医学数据的培训和调整,有望提高LLM(大型语言模型)类聊天机器人的诊断准确性。
站长之家(ChinaZ.com) 1月4日 消息:发表在《美国医学会儿科杂志》上的一项研究表明,ChatGPT-4在儿科医学病例的诊断方面的准确率仅为17%,较去年一般医学病例的39%更低。
这一低成功率显示出人类儿科医生在短时间内不太可能失业的现实,研究强调了临床经验在医学领域的不可替代性。研究人员指出ChatGPT的高错误率主要源于其对疾病关系的辨识不足,并提出通过有选择性地在准确可信的医学文献上进行培训,以及提供更实时的医学数据,有望提高模型的准确性。
图源备注:图片由AI生成,图片授权服务商Midjourney
在该项由纽约科恩儿童医学中心进行的研究中,ChatGPT-4被用于分析自2013年至2023年间JAMA Pediatrics和NEJM发表的100个儿科病例。
研究人员将相关病例的文本粘贴到ChatGPT的提示中,然后由两名合格的医学研究员对AI生成的答案进行评分。ChatGPT在100个病例中仅有17个正确的诊断,72个错误的诊断,以及11个未完全捕捉到诊断的情况。其中,57%的错误诊断集中在同一器官系统。
研究发现,ChatGPT在辨识疾病之间的已知关系方面表现不佳,例如在一个病例中未能将自闭症与坏血病(维生素C缺乏)联系起来。研究者建议通过专门选择性的培训,使ChatGPT能够更好地利用准确和可信的医学文献,而非依赖互联网上可能包含不准确信息和误导的内容。他们还提出,通过提供更实时的医学数据,模型可以进行“调谐”以提高其准确性。
(举报)