Babylon AI在全球医疗界率先实现匹敌医生的准确率

这家伦敦医疗 AI 公司与 Royal College of Physicians、Stanford Primary Care 和 Yale New Haven Health 的跨国合作取得重大突破。

Babylon Health 今晚在伦敦 Royal College of Physicians 现场直播的演讲中宣布了一项“世界第一”：经过一系列严格的测试（包括MRCGP考试的相关部分），该公司的 AI 已证明其能够提供堪比临床医生的医疗建议[1]。

MRCGP 考试是 Royal College of General Practitioners （RCGP） 为实习全科医生设立的最终考试。通过这项考试的实习全科医生证明他们的能力和临床技能达到足够高的水平，可以独立行医。

这项考试重在考查医生的诊断能力。

1. 出于监管原因，Babylon 的技术提供健康信息，而不是医疗诊断。测试以医生所做的诊断检查作为衡量准确率的基准，但 Babylon 的 AI 服务仍然是一种信息服务，而不是医疗诊断。

Babylon 从公开可用的 RCGP 来源[2]中选取了一些具有代表性的诊断技能试题以及独立出版的备考资料，并与当前的 RCGP 课程相对照，确保尽可能接近实际的 MRCGP 考题。

过去五年里，医生的平均合格分数为72%[3]。第一次参加考试，Babylon 的 AI 便达到81%。随着 AI 继续学习和积累知识，Babylon 预计在接下来的考试中将有明显进步。

虽然考试很重要，但医生在日常实践中会接触到更广泛的疾病和症状。因此，为了进一步测试 AI 的能力，Babylon 的科学家、临床医生和工程师团队与 Royal College of Physicians、Megan Mahoney博士（Stanford University 初级护理和人口健康部门大众初级护理主任）和 Arnold DoRosario 博士（Yale New Haven Health 首席人口健康官）合作，使用100个独立设计的症状集，对 Babylon 的 AI 和七名经验丰富的初级护理医生进行测试。

Babylon AI 的准确率得分为80%，而七名医生则为64-94%。

在初级护理医学最常见的病症方面，AI 的准确率为98%。相比之下，当 Babylon 的研究团队使用相同的方法对有经验的临床医生进行评估时，他们的准确率为52-99%。

2. 由于 RCGP 不公开过去的考卷，Babylon 在 AI 备考和测试中使用了例题，其中一些由学院直接出版，一些来自公开可用的资源（所有均作参考）。

3. 实习全科医生的平均 CSA 合格分数使用2012年至2017年期间的公开 RCGP 考试结果数据进行计算。

值得注意的是，AI 的安全性为97%，高于医生的平均值93.1%。

谈到今晚的新闻，Babylon 创始人兼首席执行官 Ali Parsa 博士表示：

“据世界卫生组织估计，全球医生缺口超过500万，导致全球逾一半人口无法获得最基本的医疗服务。即使是在最富有的国家，初级护理也变得越来越负担不起，而且不方便，往往需要漫长的等待时间，让他们无法立即得到医治。Babylon 的最新 AI 能力表明，不论地理、财富或环境，任何人都能免费获得堪比顶尖临床医生的医疗建议。

“今晚的结果清楚地表明 AI增强健康服务可以减轻全世界医疗系统的负担。我们的使命是将便利实惠的健康服务提供给每个人。这些意义重大的结果使人类向实现人人都能获得安全准确的医疗建议的世界迈进了一大步。”

Babylon 的研究论文《evaluation of AI Powered Symptom Checker》可从该公司的网站下载，并将在未来几天通过ArXiv.com公布。