美国国防部成功完成军事医学聊天机器人试点项目

据币币情报道，与美国国防部和拜登政府相关的最新项目之一已圆满结束。国防部首席数字和人工智能办公室（CDAO）完成了众包人工智能红队（凯特）保证计划的试点阶段。该计划旨在将人工智能聊天机器人整合到军事医疗服务中。

大型语言模型（LLM）聊天机器人被纳入CAIRT程序中，同时，CAIRT还协助国防部制定了一种去中心化、众包的人工智能风险缓解及保证策略。

超过200名临床服务提供者和医疗保健分析师参与了该项目，帮助识别在军事医疗应用中使用AI聊天机器人的潜在漏洞。根据国防部报告，此次试验发现了数百个潜在问题。

对此，国防部表示，“通过创建基准数据集，这项工作将产生可重复且可扩展的结果，这些结果可用于评估未来的供应商和工具是否符合预期性能标准。”

CAIRT项目幕后

据国防部透露，一个非营利性人道主义情报机构执行了CAIRT LLM试点，与国防卫生局（DHA）以及国防医疗管理系统项目执行办公室（PEO DHMS）合作实施。

此外，该人道主义情报单位采用红队方法来识别具体的系统问题，包括利用对抗技术对系统弹性进行内部测试。红队活动吸引了对新兴技术感兴趣的参与者加入，他们有机会贡献于增强系统的安全性。

此项目中，人道主义情报团队针对军事医学中的两个潜在应用场景进行了研究：临床记录摘要与医疗咨询聊天机器人。

尽管发现了一些安全隐患，但国防部强调，“这些发现将有助于形成国防部对于生成型人工智能负责任使用的指导原则，并最终改善军方医疗服务的质量。如果未来部署时涉及到了OMB M-24-10所定义的覆盖范围内的AI，则必须遵循所有必要的风险管理实践。”

不过，国防部指出，CAIRT保障计划将继续对LLM和AI系统进行测试，以加速CDAO快速能力单元的发展，使GenAI目标更加高效地实现，并在所有国防部应用场景下建立信任。

CDAO负责人Matthew Johnson博士评论说：“鉴于目前在国防部内部将GenAI应用于此类目的仍处于试点与实验初期，因此该项目作为大量测试数据生成、提出考虑领域及验证解决方案的重要先驱者，将对未来可能部署的GenAI系统的进一步研究、开发与保证产生影响。”

预计即将上任的新政府将继续推进这些项目。特朗普团队对人工智能持开放态度，即使其希望与中国展开竞争。

人工智能在医疗领域的安全性探讨

虽然AI对医学科学有着巨大正面影响，但也带来了显著的风险与挑战。例如，为了提高准确性，AI系统依赖于大规模的数据集，这使得敏感患者信息面临安全、隐私和保密方面的威胁。当前，由于制药公司和保险公司对该类数据感兴趣，黑客攻击事件频发，有时甚至成为政府间网络战的一部分。

另外，数据污染——即故意修改医疗数据以引起错误或偏见——是另一个重要隐患，它会损害医疗建议的准确度与可靠性。再者，有缺陷的医学算法也可能因缺乏充分测试而存在问题。关于责任归属的问题（如私人医生、医院、设备供应商还是算法开发者），由机器故障引起的医疗差错引发了复杂的法律争议。

AI聊天机器人扮演医生？