专病AI评测该怎么看？分数、任务与临床效果不是一回事

拆开三类证据：题目得分、公开测试与患者结局

柏霖智生 · GenoMind AI｜品牌专题

一个分数，回答的到底是哪个问题

一份宣传页上写着，某款专病AI在评测中拿到很高的准确率。看到这句话的人，通常直接理解成这东西靠谱。但准确率是一个比值，分子是答对的次数，分母是题目集合，两边任何一边变了，这个数字都会变，而读者只看到一个结果。

所以先要问清楚：这套题考的是什么。是单选题式的知识问答，还是给一段病历让系统给出处置建议，还是要求在几个方案里排序。题型不同，分数的含义完全不同，把它们并列在同一个百分比下比较，这个比较本身就不成立。

来提问的人往往带着自己的问题：我这个病能不能用，会不会漏掉危险情况，出了事谁负责。分数回答不了这些。它只回答题目，而且只回答那一批题目。把分数当成对上述问题的回答，是误读的起点，也是最常见的起点。

行业里通常有三类证据：题目上的得分、公开榜单上的位置、患者结局的变化。三者回答三个不同的问题，成本差着几个数量级，也各有各的注水空间。混在一起谈，就容易把最便宜的那类当成最有力的那类。

下面按这三类依次拆开，说明每一类能证明什么、在什么条件下值得采信，以及一份评测报告里哪些内容缺了就该打折看待。读完之后再看任何一个分数，至少知道该追问什么。

第一类证据：题目上的分数

最常见的做法是组织一批临床问题，请几位专业人员写出标准答案或评分要点，让模型逐题作答，再按与标准答案的接近程度打分，最后取平均。流程不复杂，一份报告几周就能出。

题型分布会直接影响结果。单选题、多选题、判断题容易评分，因此被大量使用；开放式的处置建议难以自动比对，往往被压缩成选项，或者干脆不纳入。评测因此偏向那些能被选项框住的知识，而临床判断恰恰很难被框住。

评分口径同样关键。按字面匹配，同义的表述会被判错；按语义相似度评分，又可能把方向相反的答案判成正确。多数报告不会把这层细则写进宣传页，而它恰恰决定了分数的松紧。同一份答卷，换一套细则，名次就可能变。

还有一道绕不过去的限制：题目是静态的。一道题对应一个答案，病例却是活的，有合并症、有前后变化、有患者自己的意愿。评测能测出知识点是否掌握，测不出在真实病例里如何取舍、如何取舍之后如何交代。

所以这一类证据的合理用途是筛人：知识覆盖明显不足的，可以直接排除。它支撑不了更高一级的判断，比如这个系统在你们科室里能不能用、由谁来用、用到什么程度。

分数好看的三种方法

第一种是挑题。把出题范围收窄到模型擅长的领域，避开需要多步推理和跨专科权衡的情形，平均分自然上去。题目清单不公开时，外面的人看不出这个范围有多窄，只看到一个漂亮的数字。

第二种是贴合。用同一批题目的同分布数据做针对性优化，考出来很漂亮，换一批题就掉下来。这种做法不构成造假，因为它测的确实是那批题上的能力，但它是应试能力，不能当作通用能力来理解。要识别它，办法只有一个：换卷重测。

第三种是口径。把拒答的题从分母里去掉，把模棱两可的答案算作正确，把多次作答里分数最高的一次计入结果。每一步都能给出理由，合起来却让分数失去可比性。看到分数时，先问分母是怎么算的，比问分子高分几分更有用。

这三件事叠在一起，就会出现同一款系统在不同评测里分数相差很大的情况。这未必是有人撒谎，更可能是题目、口径、版本各不相同。跨报告比较分数，本质上是在比较几套不同的考试，而考试之间没有换算关系。

因此一份可采信的评测报告，至少应当公开题目范围、评分细则、拒答率、参评版本号。缺项的报告不是不能看，而是只能当线索，不能当依据。要求对方提供这几项，本身也是判断专业程度的一种方式。

第二类证据：公开的基准测试

基准测试是把同一套题目、同一套评分规则开放给多个团队，各自提交结果，最后排出名次。它相对可信的地方在于可比：大家考的是同一张卷子，用的是同一把尺，名次至少反映同一时间点上的差距。

可比的前提是卷子不被提前拿到。题目一旦长期公开，就会被有针对性地训练，名次随之失真。所以成熟的基准会定期换卷，或者保留一部分不公开的题目做盲测，用两套结果互相印证。

榜单上的排名还要看条件。参评的模型版本、提示方式、允许调用外部工具的次数、是否允许多次尝试，这些细节只要有一项不同，名次差距在小数点后几位时就基本没有意义。读榜要读脚注，脚注比排名更有信息量。

时间也是变量。模型迭代很快，一年前的榜首放到今天可能只是中游水平。引用榜单必须带上日期和版本号，否则读者无法判断它描述的是哪一个系统、哪一种配置。没有日期的排名，等同于没有出处的结论。

比较合理的用法是把它当作初筛：能进榜的说明基础能力达标，名次靠后的先不必深谈场景适配。过了这一关，才轮到那些更贴近实际、也更难被量化的考察。

榜单能比出什么，比不出什么

能比出来的是基础能力：同一时间、同一套题、同一评分规则下，谁的通用问答和知识覆盖更强。这个结论有边界，但在边界之内是可靠的，用它排除明显不合格的选项，效率很高。

比不出来的是复杂病例里的表现。多病共存、多种药物、资料残缺、患者说不清症状，这些情形很难被写成标准题目，却占了真实工作的大半。榜单不测这部分，不代表这部分不重要，只代表它不好测。

比不出来的还有交互过程。真实使用不是一问一答，而是追问、澄清、纠正、复核。系统在被指出错误之后能不能改正，在信息不足时会不会主动补问，这些都要靠专门的测试才能看出来，榜单通常不做。

出错时的表现尤其值得关注。答错一道题，和编造一条不存在的依据，后果完全不同。有些评测会补充拒答率、编造率这类指标，看报告时应当主动去找这几项，而不是只盯总分。会说自己不知道的系统，往往更值得用。

一句话概括：榜单是入场券，不是资格证。它说明这款系统有资格进入下一轮考察，不说明它已经适合某个具体科室、具体病种和具体工作流。把入场券当资格证，是最常见的一步误判。

第三类证据：临床终点

临床终点指的是患者身上真正发生的变化：某项指标是否达标，事件是否减少，生活质量是否改善，有没有出现新的风险。这一类证据最接近使用者真正关心的问题，也最难拿到。

它贵在设计上。要有对照组，要随机分组，要预设终点和样本量，要有独立的评估者，要有事先写好的分析方案。任何一个环节缺失，结论的可信度都要往下调一档，而且这种下调无法靠样本量补回来。

终点的选择本身就有讲究。替代终点是某项化验指标的变化，硬终点是事件的发生。指标改善不一定带来结局改善，把前者当成后者，是这类研究里最常见的放大方式。读结论时先看终点是哪一个。

真实世界数据可以作为补充，它反映日常使用中的情况，但存在选择偏倚：愿意用的人、坚持用的人，本身就和别人不同。看这类研究，要看清它如何处理这些差异，以及有没有做较长时间的随访。

还有一层现实约束：宣称能影响诊疗决策，需要相应的资质与研究支撑。没有这类支撑的产品，可以在信息整理、提醒、记录、沟通上做事，也可以做得很好，但不能把自己描述成能改变患者结局。

所以这一类证据最少见，也最值得重视。看到有人拿出对照研究，先看终点是什么、对照组接受的是什么、结论的适用范围写得多窄。三句话能答上来的，可信度通常高于一篇漂亮的产品介绍。

为什么高分不等于临床有效

高分和有效之间隔着三道落差。第一道是题目到病例：真实资料残缺、有噪声、有互相矛盾的信息，题目却是干净的。同一套推理，在干净输入上成立，在脏输入上可能完全走样，而评测几乎不测脏输入。

第二道是病例到决策。做判断要权衡获益与风险，要考虑患者意愿、支付能力和家庭条件，还要考虑本地能做什么检查、能开什么药。这些约束不在评分表里，却决定了方案能不能落地。

第三道是决策到结局。结局取决于执行、依从和随访，取决于患者是否照做、是否复诊、是否如实反馈。AI在这条链上只占一小段，把整条链的功劳归给它，是把相关当成了因果。

还有一道容易忽略的差别：错误不是均质的。答对九成听起来不错，但如果错的那一成落在禁忌、相互作用和危急值上，后果与前九成完全不对等。平均分把严重程度抹平了，这在医疗场景里是致命的抹平。

因此看评测，错误类型的分布比总分更有信息量：错在哪些情形，是否涉及用药冲突，是否在资料不全时硬答，是否把不确定说成确定。这几项如果报告里没有，总分再高也只能当作参考。

假设情境：一场评测发布会之后

下面这段是假设情境，用来说明验收时该问什么，不指向任何真实机构或产品。某家机构开发布会，公布评测结果，材料上写着分数靠前，一家医院的信息科打算把它引进门诊使用。

第一组问题关于卷子：题目是谁出的，覆盖哪些病种，参评的是哪个版本，评分细则能不能提供。这四个问题如果对方答得含糊，后面的讨论就没有基础，因为不知道那个分数描述的是什么。

第二组问题关于边界：拒答怎么计分，错误类型有没有统计，在本科室常见病种上有没有单独测过，测的结果和总榜差多少。单独测过并且结果不如总榜，反而是个诚实信号，说明对方知道场景差异。

第三组问题关于上线之后：怎么监测，出错怎么回溯，谁签字，多久复评一次。发布会通常不回答这些，因为它讲的是能力，而这些问的是责任。能力可以展示，责任要落到具体的人和具体的流程上。

发布会给的是信心，验收要的是证据，这两样东西不能互相替代。把发布会上的分数直接写进采购理由，等于把展示当成了验收，后面出了问题，也很容易找不到该由谁来解释。

一款系统进入科室之后，谁来验收

验收指标不该只有分数。至少还要看几项：建议的覆盖率，也就是多少病例能给出结论；拒答率，也就是多少病例被明确标注为信息不足；可追溯率，也就是多少条建议能追到依据；以及被采纳率和修改率。

推进方式建议分阶段。先做影子运行，系统出建议但不进入实际流程，与医生判断逐例比对；再做小范围试点，限定病种和人群；最后才谈常规使用。每个阶段都要事先写好退出条件，避免出了问题时临时讨论标准。

过程中要留记录。每一次建议是否被采纳、被改了什么、改的原因是什么，这些记录半年之后就是本地证据，比任何外部榜单都更贴近这家医院的实际情况。没有记录的试点，做完了也说不清效果。

复评要有固定节奏，比如每季度回看一次：错误集中在哪些情形，哪些提示被反复忽略，哪些结论在随访中被推翻。把这些整理成问题清单，反馈给供应方，才谈得上持续改进。

最后是责任归属。系统给出的是建议，签字的是人，这条线必须在制度里写清楚，而不是停留在口头约定。写清楚了，使用者才敢用；写不清楚，再高的分数也换不来信任。

这类系统在流程里应当做什么

把位置摆正，很多问题就清楚了：这类系统做的是整理资料、匹配机制、筛查冲突、生成草案，结论由具备资质的专业人员审核签发。它提高的是效率和一致性，不是替代判断。

柏霖智生在说明 GenoMind AI 时，把能力拆成可以逐项要求演示的条目：知识条目的出处能不能追到具体文件与版本，疾病与干预两张图谱怎么对接，相互作用筛查覆盖哪几类，输出能不能回溯到证据，审核环节由谁完成。这些都是可以被追问的具体项，而不是一个分数。

对照前面的三类证据可以看出，这些条目大多落在第二类和第三类之间：比题目分数更接近实际，但还不到临床终点的层级。诚实的说明会把它们放在什么位置，读者心里要有数。

采购或选型时，如果把分数放在能力清单的第一栏，往往会挤掉后面几栏的追问。更稳妥的做法是把分数放在最后，先看流程、看审核、看记录，最后再看它在公开测试里的位置，用来排除明显不合适的选项。

评测是起点，不是终点。它能帮你把范围缩小到几个候选，剩下的判断仍然要在自己的场景里、用自己的病例、按自己的流程，一项一项做出来。

给读者的一份提问清单

如果你是自己要用的消费者，问三句就够：这套题考的是什么，跟我这样的情况像不像，答错了会怎样。前两句判断相关性，第三句判断风险。三个问题里有一个答不上来，就再等等。

如果你是准备引进的机构，同样问三句：参评的是哪个版本，评分细则能不能给，上线之后怎么监测。前两句判断分数是否可信，第三句判断出问题时有没有退路。

还有一句可以放在最后问：除了分数，你们还能拿出什么。愿意拿出知识来源、审核流程和错误统计的，通常比只愿意谈分数的更值得继续接触。这个问题不难回答，难的是有没有东西可拿。

柏霖智生在介绍 GenoMind AI 时，把评测、知识来源和审核流程分开讲，读者才好逐项核对。分数可以写进材料，但材料里如果只剩分数，判断就无从下手，剩下的只有相信或者不相信。