医学预测模型web APP的制作建议

医学预测模型web APP的制作建议

医学预测模型类web APP定义为承载预测模型而便利预测模型临床应用的可视化客户端。

医学预测模型类web APP的功能是衔接预测模型和临床实践，让用户正确地，方便地使用预测模型并恰当地理解预测模型的结果，在此过程中，医学预测模型类web APP需要给予用于充份的信息，比如模型的适用人群，训练数据的范围等，还要提供必要的数据处理的工具，比如外部验证工具和变量名称和标签调整工具，也要恰当地呈现预测结果，最大限度地便利患者做出决策。

我们在APP制作过程中，发现许多的APP仅仅提供模型预测模块，仅简单提供模型信息，很少提供工具，显然不能够满足让用户方便、正确使用APP的要求，导致APP虽然制作出来，却不能真正服务临床实践，因此，总结我们在制作医学预测模型类web APP过程中的经验和心得体会，制定本建议，作为预测模型类APP的基本要求。

一、模型介绍模块：

1. 提供模型的训练数据信息，包括变量的值域（最小值到最大值），待预测的数据最好实在训练的值域之内，以便获得良好的预测准确度；数据的样本量，样本量越大，模型预测效准确度越高；数据的来源，多中心或者是单中心，以及哪一级的医疗机构。以上信息，有助于APP使用者对模型的适用性有初步的评估。

2. 展示模型的内部验证和外部验证效能评估结果，如AUCROC，校准曲线，准确率、召回率、F1值等指标。以上结果有助于app使用者对预测结果有合理的评价。

3. 报道临床决策曲线分析（DCA）的结果，DCA分析中引导我们确定预测结果为阳性的情况下采取的临床措施，同时帮助我们确定预测模型的决策阈值，为后续临床应用奠定基础。如果不进行DCA分析，比如直接给出预测分类的情况，建议给出后续的临床建议。

4. 报道模型的临床影响力，即在临床实践中使用模型与否是否对患者的预后产生了影响或者提高了效率或者节省了花费。

二、外部验证模块：

1. 虽然多数模型提供外部验证的数据，并符合要求，但是这不代表本地数据在模型上表现也符合要求，所以APP用户在使用预测模型之前，一定要收集一定数量的本地数据进行外部验证，获取模型在本地数据上的表现。如果符合标准才可以使用模型预测本地数据，无论是批量还是个案。
2. 允许用户上传外部验证数据集，并详细展示验证结果，如ROC曲线和校准曲线等关键指标。提供友好的用户界面，支持多种格式的数据导入。
3. 这个模块同时可以作为批量预测的模块，比如科研等场合会收集批量的数据来获取结果，只是结果展示部分与外部验证模块不同，两者可以融合为一个模块。

三、数据调整模块：

1. 如果使用本地数据进行外部验证，需要确保本地数据名称和标签与模型数据保持完全一致，哪怕是一个字母都不能有差别。人工匹配变量名称和标签将是一件繁琐并容易出错的事情，所以APP最好提供一个模块来辅助以上工作。
2. 自动或者人工选择本地数据中的变量名和标签，并修改，与预测模型中的变量名和标签保持一致。这块如何更加简便，有待于进一步讨论。

四、预测模块：

1. 根据用户提供的本地数据生成预测结果。个案预测是多数预测模型APP都提供的模式，还可以选择增加批量预测模块，满足批量数据预测的需求，可以和外部验证模块合并到一起。
2. 以合适的形式展现预测结果，预测结果为连续变量，可以给出预测区间；预测结果为预测概率，可以给出预测结果以及决策阈值。

五、模型解释模块

最近流行对模型进行SHAP分析等，将模型的最终结果分解成各个预测变量的贡献。解释分为局部性解释，也就是对单个案例的解释，可以作为个案预测结果的辅助展示；还分为全局性解释，是综合了个案预测的结果，展示各个变量对于结局变量的重要性。还可以对重要的变量间关系，包括重要拐点，交互作用等，进行重点分析。

六、临床影响力评价模块(可选)

1. 预测模型能不能对临床结局产生影响是决定模型有没有价值的因素之一。模型的临床影响力是由其后续措施决定的，这也体现了预测模型制作时确定后续临床措施的必要性。
2. 临床评价可以采用常规的临床研究设计，比如观察性研究的设计或者是随机对照研究。需要注意的是临临床预测模型的临床影响力有可能是有益的，也有可能是有害的，所以有的研究者主张设立一个类似于药物一、二期临床试验的阶段，以评价模型可能的危害性。

总结：

临床预测模型构建以后，它需要一个载体来连接临床。我们认为web APP具有丰富的数据分析的功能，是作为预测模型载体的最佳的选择。如果一个APP能够实现上述的功能，基本上能够能够满足临床实践对于一个预测模型的要求。但是，临床预测模型用于临床实践的经验不多，所以对于这方面的临床需求还有待于进一步了解。