1. sci666首页
  2. 实用技巧
  3. 临床预测模型

浅谈临床预测模型/Nomogram的外部验证

最近群里的小伙伴一直在热议一个话题——外部验证

到底是把验证集的数据按照验证集的变量做一遍,还是要按照训练集的公式去验证?验证集的ROC曲线、Calibration 曲线和DCA又是怎么做呢?

今天,我们收集了几个主要问题,借助以往文献给大家解惑。

Q1. 如何外部验证

浅谈临床预测模型/Nomogram的外部验证

首先我们来看一段话,来自一篇发表在Journal of clinical oncology(IF=28)上的一篇文章:Prognostic Nomogram for IntrahepaticCholangiocarcinoma After Partial Hepatectomy

During the external validation of the nomogram, the total points of each patient in the validation cohort were calculated according to the established nomogram, then Cox regression in this cohort was performed using the total points as a factor, and finally, the C-index and calibration curve were derived based on the regression analysis.

读完这段话,豁然开朗。外部验证,一定是基于你要去验证的那个模型(即此文的Nomogram)。通过已经建立的预测模型,计算出验证集中所有患者的得分。此时,验证集只存在4列数据(非生存资料为3列),即第1列ID,第2列随访时间,第3列结局是否发生,以及第4列的总分(根据Nomogram计算),再无其它数据。即可以理解为,此时的总分替代了验证集所有自变量,可以看成是自变量根据所验证的模型进行权重后的指标。

那么,这个问题就很明白了。千万不能把变量带进去再跑一遍,这充其量只能证明你的这几个变量确实在外部验证集中依然是预测因素,但是和训练集建立的模型,没有BMQ关系。

2. 验证集中如何运行Calibration curve

浅谈临床预测模型/Nomogram的外部验证

其实这个问题,在前面那段话已经可以找到答案了。在验证过程中,所有操作均利用Total points(总分)代替自变量,那么Calibration curve的代码即变为:

浅谈临床预测模型/Nomogram的外部验证

想想大家应该对这个问题没有疑惑了。DCA 也是一样的方法。

3. 训练集验证集分组问题

浅谈临床预测模型/Nomogram的外部验证

其实这一直是大家困扰的问题,也没有公认的指南或者规范。现在最最最最常见的分组就是随机将患者分为训练集和验证集(7:3/ 6:4/ 5:5都可以)。也有正如图中所说的,根据时间进行分组。另外还有根据患者来源(不同中心分组)。各种方法优劣各有,此处不再赘述。

关于不同时间分组,目前文献多以在前的时间为训练集,在后的时间为验证集。图中所述的后面的时间为训练集,前面的时间为验证集较为少见,但是不能说错误,鼓励尝试。其实这样做也有其优势。就笔者自身体验而言,对于生存时间较长的疾病,若以后面的患者作为验证集,可能会因为其随访时间过短而造成DCA曲线和Calibration curve 报错。因此,各种分组方法,应根据大家的实际情况确定。

好了,今天就和大家聊到这里。

这些可能会帮助到你: 问答社区 | 共享百度SVIP | 留言建议

欢迎入群交流:生信分析群: 732179952 · Meta分析群: 797345521

发表评论

登录后才能评论