欢迎来到医科研,这里是白介素2的读书笔记,跟我一起聊临床与科研的故事, 生物医学数据挖掘文献分享,R语言,TCGA数据、GEO数据库, SEER数据挖掘, 临床预测模型研究。 预测模型的研究报告规范我们清楚了吗?本文是笔者本人学习笔记,做一小结,主要内容是来自 Tripod 2015 statement,笔者做了部分解读。仅供大家参考学习,原文版权归原作者所有。下一篇文章将会详细的介绍 Checklist内容,一篇预测模型的文章究竟需要哪些内容? 如何报告临床预测模型文章才是规范的?后期会进一步详细去学习。 摘要开发预测模型来帮助医疗保健提供者评估存在特定疾病或状况的可能性或风险(诊断模型)或将来会发生特定事件的可能性(风险模型),以告知他们的决策。但是,绝大多数证据表明,预测模型研究的报告质量很差。只有全面,清晰地报告有关预测模型各个方面的信息,才能充分评估存在偏倚的风险和预测模型的潜在应用价值。The Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) 计划提供了预测模型相关论文的报告规范建议。本文介绍了TRIPOD声明是如何开发的。根据文献回顾创建了一个广泛的项目清单,在基于网络的调查之后有所减少,并在2011年6月与方法学家,卫生保健专业人员和期刊编辑举行的为期3天的会议上进行了修订。在指导小组的几次会议上以及与更广泛的TRIPOD贡献者小组的电子邮件讨论中,对清单进行了完善。最终的TRIPOD声明是22项的checklist,被视为透明报告预测模型研究必不可少的。TRIPOD声明旨在提高预测模型研究报告的透明度,而与所使用的研究方法无关。TRIPOD声明最好与TRIPOD解释和阐述文件结合使用。为了协助编辑过程和预测模型研究的读者,建议作者在提交的内容中包括完整的清单(也可从www.tripod-statement.org获得)。(也就是如果是预测模型相关的文章,你要投稿时提供一个完整的list给杂志,这样让编辑能够很清晰的判断报告质量) 编者注为了鼓励传播TRIPOD声明,该文章同时发表在11个重磅杂志上,包括:Annals of Internal Medicine Web site (www.annals.org) and will be also published in BJOG, British Journal of Cancer, British Journal of Surgery, BMC Medicine, British Medical Journal, Circulation, Diabetic Medicine, European Journal of Clinical Investigation, European Urology, and Journal of Clinical Epidemiology. 介绍
简单的理解就是得出一个风险估计:例如,病人术后发生感染的风险?患某个疾病后还能活多少年?这些疑问我们此前的回答可能会给出一个群体的数据,但是预测模型则可根据个体化的情况来回答这个问题。 预测模型研究有哪些类型?
预测模型研究预测模型研究可大致归类为模型开发, 模型验证(有或没有更新)或 预测模型开发和验证。模型开发研究旨在通过选择相关的预测变量并将其统计组合为多变量模型来推导预测模型。Logistic和Cox回归最常分别用于短期(例如,疾病相对于现在,30天死亡率)和长期(例如,十年风险)结果。研究还可能量化特定预测变量(例如,新发现的)对预测模型的增量或增加的预测值。
我们其实看到很多文章并没有内部验证。 在建立预测模型之后,强烈建议在模型开发所用的其他独立数据中评估模型的性能。这种外部验证要求对于新数据集中的每个人,都使用原始模型(即已发布的回归公式)进行结果预测,并与观察到的结果进行比较。外部验证可以使用由相同研究者收集的参与者数据,通常使用相同的预测变量和结果定义和度量,但从后期进行采样(时间验证或狭窄验证);由另一家医院或国家/地区的其他研究人员,有时使用不同的定义和度量(地理或广泛的验证);在相似的参与者中,但设置了不同的环境(例如,在二级保健中开发并在相似的参与者中进行评估但从初级保健中选择的模型);甚至其他类型的参与者(例如,在成人中开发并在儿童中评估的模型,或用于预测致命事件并针对非致命事件进行评估的模型)。如果性能不佳,可以根据验证数据集来更新或调整模型。 报告多因素预测模型开发或验证多变量预测模型的研究为研究人员带来了特定的挑战。一些评论评估了描述开发或验证预测模型的已发表报告的质量。例如,
这些评论和其他评论清楚地表明,在不同疾病地区和不同期刊上,预测模型研究的报告水平普遍较差。此外,这些评论表明,在统计方法上存在严重缺陷,使用小的数据集,对丢失的数据进行不适当的处理以及缺乏验证是常见的。此类缺陷最终导致未使用或不应使用的预测模型。因此,相对于已发布的大量模型,很少有预测模型在临床实践中得到广泛实施或使用。 这一点到是与我们的认知相符合, prognostic model现在Pubmed上成千上万了估计有,但真正应用到临床的模型却非常少,大家都在忙于开发新模型,今天一个,明天又一个,没有什么太大的意义。
预测模型研究的报告指南:TRIPOD声明TRIPOD声明,该指南专门设计用于报告开发或验证多变量预测模型的研究的报告,包括诊断和预后模型。TRIPOD不适用于病因学研究中的多变量建模或研究单个预后因素的研究。此外,与未使用模型相比,TRIPOD也不适用于量化使用预测模型对参与者或医生的行为和管理,参与者健康结局或护理成本效益的影响研究。 已有的其它报告指南观察性报告指南(加强流行病学观察性研究报告[STROBE])[39];肿瘤标志物(对肿瘤标志物预后研究的报告建议[REMARK])[37];诊断准确性(用于诊断准确性研究报告的STAndards [STARD])[40];遗传风险预测(Genetic RIsk Prediction Studies [GRIPS])[41]研究都包含许多与开发或验证预测模型有关的项目。但是,这些指南都不完全适合于预测模型研究。与预测模型最相关的2条准则是REMARK和GRIPS。但是,REMARK清单的重点主要是预后因素,而不是预测模型,而GRIPS声明旨在利用遗传风险因素和围绕处理大量遗传变异的特定方法论问题进行风险预测。 TRIPOD应运而生, TRIPOD明确涵盖了针对所有医学领域和所有类型的预测因素的诊断和预后模型的开发和验证。TRIPOD还更加重视验证研究和此类研究的报告要求。(请参阅随附的解释和详细说明文件[43];可在www.annals.org上找到)。 TRIPOD的组成TRIPOD声明是22项检查清单,对于开发或验证多变量预测模型的研究进行良好报告至关重要(表1)。这些项目涉及标题和摘要(项目1和2),背景和目标(项目3),方法(项目4至12),结果(项目13至17),讨论(项目18至20)和其他信息。(项目21和22)。 TRIPOD声明涵盖:
除了《 TRIPOD声明》外,作者还以与其他报告准则相似的方式提供了支持性的解释和阐述文件。每个清单项目都得到了解释,并附有已发表文章的良好报告示例,这个阐释文件我也会放到星球上,供大家下载学习。 Members of the TRIPOD Group我相信如果你看完下面这个列表,你是一个会思考的人,你肯定会跟我一样深思: 为什么全是国外的大学,医学中心,医院,研究人员? 这样的研究指南报告规范为什么不是由我们国家来参与、甚至去制定呢? 这又让我想起来前段时间一个中科院的研究生不停的盗版别人的视频发到B站,还乐此不疲;跟他苦口婆心沟通了半天,对牛弹琴;身处国家最高科学研究机构的人啊,不钻研学业,总干这个事。 作为医生、研究生,科学家们,我辈仍需努力啊! Gary Collins (University of Oxford, Oxford, United Kingdom); Douglas Altman (University of Oxford, Oxford, United Kingdom); Karel Moons (University Medical Center Utrecht, Utrecht, the Netherlands); Johannes Reitsma (University Medical Center Utrecht, Utrecht, the Netherlands); Virginia Barbour (PLoS Medicine, United Kingdom and Australia); Nancy Cook (Division of Preventive Medicine, Brigham & Women's Hospital, Boston, Massachusetts); Joris de Groot (University Medical Center Utrecht, Utrecht, the Netherlands); Trish Groves (BMJ, London, United Kingdom); Frank Harrell, Jr. (Vanderbilt University, Nashville, Tennessee); Harry Hemingway (University College London, London, United Kingdom); John Ioannidis (Stanford University, Stanford, California); Michael W. Kattan (Cleveland Clinic, Cleveland, Ohio); André Knottnerus (Maastricht University, Maastricht, the Netherlands, and Journal of Clinical Epidemiology); Petra Macaskill (University of Sydney, Sydney, Australia); Susan Mallett (University of Oxford, Oxford, United Kingdom); Cynthia Mulrow (Annals of Internal Medicine, American College of Physicians, Philadelphia, Pennsylvania); David Ransohoff (University of North Carolina at Chapel Hill, Chapel Hill, North Carolina); Richard Riley (University of Birmingham, Birmingham, United Kingdom); Peter Rothwell (University of Oxford, Oxford, United Kingdom); Patrick Royston (Medical Research Council Clinical Trials Unit at University College London, London, United Kingdom); Willi Sauerbrei (University of Freiburg, Freiburg, Germany); Ewout Steyerberg (University Medical Center Rotterdam, Rotterdam, the Netherlands); Ian Stiell (University of Ottawa, Ottawa, Ontario, Canada); Andrew Vickers (Memorial Sloan Kettering Cancer Center, New York). 参考文献pdf版本的文献原文我已上传到知识星球,供大家学习。 组建科研交流群通知
|
|