《“OCT立方”: 可改善跨数据集、跨疾病、跨设备和跨模态分析的光学相干断层扫描的三维基础模型》2024年9月12日“OCT立方”是一个针对光学相干断层成像的三维基础模型，旨在提升跨数据集、跨疾病、跨设备和跨模态分析的准确性和泛化能力。本文详细介绍了OCT立方模型的设计、训练、评估及其在多个任务中的应用效果。光学相干断层扫描（OCT）是一种无创成像技术，能够对视网膜微观结构进行三维体积成像。由于光学相干断层扫描图像能使临床医生观察视网膜的独特层次并量化这些层次的厚度，因此光学相干断层扫描成像已成为诊断和治疗许多视网膜疾病的关键，包括青光眼、糖尿病性黄斑水肿、年龄相关性黄斑变性、糖尿病视网膜病变、视网膜新生血管形成，以及黄斑裂孔、中央视网膜动脉和静脉阻塞。人工解释和分析体积中的每个光学相干断层扫描图像不仅耗时，而且容易出现人为错误，因此需要开发自动化算法和机器学习模型来提高临床实践中的准确性和效率。显然，虽由于光学相干断层扫描的快速、无创、经济且可扩展的特点，它已成为视网膜疾病诊断的关键工具。然而，现有的基础模型大多仅考虑2D图像切片，忽略了丰富的3D结构信息。为了解决这一问题，本文便提出了OCT立方，一种基于3D掩码自编码器的3D基础模型。模型设计OCT立方采用了自监督学习的掩码自动编码器框架进行预训练，通过遮蔽部分3D OCT体积中的切片来迫使模型学习数据中的冗余信息，从而提取出有用的特征表示。这一设计使得OCT体积能够有效捕捉视网膜的三维结构信息，为后续任务提供了坚实的基础。评估与应用●跨数据集预测在跨数据集评估中，OCT立方在预测视网膜疾病时表现出色，相比2D模型，在多个独立数据集上平均精确率-召回率曲线下面积从0.77提升至0.81，接受者操作特征曲线下面积从0.66提升至0.77。这证明了OCT立方在未知数据集上的强大泛化能力。●跨设备预测在跨设备评估中，OCT立方在使用不同设备采集的OCT体积数据上显著优于2D模型。这表明OCT立方在处理来自不同设备的OCT数据时具有较强的鲁棒性。●跨疾病预测OCT立方还展示了在预测多种系统性疾病（如糖尿病和高血压）方面的潜力。通过利用视网膜与全身健康之间的紧密联系，OCT立方能够准确预测多种疾病，进一步拓宽了其在医学诊断中的应用范围。●跨模态分析为了实现OCT与红外视网膜（IR）图像的跨模态分析，本文提出了一个名为COIP的对比自监督学习框架。该框架利用OCT立方对OCT体积进行嵌入，并通过对比损失函数对齐OCT体积和红外视网膜图像。实验结果表明，COIP能够实现OCT与红外视网膜图像之间的准确对齐，为多模态视网膜建模提供了可能。综上所述，OCT立方作为一种针对OCT的三维基础模型，在跨数据集、跨疾病、跨设备和跨模态分析方面均表现出色。其强大的泛化能力和准确的性能为基于AI的视网膜疾病诊断和预后提供了新的可能。未来，随着数据的不断增加和模型的不断优化，OCT立方有望在更多医疗场景中得到应用，为患者提供更加精准和个性化的医疗服务。如需要《“OCT立方”: 可改善跨数据集、跨疾病、跨设备和跨模态分析的光学相干断层扫描的三维基础模型》（英文，共58页），请在本微信公众号中赞赏（点喜欢或稀罕作者后按本公众号设定打赏）后发来email地址索取。★ 每日鲜鸡汤 ★The road to success is never crowded, because very few people can persevere. 成功的路上从不拥挤，因为能坚持的人很少。早上好！
