type
status
date
slug
summary
tags
category
icon
password
领域需求驱动，充分融合交叉；探索患者、医生、机器之间的平衡
医学影像相关知识
医学影像DL技术
- 数据层面：数据标注昂贵、数据非平衡、数据多模态
- 数据少：数据预处理（mix-up），迁移学习（基于大规模数据集）
- 模型层面：语义特征表示、模型可解释性、不确定性问题（增加置信度）
数据依赖：数据增强、半监督学习（增加无标签数据，尤其在血管数据中[形状先验强，但是无法得到像素级别的标注]）、迁移学习
特征表示：low-level（SIFT、分区梯度、梯度直方图、边缘/角点特征、小波系数等），high-level【高级语义特征】（形状[肿瘤似圆度]、空间、边界浸润程度）
- 高级语义特征：专家支持先验，指数级别提升DL的拟合
可解释性：原来是，区分于神经网络的黑盒模型，是想要if-then的白盒模型；现在只要处理结果还不错就行（在某种程度上open，某种层面上进行可解释性说明）
医学影像的不确定性
不确定性：softmax可以得到可能性概率，在softmax出来之后增加一个名为uncertainty的类别，这样可以使得数据集中没出现过的病种可能被识别出来
- 来源：受限于数据标注（data annotation/overreliance）
- 不同sample图像成像质量参差不齐
- 个体之间的差异
- 不一致的数据标注（inconsistent）
- 受限于认知（识别标准发生变化）
- 技术限制与噪音（成像过程中有噪音，需要对于噪音进行建模）
- 医生对于病症的认知偏差（subjective）
- 种类：数据分布划分不开（数据问题）、开放世界问题（模型问题，out of distribution，OOD，out of scope之后应当产生相应的respond，例如将狗识别为胰腺癌）
- 方法：
- bayesian nerual networks、bayesian approx methods（计算开销高）
- prototype network（难以收敛）
- second-order probability method(从分布的角度，去看效果的平均值与方差)
- 用幂集来覆盖（在类别的基础上加入全集(都有可能)、空集(OOD)）
MedAI的不确定问题的解决
- 考虑增加不确定系数（到聚类的距离），将过噪的图像用于梯度更新时，权重更小，如此可增加uncertainty的考察，从而获得一个不错的分割效果
- 区分far OOD与near OOD的情况进行分开分析uncertainty
- 【AAAI 2022】可被信赖的多视角分类器：在loss中除去prediction error之外，增加对于不同视角图像的类别不同的loss，从而获得uncertainty
- 【AAAI 2023】softmax存在许多问题，使用昂贵且精准的PET与不精准的MRI一起训练时经验误差会升高，考虑到multi-view中safety的相应标准，需要给出经验误差的下限，loss中有fusion+uncertainty+KL-divergence，模型有鲁棒性。使得可以放心增加一个object的多个view。
医学影像相关工作
医学影像中的分割技术
分割：分割成多个类别、多个instance
传统算法需要精确设计与手工提取特征
医学影像数据的主要类型：DICOM、NlfTI
装置卷积可以从小尺寸的图像获取大尺寸的特征图像，但装置卷积会丢失以下边缘/细节信息，则此时需要不同层级之间的信息与其相补充（不同尺度的特征）。
使用DICE代替cross entropy来做loss，可以更好的关注于图像分割结果。
nnUNet开箱即用
- 作者:王大卫
- 链接:https://tangly1024.com/article/notes:MedAI-tech
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议，转载请注明出处。