- 博客(17)
- 收藏
- 关注
RSS订阅原创 医疗AI新突破！多模态对齐网络精准预测X光生存，自动生成医疗报告！
随着大型视觉语言模型（LVLMs）在医疗保健应用中的日益重要，包括医疗视觉问题解答和成像报告生成，这些模型在展现强大能力的同时，也继承了基础大型语言模型（LLMs）的幻觉倾向。幻觉指的是生成看似事实但无根据的内容，这在医疗领域尤其危险，因为容错率极低。然而，目前医疗领域缺乏针对幻觉检测和评估的专用方法和基准。为了填补这一空白，本文提出了Med-HallMark，首个专为医疗多模态领域设计的幻觉检测和评估基准。该基准提供了多任务幻觉支持、多面幻觉数据和层次化幻觉分类。
2024-08-02 18:00:55
948
原创 大模型幻觉的风刮到医学图像了？看上海复旦的学者如何解决
随着大型视觉语言模型（LVLMs）在医疗保健应用中的日益重要，包括医疗视觉问题解答和成像报告生成，这些模型在展现强大能力的同时，也继承了基础大型语言模型（LLMs）的幻觉倾向。幻觉指的是生成看似事实但无根据的内容，这在医疗领域尤其危险，因为容错率极低。然而，目前医疗领域缺乏针对幻觉检测和评估的专用方法和基准。为了填补这一空白，本文提出了Med-HallMark，首个专为医疗多模态领域设计的幻觉检测和评估基准。该基准提供了多任务幻觉支持、多面幻觉数据和层次化幻觉分类。
2024-08-02 17:30:29
876
原创 如何利用大语言模型进行半监督医学图像分割？这篇文章给出了答案
本文提出了一种创新的框架，该框架结合了大型语言模型（LLM）与半监督学习方法，用于3D医学图像分割任务。通过从LLM中提取与医学图像分割相关的任务特定知识，该框架能够有效地利用有限量的标注数据和大量未标注数据，提高分割模型的准确性和泛化能力。具体而言，作者设计了一种机制，将LLM中的知识转化为图像分割任务的先验知识，进而指导半监督学习过程中的伪标签生成和模型训练。1.提出一种融合LLM与半监督学习的框架：该框架能够利用LLM中丰富的知识库，为医学图像分割任务提供有价值的先验信息。2.设计知识转化机制。
2024-07-31 22:32:41
1359
原创 大模型卷入医学图像！PFPs：使用大型视觉和语言模型的提示引导灵活病理分割，用于多样化潜在结果
本文探讨了在大视觉和语言模型框架下，通过引入提示（Prompt）来实现灵活多变的病理图像分割方法（PFPs）。现有的病理图像分割模型主要侧重于预测潜在结果，但缺乏医生输入的灵活性。本文提出了一种利用微调语言提示来引导多类别分割的高效计算流程，并通过实验验证了该方法的有效性。该方法不仅提高了分割的灵活性，还增强了模型对新病例的泛化能力。1.构建高效计算流程：使用微调的语言提示来指导灵活的多类别分割，提高了模型的计算效率和灵活性。2.性能比较：对比了使用固定提示与自由文本提示的分割性能。
2024-07-31 19:38:52
1012
原创 论文解读 | CVPR2023：伪标签引导的对比学习在半监督医学图像分割中的应用
本文提出了一种新颖的基于伪标签引导的对比学习（Contrastive Learning, CL）框架，用于半监督医学图像分割。该框架结合了半监督学习（Semi-Supervised Learning, SemiSL）和对比学习的优势，通过SemiSL生成的伪标签为CL提供额外的指导，而CL中学习的判别类信息则提高了SemiSL的多类分割性能。此外，本文还设计了一个新的损失函数，协同鼓励类间可分离性和类内紧密性之间的学习表征。
2024-07-27 20:38:24
1730
原创 论文解读 | Mamba系列 | UltraLight VM-UNet: 并行视觉Mamba显著减少皮肤病变分割参数
本文提出了一种创新的超轻量级医学图像分割网络UltraLight VM-UNet，该网络通过将最新的状态空间模型（SSM）技术——Mamba，与经典的UNet架构相结合，实现了皮肤病变分割任务中参数数量和计算负载的显著减少。UltraLight VM-UNet的参数仅为0.049M，GFLOPs为0.060，相比传统模型在性能上保持竞争力甚至更优。
2024-07-27 20:36:38
893
原创 论文解读 | Mamba系列 | I2I-Mamba: 通过选择性状态空间建模的多模态医学图像合成
本文提出了I2I-Mamba，一种基于选择性状态空间建模（SSM）的多模态医学图像合成方法。I2I-Mamba通过引入选择性状态空间模型，有效解决了传统方法在跨模态医学图像合成中存在的计算复杂度高、信息丢失等问题。该方法能够在保持高质量图像生成的同时，实现不同模态医学图像之间的灵活转换，为医学诊断、治疗计划制定等提供了有力支持。实验结果表明，I2I-Mamba在多个数据集上均取得了优异的表现，与现有方法相比，在图像质量、合成效率等方面均有所提升。1. 作者首次提出了。
2024-07-26 21:06:16
1164
原创 论文解读 | MambaMIR：一种用于联合医学图像重建和不确定性估计的任意掩模眼镜蛇算法
本文提出了一种基于Mamba模型的改进版本，称为MambaMIR，旨在用于医学图像的重建以及不确定性估计。MambaMIR继承了原始Mamba模型的线性复杂度、全局感受野和动态权重等优势，并创新性地引入了任意屏蔽机制，有效适应图像重建任务，并为后续的蒙特卡洛不确定性估计提供了随机性。
2024-07-26 17:17:59
916
1
原创 论文解读 | Mamba跨界医学图像：SliceMamba展现新潜力！
本文提出了一种名为SliceMamba的新方法，用于解决医学图像分割中的关键问题。尽管基于Mamba的医学图像分割模型已经取得了一定进展，但现有方法往往采用单向或多向特征扫描机制，无法有效建模图像中相邻位置之间的依赖关系，从而限制了局部特征的准确建模。局部特征在医学图像分割中至关重要，因为它们提供了关于病变和组织结构的重要信息。SliceMamba通过引入一个高效的双向切削扫描模块（BSS），能够在扫描过程中保持相邻特征的接近性，从而显著提高分割性能。
2024-07-20 18:29:57
531
原创 论文解读 |SIMSAM：通过模拟交互实现零样本医学图像分割
本文提出了SIMSAM（Simulated Interaction for Segment Anything Model），一种针对医学图像零样本分割的新方法。SIMSAM通过模拟用户交互生成大量候选掩码，并利用一种新颖的聚合方法来输出最兼容的掩码。该方法在SAM（Segment Anything Model）的基础上，无需额外训练即可直接应用于医学图像分割任务，并在三个公开医学成像数据集上展示了显著的分割精度提升（最高可达15.5%）。本文贡献：1. 提出并实现了SIMSAM框架。
2024-07-18 19:44:56
818
原创 论文解读 | TMI2024 使用跨风格一致性进行半监督医学图像分割：结合形状感知和局部上下文约束
本文提出了一种基于跨风格一致性的半监督医学图像分割方法，该方法结合了形状感知和局部上下文约束。该方法旨在解决医学图像分割中标记数据稀缺的问题，通过利用有限的标记数据和大量的未标记数据，实现高效的分割性能。该方法包括两个并行网络：形状感知网络和形状不可知网络，通过交叉伪监督的方式，在无需显式形状约束的情况下，隐式地捕获目标区域的形状信息，并利用局部上下文损失函数提升分割精度。1.跨模型伪监督框架：设计了一种新的跨模型伪监督框架，该框架结合形状感知和局部上下文约束，在有限的标记数据下实现了高精度的医学图像分割。
2024-07-18 17:39:23
1300
原创 论文解读 | An Uncertainty-guided Tiered Self-training Framework for Active Source-free Domain Adaptation
本文提出了一种基于不确定性引导的分层自训练框架 ( Uncertainty-guided Tiered Self-training, UGTST)，旨在解决前列腺分割任务中的无监督源域适应 (Source-free Domain Adaptation, SFDA) 问题。尽管深度学习模型在前列腺分割中表现出色，但其在不同医疗中心之间的泛化能力仍面临挑战。SFDA技术能够在不访问源域数据的情况下，将深度分割模型适应到目标域，从而解决隐私和安全问题，并减少源域与目标域之间的域移问题。
2024-07-16 20:56:34
554
原创 论文阅读记 Reliability-Aware Contrastive Self-ensembling for Semi-supervised Medical Image Classification
自集成框架已被证明是通过利用丰富的未标记数据进行半监督医学图像分类的强大范式。然而，大多数自集成方法中使用的未标记数据的权重相等，当从不同人群、设备和环境获取的未标记数据之间存在差异时，这会对模型的分类性能产生不利影响。提出了一种新的可靠性感知对比自集成框架，能够选择性地利用可靠的未标记数据。通过引入权重函数到平均教师范式中，将未标记数据的概率预测映射到反映其可靠性的相应权重上，有效提高了模型对可靠数据的依赖性，从而提升了分类性能。
2024-07-16 18:01:42
758
1
原创 论文阅读记录 ｜Uncertainty-informed Mutual Learning for JointMedical Image Classification and Segmentation
医学图像论文阅读记录 ｜Uncertainty-informed Mutual Learning for JointMedical Image Classification and Segmentation
2024-07-14 16:56:53
1099
原创 论文阅读记录 | Decoupled Consistency for Semi-supervised Medical Image Segmentation
论文阅读记录 | Decoupled Consistency for Semi-supervised Medical Image Segmentation
2024-07-13 17:45:08
708
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人