近日，人工智能学院智能感知与图像理解教育部重点实验室焦李成教授团队正式发布“慧影”医学基础模型，标志着实验室在医学人工智能人才培养、科研攻关等基础能力建设上迈出了关键一步，不仅为医学影像等前沿科学研究——提供了统一而强大的工具支撑，也为产业界在医疗健康等尖端应用领域的落地与突破奠定了坚实基础。

医疗是人类维护健康和治疗疾病的重要手段，医疗AI模型不仅对于提升疾病诊断精确性和治疗效果具有重要意义，而且对于推动医疗行业向智能化、精准化发展也起到了关键作用。面对多样化的健康问题和个体化的治疗需求，基于深度学习和机器学习的医疗基础模型为我们提供了新的视角和有效的解决方案。

IPIU慧影医学基础模型大框架提供前沿的基础模型结构，完整可复现的训练范式，以及全面的预训练权重以便快速适配下游应用。框架研发涵盖20余种基础模型结构、3大类核心训练范式、300余种覆盖全身多部位、多病种、多模态的影像分析模块，并保持快速迭代，不断引入学界前沿成果。

一、影元万象集

该模型主要以影像学数据为主（80%），具体包含常见医学2D和3D影像中的常见12种模态数据，包含多器官、脑部、病变、血管和骨骼五大基础部分，共涵盖120+公开数据集的5.4W+例三维影像和12W+二维影像，文本数据有15%的数据包含图像文本对描述以及诊断报告，5%的专家知识数据包含病患特征、形态学和流体力学参数等信息。

二、基础模型算法平台

IPIU慧影医学基础模型算法库：打通学术前沿基础模型研究应用全流程。该模型构建了全国最大的医学通用分割框架，包含全面的医学图像分割流程：图像预处理、多样化基础模型选择、图像后处理、通用模型推理及验证。

该模型支持基于CNN、Transformer、Mamba、LSTM以及SAM的医学骨干网络共计40+算法，模型参数量从1M到1.4B不等，为医学科学研究人员提供了丰富的模型选择与对比基准。我们在BTCV数据集上对比了先进的代表性方法有LAVT、nnUNet、VoCo、SegMamba以及CLIP-Driven，可视化结果如下：

IPIU慧影医学基础模型算法库依托于上述骨干网络框架平台，嵌入多种通用分割模型算法，旨在仅使用一种模型来完成多种医学视觉任务。

为应对医学影像数据稀缺、质量参差问题，该模型引入扩散生成模型，可在少量真实数据下生成高质量、语义可靠的多模态合成影像，还能实现影像超分辨与细节恢复。

该模型提出“DeepSeek大语言模型+医学知识图谱+RAG”融合框架，将图谱的结构化信息与语言模型的生成能力结合，用于循证诊断。

本研究首次在医学影像中引入“医学参考表达分割与检测”任务，提出融合语言描述与图像特征的跨模态建模框架。

三、医学影像辅助诊疗系统

团队建了一个高效的医学影像大模型实时诊疗系统，针对医疗影像的模态复杂、边缘模糊、数据量小的特点，结合医疗场景应用需求，构建了医学影像大模型实时诊疗系统，辅助医生快速诊断病情。

突破三大瓶颈，推动医学大模型走向临床

● 多模态医学数据格式多样化：该模型整合120+公开数据

● 多任务复杂场景下的建模瓶颈：兼容40+主流骨干网络（CNN、Transformer、Mamba、LSTM、SAM），可同时完成分割、检测、分类与风险预测等任务。

● 模型验证缺乏标准化体系：该模型构建 IPIU大规模验证平台，提供定量评分与定性可视化评估

“慧影”：未来可期

面对国家“人工智能+智慧医疗”战略部署与多模态医疗数据激增的双重需求，IPIU慧影医学基础模型算法库以统一、高效、可扩展的平台弥合通用AI与复杂临床场景之间的鸿沟，通过整合多源数据、百级算法库与一站式“产-学-研-用-评”开源体系，加速高可信、可复制、可落地的精准诊疗方案在多中心推广，切实服务国家智慧医疗体系建设与人民健康保障。

文案编辑｜李瑞阳 郝佳瑶 刘旭 张丹 孙龙 黄思婧

排版｜张卓莹