虚拟现实纵览专刊 . 重大项目介绍 中国科学 : 信息科学 2016年 第46卷 第12期 : 1769–1773 SCIENTIA SINICA Informationis 引用格式: 赵沁平, 张绍祥, 樊瑜波, 等. 可交互人体器官数字模型及虚拟手术研究. 中国科学: 信息科学, 2016, 46: 1769–1773, doi: 10.1360/N112016-00204 c⃝ 2016《中国科学》杂志社 www.scichina.com infocn.scichina.com 可交互人体器官数字模型及虚拟手术研究 赵沁平¬, 张绍祥­, 樊瑜波®, 郝爱民¬*, 谢叻¯, 王莉莉¬ ¬ 北京航空航天大学虚拟现实技术与系统国家重点实验室, 北京 100191 ­ 第三军医大学, 重庆 400038 ® 北京航空航天大学生物与医学工程学院, 北京 100191 ¯ 上海交通大学, 上海 200240 * 通信作者. E-mail: ham@buaa.edu.cn 收稿日期: 2016–08–23; 接受日期: 2016–08–30; 网络出版日期: 2016–11–29 国家自然科学基金重大项目 (批准号: 61190120) 资助 1 项目概述 1.1 项目背景 可交互人体器官数字模型是利用信息技术和现代医学技术建立的能够全面刻画人体器官形态特 性、物理特性和生理特性的数字模型, 可支持切割、缝合、自碰撞和大尺度形变等交互式诊疗操作. 基 于可交互人体器官数字模型的虚拟手术包括手术模拟训练、手术方案规划和手术预演与评价等, 对创 新医疗人才培养模式、提高优质医疗资源利用效率、缓解医患矛盾、带动医疗器械产业发展等具有重 要的技术支撑作用, 是我国抢占医工交叉技术制高点的新突破口. 在此背景下, 国家自然科学基金委员会于 2012 年 1 月正式立项支持了“可交互人体器官数字模 型及虚拟手术研究”重大项目 (项目执行时间 2012.1–2016.12, 总经费 2000 万元). 由北京航空航天大 学虚拟现实技术与系统国家重点实验室作为项目牵头单位, 联合第三军医大学、上海交通大学、南方 医科大学和北京协和医院的优势力量 (含 1 个国家重点实验室, 2 个国家工程中心, 3 个省部级重点实 验室, 4 个附属医院) 共同实施. 1.2 主要内容 项目以可交互人体器官数字模型和虚拟手术的基础理论和方法为核心, 凝练了三个基本科学问题: 人体器官的多尺度几何建模理论、人体器官物理建模与生理建模理论和手术虚拟仿真与评价理论. 项 目从基础理论研究、关键技术创新、典型应用示范三个层次, 设置了相互配合、有机联系的五个课题, 分别是: • 人体器官几何形态建模与矢量化 (由第三军医大学牵头, 联合南方医科大学); • 面向可交互人体器官数字模型和虚拟手术的物理与生理建模 (由北京航空航天大学生物医学与工 程学院牵头); • 手术虚拟仿真与手术评价的基础理论和关键技术研究 (由上海交通大学牵头); 赵沁平等: 可交互人体器官数字模型及虚拟手术研究 图 1 (网络版彩图) 项目课题设置及其相互关系 Figure 1 (Color online) The settings of five sub-projects and their relations • 人体器官及手术现象的逼真表现与绘制理论和方法 (由北京航空航天大学虚拟现实技术与系统国 家重点实验室牵头); • 虚拟手术支撑平台及经皮冠状动脉成形术模拟训练原型系统 (由北京航空航天大学虚拟现实技术 与系统国家重点实验室牵头, 联合北京协和医院). 如图 1 所示, 课题 1, 2 侧重人体器官的几何、物理、生理建模理论研究, 课题 3 侧重交互理论研 究, 课题 4 侧重绘制与可视化理论研究, 课题 5 侧重应用技术研究、平台与原型系统研制, 共同构建建 模、交互、绘制的理论体系和验证系统. 2 理论与关键技术创新 项目通过虚拟人体与虚拟手术基础理论和应用基础研究, 开展医工结合的理论、技术研究和原型 系统研发, 初步建立了支持人体器官几何、物理、生理建模与表现, 以及具有力反馈的手术仿真技术体 系, 并在以下三方面取得了突出进展. 2.1 虚拟人体建模与虚拟手术技术 在人体器官矢量化建模方面: 针对人体器官结构存在多尺度空间和不同组织结构成像差异, 导致 三维矢量化建模困难的挑战, 建立了多模态、多尺度的联合建模理论, 将高精度数据集与临床个性化 数据融合, 搭建了形态学研究从宏观到微观、从系统到局部、从静态到动态的桥梁. 在人体器官生理建模方面: 针对生理和病理条件下血管组织形态、血流流场与物质传输相互作用 以及多场作用下植介入支架手术的生物学效应的定量描述问题, 提出了基于多尺度多场耦合生理模型 的植介入体与宿主组织相互作用仿真理论, 建立了主动脉、颈动脉、腹主动脉、脑动脉和冠状动脉等 多尺度心脑血管模型, 仿真了导丝/支架等植介入体与血流/血管、一氧化氮/腺嘌呤等物质的相互作 用, 揭示了植介入体与宿主组织相互作用的生物力学及力生物学规律, 可为心血管植介入虚拟手术和 手术规划提供理论支撑. 在流固交互物理仿真方面: 针对心脏介入手术中血流和手术器械相互作用物理过程复杂多变, 对 其模拟的计算量大, 实时性难以保证的难题, 基于血流动力学分析基础, 提出了一种粒子与网格混合的 1770 中国科学 : 信息科学 第 46 卷 第 12 期 图 2 (网络版彩图) 个性化 PCI 手术模拟器总体结构图 Figure 2 (Color online) The architecture of our PCI simulator 建模方法, 建立了流体和固体耦合的几何表示与物理解算模型, 较为真实地模拟了血流与导丝的相互 作用及其实时三维逼真表现. 在六维力觉交互仿真方面: 针对人体组织和手术器械的多样性, 以及力觉交互的高实时性和高稳 定性要求, 提出了层次球树单边接触约束建模和基于位姿变量约束优化的六自由度力觉合成理论, 实 现了复杂形状刚体、变形体、混合组织的多点多区域接触下的 1000 Hz 的六维力和力矩联合模拟. 2.2 自研数据采集装置和力觉测量/反馈装置 自主研制了多类数据采集装置和力觉测量/反馈装置, 具体包括: (1) 研制了完整的冰冻刨切实验 装置, 完成了设备主体、进给系统、刀具的制作, 在高精度人体数据采集中发挥了关键作用; (2) 研制 了适合采集不同温度条件下生物组织电特性参数的实验装置, 用于采集部分生物组织的电特性参数; (3) 建立了基于微泡超声造影剂的血压无创测量装置, 开展了环境压力对超声造影剂微泡次谐波散射 特性影响的实验研究; (4) 研制了虚拟心血管介入手术系统力反馈装置样机, 包括力反馈机构、位移采 集单元、造影剂注射器注射量采集单元、球囊加压泵压力测量单元、处理器、驱动电机以及电机驱动 板等, 实现了介入手术中推送力和旋转力的分离; (5) 研制了六维力和力矩传感器物理样机, 通过静态 和动态加载实验验证了该传感器的性能, 为面向心血管手术的在体力信号测量系统提供了一种新的设 计途径; (6) 研制了微小型术中在体力觉测量装置, 准确测量和记录微小尺寸手术器械 (导丝、导管等) 与人体组织作用力, 开展了静态测量和动态测量实验验证. 2.3 心血管介入手术模拟器 在理论创新、关键技术突破的基础上, 将研究成果进行有机集成再创新, 研制了一套支持个性化 PCI (percutaneous coronary intervention) 手术预演与模拟训练、全手术过程力触觉交互操作的 PCI 手 术模拟器, 整体结构如图 2 所示, 可为医生提供多个训练案例, 最大程度地降低临床手术风险. 该模拟 器具有数据驱动的心血管系统几何与物理建模、心血管系统实时物理形变仿真、介入导管和导丝物理 1771 赵沁平等: 可交互人体器官数字模型及虚拟手术研究 行为交互仿真、X 光模拟成像、力触觉反馈、三维逼真绘制、术前临床影像数据即时动态关联、生理 参数仿真等特色功能, 可以满足导丝和导管介入、支架释放、造影剂注射、X 光成像、紧急情况模拟 处置等 PCI 手术操作的仿真需要, 保证了 PCI 手术仿真的物理、视觉、力触觉的真实感. 该 PCI 手术模拟器的技术创新或突破可以归纳为如下 6 点: • 个性化临床数据的即时建模处理; • 基于位置动力学和弹簧质子混合模型的心血管系统物理仿真; • 基于 Cosserat 理论的导丝和导管物理仿真; • 基于光线投射算法的虚拟 X 光成像; • 支持 PCI 手术操作的力触觉反馈硬件设计; • 基于 CUDA 加速的系统整体实现. 3 总结 在国家自然科学基金重大项目的支持下, 针对可交互人体器官数字模型及虚拟手术研究这一信息 科学和医学科学交叉的重大前沿问题, 研究了人体器官多尺度几何建模理论、人体器官物理与生理建 模理论、手术虚拟仿真与手术评价理论三个基础科学问题; 创新了人体器官几何、物理、生理特性的一 致表示模型及相互作用机制、力觉和运动觉相结合的虚拟介入手术人机交互机制、特征驱动的海量医 学数据多尺度分析方法、基于运动分析和力觉测量的手术行为特征分析与建模方法等系列关键技术; 初步建立了人体器官仿真建模与虚拟手术理论体系. 在本领域顶级期刊和会议上, 发表高水平学术论 文 250 多篇, 其中, SCI 检索 150 多篇, Q1 区 (含 CCF A 类会议) 论文 70 多篇. 申请国家发明专利 150 多项, 其中, 已获批发明专利 50 多项. 项目组在开展应用基础研究的同时, 特别注重系统集成创新, 研制了支持手术模拟训练和个性化 手术方案规划与预演的经皮冠状动脉成形术模拟器. 目前, 该模拟器已初步在北京协和医院进行了多 轮次的示范应用, 显示出巨大的产业化应用潜力, 将对提升我国医学教学培训和精准化治疗水平发挥 重要示范作用. 推荐阅读文献 1 Yang C, Li S, Lan Y, et al. Coupling time-varying modal analysis and FEM for real-time cutting simulation of objects with multi-material sub-domains. Comput Aided Geom Des, 2016, 43: 53–67 2 Li S, Xia Q, Hao A M, et al. Haptics-equiped interactive PCI simulation for patient-specific surgery training and rehearsing. Sci China Inf Sci, 2016, 59: 103101 3 Wang Q Z, Li S, Qin H, et al. Robust multi-modal medical image fusion via anisotropic heat diffusion guided low-rank structural analysis. Inform Fusion, 2015, 26: 103–121 4 Yang L P, Li S, Hao A M, et al. Realtime two-way coupling of meshless fluids and nonlinear FEM. Comput Graph Forum, 2012, 31: 2037–2046 5 Yang L P, Li S, Hao A M, et al. Hybrid particle-grid modeling for multi-scale droplet/spray simulation. Comput Graph Forum, 2014, 33: 199–208 6 Li S, Qin H, Hao A M. Multi-scale local features based on anisotropic heat diffusion and global eigen-structure. Sci China Inf Sci, 2013, 56: 110901 7 Mao Y R, Hou F, Li S, et al. Robust and high-fidelity guidewire simulation with applications in percutaneous coronary intervention system. In: Proceedings of the 19th ACM Symposium on Virtual Reality Software and Technology, Singapore, 2013. 6–8 8 Li S, Zhao Q P, Wang S F, et al. Interactive deformation and cutting simulation directly using patient-specific volumetric images. Comput Animat Virt World, 2014, 25: 155–169 1772 中国科学 : 信息科学 第 46 卷 第 12 期 9 Yang C, Li S, Wang L L, et al. Real-time physical deformation and cutting of heterogeneous objects via hybrid coupling of meshless approach and finite element method. Comput Animat Virt World, 2014, 25: 421–433 10 Li S, Zhao Q P, Wang S F, et al. A novel material-aware feature descriptor for volumetric image registration in diffusion tensor space. In: Proceedings of the 12th European Conference on Computer Vision, Italy, 2012. 502–515 11 Li S, Zhao Q P, Wang S F, et al. Multi-scale, multi-level, heterogeneous features extraction and clustering of volumetric medical images. In: Proceedings of the International Conference on Image Processing, Melbourne, 2013. 1418–1422 12 Liu X L, Hou F, Hao A M, et al. A parallelized 4D reconstruction algorithm for vascular structures and motions based on energy optimization. Visual Comput, 2015, 31: 1431–1446 13 Wang W W, Li S, Xia Q, et al. Novel, robust, and efficient guidewire modeling for pci surgery simulator based on heterogeneous and integrated chain-mails. In: Proceedings of 14th International Conference on Computer-Aided Design and Computer Graphics, Xi’an, 2015. 105–112 14 Yang L P, Li S, Xia Q, et al. A novel integrated analysis-and-simulation approach for detail enhancement in FLIP fluid interaction. In: Proceedings of the ACM Symposium on Virtual Reality Software and Technology, Beijing, 2015. 103–112 15 Xia Q, Li S, Qin H, et al. Modal space subdivision for physically-plausible 4D shape sequence completion from sparse samples. In: Proceedings of the 23rd Pacific Conference on Computer Graphics and Applications, Beijing, 2015. doi: 10.2312/pg.20151275 16 Hou F, Qin H, Hao A M. Trivariate biharmonic b-splines. Comput Graph Forum, 2015, 34: 36–47 17 Pan J J, Zhao C K, Zhao X, et al. Metaballs-based physical modeling and deformation of organs for virtual surgery. Visual Comput, 2015, 31: 947–957 18 Pan J J, Bai J X, Zhao X, et al. Real-time haptic manipulation and cutting of hybrid soft tissue models by extended position-based dynamics. J Visual Comput Animat, 2015, 26: 321–335 19 Chen C L, Li S, Qin H, et al. Robust salient motion detection in non-stationary videos via novel integrated strategies of spatio-temporal coherency clues and low-rank analysis. Pattern Recogn, 2016, 52: 410–432 20 An X Y, Li S, Qin H, et al. Automatic non-parametric image parsing via hierarchical semantic voting based on sparse-dense reconstruction and spatial-contextual cues. Neurocomputing, 2016, 201: 92–103 21 Chen C L, Li S, Qin H, et al. Structure-sensitive saliency detection via multilevel rank analysis in intrinsic feature space. IEEE Trans Imag Process, 2015, 24: 2303–2316 22 Chen C L, Li S, Qin H, et al. Real-time and robust object tracking in video via low-rank coherency analysis in feature space. Pattern Recogn, 2015, 48: 2885–2905 23 Wang S F, Li N N, Li S. Multi-scale mesh saliency based on low-rank and sparse analysis in shape feature space. Comput Aided Geom Des, 2015, 35-36: 206–214 24 Wang Q Z, Li S, Qin H, et al. Super-resolution of multi-observed RGB-D images based on nonlocal regression and total variation. IEEE Trans Imag Process, 2016, 25: 1425–1440 25 Ma J Z, Li S, Hao A M, et al. Unsupervised co-segmentation of complex image set via bi-harmonic distance gov- erned multi-level deformable graph clustering. In: Proceedings of the IEEE International Symposium on Multimedia, Washington, 2013. 38–45 26 Li X Y, Li S, Xia Q, et al. Interactive volumetric segmentation through least-squares optimization of local hessian- constrained implicits. In: Proceedings of the 21st ACM Symposium on Virtual Reality Software and Technology, New York, 2015. 202 Data modeling and interactive virtual surgery of digital human organs Qinping ZHAO1, Shaoxiang ZHANG2, Yubo FAN3, Aimin HAO1*, Le XIE4 & Lili WANG1 1 State Key Laboratory of Virtual Reality Technology and Systems, Beihang University, Beijing 100191, China; 2 Third Military Medical University, Chongqing 400038, China; 3 School of Biological and Medical Engineering, Beihang University, Beijing 100191, China; 4 Shanghai Jiao Tong University, Shanghai 200240, China *E-mail: ham@buaa.edu.cn 1773