一、赛题说明
数据格式
本次大赛数据集包含数千份高危患者的低剂量肺部CT影像(mhd格式)数据,每个影像包含一系列胸腔的多个轴向切片。每个影像包含的切片数量会随着扫描机器、扫描层厚和患者的不同而有差异。原始图像为三维图像。这个三维图像由不同数量的二维图像组成。其二维图像数量可以基于不同因素变化,比如扫描机器、患者。Mhd文件具有包含关于患者ID的必要信息的头部,以及诸如切片厚度的扫描参数。
数据由大赛合作医院授权提供,全部是肺部CT影像(mhd格式)数据。主办方为医院开发了专业的脱敏软件,所有CT影像数据严格按照国际通行的医疗信息脱敏标准,由医院进行脱敏处理,脱敏信息包括:医院信息、患者信息和标注医师信息,所有数据不可溯,切实保障数据安全。
训练集和验证集的所有数据全部都有结节,除了进行病理分析的结节外,其它结节都由三位医生进行标记确认。csv文件标注了结节的位置和大小,具体示例如下:
————————————————
Seriesuid,coordX,cordY,coordZ,diameter_mm
LKDS_00001,-100.56,67.26,-231.81,6.44
————————————————
参赛者提交一个CSV文件,第一行标记每一列的名称,一共五列,分别为图像ID号,坐标和概率。从第二行之后的每一行都标记一个检测到的结节,坐标为检测到的结节的中心坐标x, y, z的数值。例如:
————————————————
seriesuid,coordX,coordY,coordZ,probability
LKDS-00012,75.5,56.0,-194.254518072,6.5243e-05
LKDS-00022,-35.5999634723,78.000078755,-13.3814265714,0.00269234
LKDS-00049,80.2837837838,198.881575673,-572.700012,0.00186072
LKDS-00056,-98.8499883785,33.6429184312,-99.7736607907,0.00035473
LKDS-00057,98.0667072477,-46.4666486536,-141.421980179,0.000256219
————————————————
字段定义:
————————————————
列名 类型 含义
seriesuid string 患者ID
coordX float X方向位置
coordY float Y方向位置
coordZ float Z方向位置
diameter_mm float 结节大小
probability float 预测为结节的概率
————————————————
二、赛题解读
这是一个目标检测(object detection)的问题,在3D的CT图像中找到结节的位置。
目前在目标检测做的最好的是Kaiming He团队提出的RCNN系列结构(2D)。我们进行了code编写,但是效果不理想。主要的原因在于:
1. Faster RCNN开销特别大,导致我们只能实现2D版本服务器托管的,但2D版本丢失了3D的context信息,导致我们的模型得出的结果并不好。
2. 如果切换到3D版本,Faster RCNN由于需要先提proposal,再做detection,时间开销巨大。
放弃Faster RCNN之后,我们参考了以直接预测著称的SSD、YOLO系列,最后决定采用3D版本的YOLO。做出来以后,效果得到了飞速提升。
三、数据预处理—肺部区域提取
根据以往比赛的经验,肺结节检测需要先把肺部区域提取出来。我们的实战经验发现,这一点很重要。提取肺部区域的好处也很明显:主要体现在减少了无关区域对model的影响,使model在更小的区域规模进行预测。
由于之前有类似比赛,我们综合了前面比赛的一些经验,实现了我们的肺部区域提取代码。大致的流程如下:
1. 根据图形学信息进行label标注,使相邻区域有相同的label。这一过程需要注意,由于实际影像没有严格的区域的划分,导致存在一些很小的区域,这些小区域包含在更大的区域里面,单从label层面讲,他们属于小区域,但它们真正的label其实是和大区域一致的。具体的实现就是参考周围区域的label,进行区域label扩散。可参考scipy.ndimage.binary_dilation函数
2. 提取面积最大的两个label区域,这两个区域就是两个肺结节
3. 由于不同影像的拍摄参数一样,导致影响的origin、spacing等信息也不一样。所以数据重采样是必须的,主要是通过插值把图像的分辨率统一起来。
4. 进行相应的坐标变换,并进行元信息保存。坐标变换需要注意,除去根据origin、spacing进行世界坐标转换外,还需要根据肺部区域,从新更新ground truth的位置信息。
还有一些特殊的影像,依靠上面的步骤很难提取出肺部区域。此时,我们需要进行一些统计分析,总结出这类影像的分布规律,直接对原始影像进行处理。
这部分由于用到了很多图形学知识,很难进行详细说明。我们也是参考了很多前人的实现,所以,想了解更多的可以直接参考我们的实现。
四、模型构建
模型构建就是3D版本的yolo,大家可以去看看yolo相关的文章。Yolo v2获得 cvpr最佳论文提名。需要注意的是,我们的基础网络架构与原paper的有两点重要不同。
1. 基本网络结构我们采用了类似Unet的形式,它的好处是使网络的receptive filed 变得很大,使网络可以同时融合深层网络的语义信息以及浅层网络的context信息。网络结构如下。
2. 我们把采样的数据在原始图形的位置信息利用起来,融入我们的网络。我们认为位置信息有助于肺结节检测。
我们的网络结构如图所示,整体来说先做4次卷积操作和pooling操作,然后做2次反卷积(deconvolution),最后得到的输出比原图要小。最后再做一次卷积,num_o服务器托管utput为5*5,第一个5表示有5种结节anchor大小,第二个5代表对每一个bounding box预测5个数字,分别代表该bounding box的xyz方向的偏移量、直径大小偏移量、肺结节概率。卷积操作都用了2-3层的ResNet结构(图中没有展示细节),以及BatchNorm操作和ReLU激活函数,每一次反卷积都会先和前面卷积时候对应大小中间结果连接(concat),第二次连接还加入了Coord(大小为[3,32,32,32]),这表示对应每一个点在原图中的xyz坐标。
其他需要注意的有:
1. Online data sample:由于每一个患者的图像大小都不同,每一次获取数据的时候会以结节位置为中心随机crop图像的一部分,大小为128*128*128,这样不仅能提高训练速度,也能增加数据多样性。此外,我们也对crop后的图像做augmetation的操作,随机地翻转、旋转、放大缩小图像。在sample的时候,会控制crop的图像位置,使得70%的crop图像都包含肺结节,剩下30%的图像可能没有肺结节。
2. Hard mining:Kaiming研究组在最新的研究(Focal Loss for Dense Object Detection)中指出。影响物体检测的关键因素是负样本数量太大,占总的loss的大部分,而且多是容易分类的,因此使得模型的优化方向并不是我们所希望的那样。文中提出了focal loss解决这一问题。由于时间原因,我们没有采用focal loss,但是这篇论文揭示了hard mining的重要性。它告诉我们,网络应该关注于那些不容易分类的样本。
3. 结节大小的影响。结节的大小也对网络的构建有很重要的参考意义。小结节(直径为5-10mm)的比例在初赛为50%,复赛为70%。大部分结节都是小结节,因此对预测结果影响极大。而小结节在神经网络中经过几次pooling之后可能就消失了,而大结节不存在这个问题,所以大结节能加速模型的训练。因此在训练过程中要有效地平衡大结节和小结节的数量。
4. NMS(Non-Maximum Suppression):为了丰富肺结节检测的位置分布,我们采用了业界通用的NMS。
5. 模型融合(model ensemble):由于肺结节大小分布的不均匀,导致很难用一个模型或者一个模型的一组参数照顾到所有的肺结节。所以,我们最终的结果集成了多个model/多组参数的结果。做法很简单,做nms的时候同时在多组预测上做。这一点是从google学来的,可参考paper :Speed/accuracy trade-offs for modern convolutional object detectors。
查看本文全部内容,欢迎访问天池技术圈官方地址:天池医疗AI大赛[第一季] Rank5解决方案_天池技术圈-阿里云天池
服务器托管,北京服务器托管,服务器租用 http://www.fwqtg.net
目录 1. java 多线程 1.1. 什么是进程?什么是线程? 1.1.1. 进程 1.1.2. 线程 1.1.3. 多线程 2. 并行和并发有什么区别? 3. 守护线程是什么? 4. 创建线程有哪几种方式? 4.1. 线程的常见成员方法 5. 线程安全问题…