北京较好的酒渣鼻医院 http://m.39.net/pf/a_8733703.html

三维器官精准分割是作物生长监测和理想株型量化分析的表型研究瓶颈「??解读08」。三维点云和深度学习等交叉学科方法的兴起,给作物器官分割的研究提供了新契机「??解读06」。针对现有器官分割方法通常限于单一作物类型。本研究在研究组关于多任务深度学习的玉米茎叶分离和单叶分割基础上「??解读12」,进一步拓展了深度学习模型在多物种和多种数据源上的三维分割。

近日,ISPRSJournalofPhotogrammetryandRemoteSensing(五年IF=9.)发表了南京农业大学前沿交叉研究院金时超课题组联合东华大学李大威副教授课题组合作完成的题为“PlantNet:Adual-functionpointcloudsegmentationnetworkformultipleplantspecies”的研究论文。

该研究提出了一个双功能深度学习神经元网络PlantNet,实现了对两种双子叶作物(烟草、西红柿)和一种单子叶作物(高粱)点云的器官语义分割和实例分割。该网络包含了一个受“素描”思想启发的三维边缘降采样模块(3DEPS)、一个局部特征提取操作模块(LFEO)和一个语义-实例特征融合模块(FFM)。PlantNet对烟草、西红柿、高粱器官的平均定量语义分割结果在精度、召回率、F1分数、IoU这四个指标上分别达到了92.49%、92.04%、92.13%以及85.86%。PlantNet对三种作物器官的平均定量实例分割结果在mPrec、mRec、mCov、mWCov这四个指标上分别达到了83.30%、74.08%、78.62%以及84.38%。PlantNet在综合指标上超越了当前主流的点云深度学习网络PointNet、PointNet++、SGPN以及ASIS。最后,该网络也通过剥离实验分别验证了3DEPS、LFEO、FFM这些模块设计对总体分割性能的贡献,以及对模型在学习过程中的特征进行了可视化理解(详见原文)。该工作有望对作物表型研究、理想选株、智慧农业的发展贡献积极力量。整体流程如下:

图1.双功能作物点云分割网络工作流程。流程输入是一株作物点云,输出为两部分,第一是预测了叶片语义标签和茎干语义标签的点云,第二是对所有叶片实例进行预测后的点云。

文章主要贡献如下:

(1)提出了一种受“素描”思想启发的三维边缘降采样模块(3DEPS)

一个有效的点云降采样方法不仅可以去除冗余保存重要的结构信息,还能统一深度学习网络的计算输入并降低网络的计算量。体素化(VBS)和迭代式最远点采样(IRFPS)是针对点云训练数据采用的两种最常见的降采样策略。但是,它们要么存在无法精确控制降采样点数的问题,要么容易缺失稀疏部位特征。本研究受到素描绘画的启发,认为物体表面的锐利边缘信息对其三维结构的表征具有重要意义,提出了一种带有边缘保持特性的点云降采样策略(3DEPS)。该策略首先将点云分为“边缘点”和“内部点”两部分,然后使用IRFPS分别对两部分点进行降采样,再以一定比例(ratio)重新组合成一个固定点数的新点云(图2)。通过提升边缘点在降采样后点云中的比例,3DEPS实际上进行了带有“素描”思想的点云采样。

图2.三种点云降采样方法的视觉比较。第一列为原始点云,第二列为3DEPS在ratio=0.2时的降采样结果,第三列为IRFPS结果,第四列为VBS结果。

(2)构建了精细标注的三维语义和实例分割数据集

在Conn等人采集的多作物激光点云的数据基础上,通过筛选、人工标记、3DEPS降采样(raito=0.2)数据扩增等步骤建立了一个激光扫描仪采集的带标签点云数据集供深度学习网络进行训练与测试。该数据集包含了个植株点云,其中个植株点云作为训练集,个植株点云作为测试集,所有点云统一为个点。图3是对人工标签进行色彩渲染后的部分植株点云展示。在数据集中的人工标记分为语义标签与实例标签两大类,其中语义标签包括“烟草叶片”、“烟草茎干”、“西红柿叶片”、“西红柿茎干”、“高粱叶片”、“高粱茎干”共6个种类。实例标签则只针对每种作物的叶片类进行标记,每个单独的叶片标记为一个独立的实例。由于茎干相互连接成为一个系统,不设实例标签。

图3.对人工标签进行色彩渲染后的部分植株点云展示。

(3)创新了一个双功能(语义和实例分割)深度学习模型,性能优越

PlantNet网络拥有一个双通路结构,其中语义通路解决语义分割问题,实例通路解决实例分割问题(图4)。从功能区进行划分,PlantNet可以分为三部分:建立在多次动态图卷积操作基础上的共享编码器;具有双通路结构的解码器;将两个支路特征进行融合并相互促进的特征融合模块。在PlantNet网络的最后阶段,语义通路以1DConv和Argmax操作预测点云中每个点的语义标签,而实例通路以连续的1DConv操作和均值漂移聚类算法获取实例分割结果。

图4.PlantNet网络总体架构图。

PlantNet对本点云数据集的定性语义分割结果可见图5,定性实例分割结果可见图6,可以看出该网络对多种作物和多种株型的点云分割效果已经非常接近人工标记的真实值。PlantNet与当前四种主流的语义分割定量结果比较可见表1,PlantNet在精度、召回率、F1分数、IoU这四个指标上均达到了最高的平均分。PlantNet与两种主流的双功能分割网络的实例分割定量结果比较可见表2,其在mPrec、mRec、mCov、mWCov这四个指标上均达到了最高。

图5.PlantNet对本文点云数据集的语义分割结果定性展示。

图6.PlantNet对本文点云数据集的实例分割结果定性展示。在本图中不同颜色仅用于区分不同实例,没有具体的标号对应关系。

表1.PlantNet与四种主流点云语义分割网络的分割结果定量对比。

表2.PlantNet与两种主流双功能分割网络的实例分割结果定量对比。

(4)模型在多作物类型和多种数据源上具有较好的普适性

PlantNet还展现出了强大的品种适应性和数据适普性。在文中的点云数据集上预训练的PlantNet模型甚至能够直接对不同传感器采集的新的作物品种进行叶片实例分割。该工作还使用预训练的PlantNet模型对MVS成像、KinectV2成像获取的花叶万年青点云、孔雀竹芋点云、豇豆点云、茄子点云进行了直接测试,获得了令人满意的分割结果(见图7)。

图7.预训练的PlantNet对花叶万年青点云(第一列)、孔雀竹芋点云(第二列)、豇豆点云(第三列)、茄子点云(第四列)的叶片实例分割结果展示。

本研究在团队前期激光雷达表型(??解读06??解读08??解读09??解读07??解读04)和深度学习研究(??解读10??解读11??解读12??解读13)的基础上,进一步在大规模数据集构建,点云深度学习模型设计、模块重要性和特征萃取的可视化分析等方面做出了大量努力,探索了适用于多物种和多数据源的点云深度学习分割模型,对未来开发更加通用的点云深度学习模型提供了技术参考,有利于推动三维植物表型研究的发展。

转自植物表型前沿

关于我们:

数字生态课题组,主要研究方向为遥感和地理信息系统方法及其在生态环境中的应用,着重开展以激光雷达为核心传感器、融合多源遥感信息批量提取和反演植被三维结构和功能参数方面的研究。旨在搭建以激光雷达为核心技术,集硬件平台搭建、激光雷达测量、空间数据建库、真实景观三维建模、应用软件研发的产学研一体化研究体系。更多资讯请访问:



转载请注明地址:http://www.wannianqinga.com/jwftws/9871.html