文/齐叔
水稻是世界上最重要的粮食作物之一，养活了全球一半以上的人口。
1.介绍
遗传学家和育种家已经付出了巨大的努力来鉴定具有作物生长和生产理想特性的水稻品种，水稻穗的性状影响着水稻产量，是许多水稻表型研究的目标。
基于图像的技术在作物表型分析中变得越来越重要。
这些技术通常采用一种或多种成像方法，如可见光、高光谱、热红外和层析成像，极大地推动了高通量表型研究的进展，并有可能取代主要依赖低效人工操作的传统表型方法。
深度学习方法在许多领域显示出令人印象深刻的表现，并在表型研究中得到越来越多的应用，特别是在检测和计数任务中。
有人提出了一种深度学习方法，使用一个新的数据集来定位和计数小麦穗状花序和小穗。我们用局部计数回归网络解决了玉米穗内场计数问题。
结合图像处理技术，可以有效地从图像中对穗部性状进行量化。我们提出的方法中，利用多角度成像和人工神经网络分割技术确定水稻植株穗数。
有人开发了一种基于图像分析的方法来量化离体穗粒数，但无损图像为基础的穗表型准确性大大降低了自我遮挡，通常出现在水稻冠层图像。
如果穗在三维(3D)水平上表型化，这种干扰可以在很大程度上消除。然而，考虑到缺乏对大量水稻植株进行建模的有效方法，相对较少的研究考虑了从三维水稻模型中获取穗部性状。
一般来说，3D植物模型比单视图或多视图植物图像更能全面地了解植物特征，并且可以基于3D植物模型分析冠层构型特征与光合能力之间的联系。
植物三维模型的生成是后续特征提取的重要步骤，可以使用多种技术来实现，包括激光扫描、结构光、飞行时间和运动结构。
激光扫描技术主要用于小块土地或试验田，该方法可以获得高分辨率、高精度的三维点云。通常，冠层相关参数，包括植物高度、叶片倾角和植物面积密度，可以自动提取，也可以人工解译。
结构光技术在分辨率和准确性方面也具有优势，但成像所需的长时间限制了其在高通量表型分析中的应用。
建立了基于结构光的三维重建系统，对白菜、黄瓜和番茄的株高、叶数、叶大小和节间距离进行表型分析。
尽管飞行时间成像的分辨率较低，但它成功地应用于玉米，可以估计玉米植株的表型参数，包括叶长、叶宽、叶面积、茎粗、茎高和叶角。该技术也被用于田间条件下棉花株高的测量。
2.材料与方法
2.1.多视点成像系统
为获取多视角水稻图像，研制了室内三维成像系统三维稻穗。成像系统(图1A)主要由数码单反相机，转盘，一组LED灯，PLC控制单元和一台计算机组成。
在整个图像采集过程中，相机保持固定位置，焦距固定为18 mm。将一株水稻放在以每秒2的恒定速度旋转的转盘上，相机在旋转过程中每隔2秒自动拍摄一次。
每幅图像的采集时间以毫秒级的精度记录下来进行校准。包括人工处理和图像采集在内，对单个水稻植株进行表型分析大约需要4分钟。
2.2.水稻材料
对50个不同基因型和生育期的水稻植株进行了三维稻穗系统试验。这些植株包括从529个水稻品种中选出的25个品种和25个ZH11突变体，在塑料盆中生长。对529个玉米种质中的25个种质在开花和生面团阶段进行了拍摄。
2.3.四个3D模型的概念
我们介绍了四个三维模型，供以后参考，水稻芽模型是指水稻冠层的填充点云。利用SFS算法重建的茎米模型不包含颜色信息。地表芽稻模型是指水稻冠层的地表点云。
圆锥花序模型是指水稻冠层内所有圆锥花序的填充点云。对SFS算法重建的水稻茎模型进行三维分割得到的穗部模型不包含颜色信息。
表面穗层模型是指水稻冠层中所有穗层的表面点云，表面茎稻模型和表面穗模型都包含通过识别图像像素与空间点的对应关系获得的颜色信息。
2.4.流水线的三维穗部建模算法
所提出的三维穗部建模算法流程图如图2所示。它包括二维穗段分割、三维茎段重建和三维穗段分割。
利用多视角水稻冠层图像，分别生成了茎部模型、表面模型、穗部模型和表面穗部模型。
下面以一株水稻为例，给出了算法的具体步骤。
(1)用于二维穗状花序分割的网-穗状花序模型:使用60幅1971年 1815和4000×4500像素分辨率的稻田图像(图2A)和相应的标签图像(图2B)，生成2370幅360 480像素分辨率的水稻图像(图2C)和相应的标签图像(图2D)。
这些图像被用来训练，得到稻穗模型(图2E)，用于二维圆锥花序分割。
(2)多视点水稻冠层图像:对于单个水稻植株，在成像室中自动从不同视点拍摄90幅分辨率为6000 4000的图像(图2F)。所有这些图像都使用旋转轴校准技术进行校准。
(3)水稻冠层剪影图像:对所有原始水稻冠层图像(图2F)进行固定颜色阈值分割，得到一个冠层剪影图像(图2G)，其中每个像素被划分为水稻或背景像素。
(4)圆锥分割图像:使用预训练的稻穗模型对所有原始水稻冠层图像(图2F)进行分割，得到圆锥分割图像(图2H)，其中每个像素被指定为圆锥或背景像素。
(5)茎部水稻模型与地表茎部水稻模型:利用90幅冠层剪影图像，通过SFS算法重构茎部水稻模型(图2I)，然后对茎部水稻模型表面点进行渲染，得到地表茎部水稻模型(图2J)。
(6)穗型模型和表面穗型模型:对水稻茎型模型进行三维穗型分割得到穗型模型(图2K)，然后将穗型模型与表面茎型模型相交得到表面穗型模型(图2L)。
2.5.摄像机标定
SFS算法需要与水稻图像序列相对应的标定参数，为了获得这些参数，将旋转轴设置为世界坐标系的Z轴。
因为物体经过纯粹的旋转，世界坐标系的原点可以是旋转轴上的任意一点。开发了一种简单的技术来确定旋转轴相对于相机的方向。
首先，一个棋盘图案，15×10白色和黑色的方块和14 9内角(见补充文件)被打印并附在有机玻璃面板。
用相机近距离拍摄了棋盘面板在不同方向上的一些图像，这些特写镜头通过Zhang的校准方法计算相机的内在参数。
然后将棋盘板放置在转盘的上表面，获取360°旋转的图像序列，用于外部参数校准。利用OpenCV自动跟踪棋盘图案每个内角的像素图像坐标。
给定相机的固有参数，根据棋盘角的空间坐标和像素坐标的对应关系，计算世界坐标系与相机坐标系之间的旋转参数和平移参数等外在参数。
世界坐标系的不同分配决定了角的不同空间坐标组，从而导致不同的旋转和平移向量组。
SFS算法需要与水稻图像序列相对应的标定参数，为了获得这些参数，将旋转轴设置为世界坐标系的Z轴。
因为物体经过纯粹的旋转，世界坐标系的原点可以是旋转轴上的任意一点。开发了一种简单的技术来确定旋转轴相对于相机的方向。
首先，一个棋盘图案，15×10白色和黑色的方块和14×9内角(见补充文件)被打印并附在有机玻璃面板。用相机近距离拍摄了棋盘面板在不同方向上的一些图像。
这些特写镜头通过Zhang的校准方法计算相机的内在参数。
然后将棋盘板放置在转盘的上表面，获取360°旋转的图像序列，用于外部参数校准。利用OpenCV自动跟踪棋盘图案每个内角的像素图像坐标。
给定相机的固有参数，根据棋盘角的空间坐标和像素坐标的对应关系，计算世界坐标系与相机坐标系之间的旋转参数和平移参数等外在参数。
世界坐标系的不同分配决定了角的不同空间坐标组，从而导致不同的旋转和平移向量组。
2.6.二维穗状切分
二维圆锥花序分割的目的是获取圆锥花序分割图像，为三维圆锥花序分割提供必要的信息。在一个圆锥分割图像中，每个像素被分类为圆锥像素或非圆锥像素。
考虑到稻穗的颜色与水稻其他部分的颜色相似，并且稻穗以各种形状和姿势出现，通过颜色阈值或依赖人工设计特征的传统机器学习算法来分割稻穗是困难的。
相反，一个构建良好的深度卷积神经网络， 被用来执行稳健的二维圆锥花序分割。SegNet架构由一个编码器网络、一个相应的解码器网络和一个像素分类层组成。
它将360×480分辨率的图像作为输入，并生成相同大小的预测图像。在应用于圆锥花序分割之前，需要对网络进行足够数量的训练样本训练。
SegNet的使用类似于一般的深度学习方法，详细的实现步骤如下。
- 训练集:从稻穗数据集中选取60幅具有相应真值标签的水稻图像(其中50幅为1971×1815分辨率，10幅为4500×4000分辨率)。
这些水稻图像是在复杂的田间环境中获取的，涉及到水稻入种变化、光照不平衡以及土壤和水反射引起的杂乱背景等对穗段分割的各种挑战。
由于这些图像的大小与SegNet的输入图像大小不匹配，因此首先通过添加黑色背景将每个图像和扩展到更大的尺寸，然后切割成360×480分辨率的小块。
将1971年 1815分辨率的每张图像扩展到2160×1920分辨率，切成24块。每张4500×4000分辨率的图像被扩展到4680×4320分辨率，切割成117块。
总共获得了2370个分辨率为360×480的像素，所有这些像素都被用作训练集。
- 训练SegNet:网络使用随机梯度下降进行训练，固定学习率为0.001，动量为0.9。经过训练集100次后，训练损失收敛，准确率没有提高，接受该模型。这个模型被命名为节叶-圆锥花序模型。
- 利用稻穗模型模型进行分割:利用预训练的稻穗模型对4500张分辨率为6000×4000的三维水稻冠层图像进行分割。
为了满足SegNet的输入图像大小，通过添加黑色背景将每张大米图像扩展到6120×4320分辨率，然后切割成360×480分辨率的153块。
使用预训练的稻穗模型模型对每个像素进行分割，153个小块的分割结果拼接成一张分辨率为6120×4320的结果图像。
将扩展的黑色区域移除，并对图像进行裁剪，最终得到分辨率为6000×4000的图像。
3.结果与讨论
3.1.二维圆锥花序分割性能
使用稻穗模型模型对原始水稻图像、地面真值标签和分割结果的比较如图4所示。自动分割结果与ground-truth标签高度一致。
25幅测试图像的精度、召回率、IoU分别为0.84、0.93、0.79，也表明稻穗模型模型可以提供可靠的二维穗状花序分割结果。
3.2.三维茎部重建与三维穗部分割性能研究
在50株水稻上进行了穗部建模试验，四个样本的结果如图5所示。对于每个样本，第一列和第三列分别显示了一幅原始水稻图像和相应的二维穗段分割结果。
利用CloudCompare软件对每个样品的表面苗模型和表面穗模型进行加载。
为了比较，将表面苗模型和表面穗模型旋转到最接近所选原始水稻图像拍摄角度的角度，从该视图(侧视图)截取的表面苗模型和表面穗模型的截图分别显示在第二列和第四列。
最后一列显示了顶部视图中屏幕截图。为了更好地观察，第三列只显示了圆锥花序区域。
对比第三列和第四列，spm与图像中稻穗的三维形状基本一致，表明该算法可以很好地从多视图图像中恢复水稻稻穗的三维形状。
对于样本A和B，图像是在花期拍摄的，此时圆锥花序直立生长，呈绿色。样品C和D是在成熟阶段拍摄的图像，穗状花序被穗状花序的重量弯曲，呈黄色。
结果表明，该算法对不同品种、不同生育期的水稻具有较好的适应性。此外，重构模型以穗级为中心，图6提供了更大的局部化实例进行详细对比。
从第一列到最后一列分别为水稻原始图像、表面苗模型、穗分割图像和表面穗模型。重建后的穗状花序的纹理清晰可见。
3.3.三维圆锥花序分割的效率和准确性
25个ZH11突变体的三维穗片分割使用不同数量的穗片分割图像的平均IoU和平均时间成本如图7所示。图中标注了IoU和时间成本的最小值和最大值。
当使用更多的圆锥花序分割图像时，可以提高三维圆锥花序分割的性能，并增加执行时间。当使用90张圆锥分割图像时，平均IoU达到最高值0.95。
效率和准确度的详细数据如表1所示。使用3、15、45和90张圆锥图像进行分割得到的分割结果如图8所示。
FN和FP的面积越小，精度越高。
虽然图8A与图8B的对比有明显的改善，但图8B - d的结果改善不大，这一发现与图7所示一致。
尽管执行时间成比例地增加，但准确性却呈现递减的趋势。虽然三维圆锥花序分割的精度和效率之间存在权衡，但该过程的执行时间可以减少一半，几乎不牺牲精度。
4.结论
本文提出了一种将水稻穗廓形与深度卷积神经网络和超体素聚类相结合的自动、无损的水稻穗三维建模方法。
每个水稻植株的算法输出为4个三维点云，包括水稻茎模型、表面茎模型、穗模型和表面穗模型。在使用90张图像时，单株水稻的图像采集时间为4 min，图像处理时间为26 min。
评估了三维圆锥花序分割的精度和效率之间的权衡。将该算法与目前广泛使用的VisualSFM软件进行比较，结果表明，该算法在纹理保存和处理效率方面具有优越性。
未来，该方法有望应用于水稻大群体的高通量三维表型分析。
5.参考文献
- T. Sasaki, B. Burr, 国际水稻基因组测序计划:水稻基因组完全测序的努力,身上的urr. Opin. Plant Biol. 3 (2000) 138–142.
- T. Sasaki, 水稻基因组图谱序列, Nature 436 (2005) 793– 800.
- J. Tu, G. Zhang, K. Datta,身上的. Xu, Y. He, Q. Zhang, G.S. Khush, S.K. Datta, 苏云金芽孢杆菌d-内毒素转基因优良杂交水稻的田间性能, Nat. Biotechnol. 18 (2000) 1101–1104.
- Q. Zhang, “绿色超级稻的发展策略”, Proc. Natl. Acad. Sci. U. S.A. 104 (2007) 16402–16409.
- S. Peng, G.S. Khush, P. Virk, Q. Tang, Y. Zou, 水稻增产潜力的理想型育种研究进展， Field身上的rops Res. 108 (2008) 32–38.