文 | 咸鱼永不放盐
编辑 | 咸鱼永不放盐
«——【·前言·】——»
随着工程建设的不断发展，液压挖掘机在各类工地中广泛应用。
传统的挖掘机操作需要操作员具备丰富的经验和技能，而且容易受到环境条件和人为因素的影响，从而限制了挖掘机的操作效率和精确性。
为了解决这一问题，研究人员开始关注基于视觉的液压挖掘机机器引导系统的开发， 以提供更准确、自动化的操作引导。
«——【·挖掘机进行土方工程的特点·】——»
土方工程是指使用土壤作为材料来建造结构或创建基础设施的工程。土方工程需要使用各种类型的设备，这些设备取决于环境条件和工作方法。
衡量工作绩效的参数，如生产力和质量，根据设备操作员的使用和操作技巧而有所不同，这是因为土方工程高度依赖于施工设备。
挖掘机由底盘、可进行360度旋转的回转机构、臂杆和铲斗组成，因此其驾驶特性比其他建筑设备更复杂。这些驾驶特性导致一些操作上的困难。
挖掘机的操作需要根据地面状况、周围结构的位置和工作细节准确操纵底盘和回转机构。
由于挖掘机操作的高难度和近年来熟练挖掘机操作员的不足，年轻挖掘机驾驶员在施工现场的流入率下降，这成为降低挖掘机相关操作效率和增加工作场所事故率的主要因素。
由于挖掘机的结构特点包括臂杆和铲斗，挖掘机驾驶员无法坐在设备的中心位置。
除了左侧和前方视野之外，其他区域都成为驾驶员的盲区。
这样的盲区发生率约为41％，这种有限的视野范围使挖掘机驾驶员难以立即掌握设备的操作状态并根据获取的信息快速工作，从而降低了挖掘机操作的整体效率。
挖掘机驾驶员必须根据预先规划的工作区域和挖掘深度进行操作；在挖掘机驾驶舱内准确把握操作的进展是困难的。
驾驶员根据直觉或周围信号的数量来判断情况，导致频繁的施工错误。驾驶员的不稳定判断，以及与信号操作员的沟通问题，可能会降低工作效率。
因此，需要技术替代方案，可以通过降低挖掘机操作的难度、提供相对宽阔的视野来改善操作的便利性并简化操作。
这样的技术替代方案可以通过减少对挖掘机驾驶员技能的依赖来提高整体挖掘生产力。这解决了最近关于熟练驾驶员不足的问题，并将挖掘机操作员的工作效率差异最小化。
«——【·关键考虑因素·】——»
研究人员与进行挖掘机操作经验丰富的10名驾驶员进行了面对面的访谈。基于这些访谈，他们分析了改进挖掘工作效率所需的信息，包括驾驶、现场移动和挖掘工作。
访谈对象的挖掘机驾驶员经验不同，包括3名经验不到3年的驾驶员，1名有4到6年经验的驾驶员，2名有7到9年经验的驾驶员以及4名有超过10年经验的驾驶员。
即使在铺设道路上驾驶挖掘机，驾驶员的视野也是不足的，因为 设备的侧面和后方存在盲区。
设备操作的难度妨碍了操作效率，并存在碰撞和摔倒等事故的固有风险。
挖掘机驾驶员的访谈表明，盲区使他们难以理解周围环境的状况。特别是那些经验不到三年的驾驶员即使在铺设的道路上驾驶时也感到不知所措。
大多数接受访谈的挖掘机驾驶员选择了全景监控（AVM）系统作为提供驾驶辅助的最佳技术补充。
在进行挖掘的施工现场上存在各种障碍物，如劳工、设备、材料和结构物，要在现场上移动挖掘机非常困难。
与一般车辆型设备相比，挖掘机由于臂杆、铲斗和回转机构的操作，具有复杂的驾驶特性，使得挖掘机驾驶员难以客观确定挖掘机的当前状态。
挖掘机驾驶员在访谈中表示，应从第三人称的角度评估挖掘机的当前状态和周围地形的关系，以确保挖掘机根据臂杆和铲斗的操作进行熟练操作，并具有不同的半径。
在现场移动时，只有直观地确定挖掘机的当前状态、周围的障碍物和工人，才能提高工作效率。
现有的挖掘机全景监控（AVM）系统的应用仅限于驾驶，因为显示区域较窄（在4-5米范围内），而从挖掘机较远距离捕获的图像会产生较大的失真。
由于现有系统使用的是现有的车辆型技术，没有进行任何修改，因此在AVM图像中无法反映挖掘机的臂杆、铲斗等操作特性，而仅仅是挖掘机的车体部分。
如果挖掘机的车体倾斜，AVM图像的失真会显著增加，因为该系统的设计是用于铺设的道路上使用。
最近已经开发出了几种机器引导技术，以提高挖掘机操作的效率。
一项先前的研究报道，在一个经验不到一年的业余驾驶员使用机器引导系统时，完成土方工程所需时间减少了40.4%。
挖掘机驾驶员表示，机器引导技术对挖掘机最大的优势是能够高度准确地监控工作状态，特别是提供当前挖掘机斗的深度、当前挖掘机的倾斜和姿势等信息，这些因素不能从驾驶员座位前方的显示器上轻易确定。
将机器引导系统安装在挖掘机上非常昂贵。由于实际地面环境与机器引导系统提供的图纸之间经常不匹配，其利用率和现场适用性受到限制。
仅仅依靠显示器可能无法完成操作，因为机器引导屏幕上未提供外围视觉信息。
«——【·原型的研制·】——»
基于关键考虑因素，视觉导引系统原型的核心技术被选择为挖掘机的全景监控技术（AVM技术）、挖掘机工作信息显示技术以及基于挖掘机倾斜的图像校正技术。
挖掘机的全景监控技术是对现有AVM系统的原始技术进行的升级，该系统是为商用车辆开发的。
此次研究中没有采用现有技术来应用于基于视觉的机器引导系统原型；相反，开发并应用了适合挖掘机规格的2D AVM模块，能够准确显示距离信息。
所提出的挖掘机工作信息显示技术也是对现有挖掘机机器引导系统的升级，该系统由昂贵的硬件组成，并在虚拟环境中显示工作状态。
在所提出的基于视觉的机器引导系统中，挖掘机的实时图像来自AVM技术，并在其上显示了增强现实（AR）版本的工作信息，而不是在虚拟环境中显示信息。
挖掘机驾驶员的访谈结果用于显示挖掘机操作所需的基本工作信息。这些信息根据其来源分为三类：基于AVM的臂杆和铲斗显示技术，基于AVM的地面-铲斗分离距离显示技术，以及基于AVM的铲斗旋转半径显示技术。
挖掘机作业的施工现场地面表面与道路不同，表面高度不平坦，挖掘机无法保持与地面的水平倾斜。
由于AVM将安装在挖掘机四周的摄像头获取的图像转换为俯视图，所以AVM图像会产生严重的失真。
AVM图像在提供操作辅助方面的应用极其有限。研究提出的图像校正技术旨在通过利用挖掘机的倾斜信息来校正AVM图像因实际倾斜而导致的失真，从而解决了这些缺点。
该技术帮助驾驶员准确识别挖掘机周围的工作环境，从而提高整体挖掘的安全性和效率。
应用于挖掘机的AVM技术所需的硬件包括三个组件：用于图像采集的摄像头（CMOS传感器），最小视野为140°的超广角镜头或最小视野为180°的鱼眼镜头用于捕捉图像区域，以及用于图像处理的四核处理器或具有额外CPU的处理器。
原本设计用于商用车辆的现有AVM系统仅限于4-5米的俯视范围。
研究开发的挖掘机AVM技术具有最高7米的俯视范围，与小型和中型挖掘机的正常工作半径相当。
挖掘机的AVM技术以至少15 fps的刷新率更新转换为AVM的图像，并实时利用。
与挖掘机的动臂、斗杆和斗的运动相关的挖掘机工作信息显示技术，与挖掘机的操作特性相关。
利用所提出的挖掘机工作信息显示技术需要与挖掘机动臂、斗杆和斗的运动相关的信息。
在挖掘机的动臂、斗杆和斗上安装了一个单轴倾角传感器，通过全球导航卫星系统（GNSS）获取动臂、斗杆和斗的位置信息。
单轴倾角传感器体积小巧，因此相对容易选择安装位置。传感器计算的动臂、斗杆和斗位置比以往的技术更准确可靠。
根据挖掘机的倾斜情况应用图像校正技术时，获得挖掘机的倾斜信息至关重要。
挖掘机的倾斜以车身固定参考框架表示，并且需要横滚和俯仰角的角度信息来应用图像校正技术。
目前，基于GNSS和惯性测量单元的机器导航设备被用于在现场获取挖掘机的横滚、俯仰和偏航角度信息。
由于横滚和俯仰角度可以通过双轴倾斜传感器获得，因此挖掘机的基于视觉的机器导航系统原型使用了双轴倾斜传感器代替昂贵的GNSS设备，从而降低了设备成本。
«——【·通过现场测试进行原型性能验证·】——»
为了提高基于视觉的挖掘机机器导航系统原型的可用性，将关于挖掘机工作区域的信息以无畸变的AVM图像形式提供给驾驶员是非常重要的。
增加原始图像的范围会显著扭曲显示的AVM图像。同样，增加摄像机的角度以增加AVM显示区域会加剧AVM图像的扭曲。
为了保持从基于视觉的挖掘机机器导航系统原型获得的AVM图像的质量，必须限制其范围。
研究中所使用的相机和镜头的K/f值约为11.02。即使将摄像机安装在接近90°的角度，仍然可以显示一个以设备中心为中心、半径为7米的工地的AVM图像，该半径是挖掘机的正常工作半径。
根据每个安装位置的特点限制安装角度并固定摄像机，得到AVM图像。
原型在以7米半径为内的AVM区域表现出最佳性能。周围物体的扭曲显著减少，可以在图像中识别出物体。
通过调整光圈和焦距，防止了前置摄像头的图像丢失。考虑每个摄像头的顶视范围，以7米半径的区域在所有摄像头上显示为AVM图像，并且AVM图像的平均刷新率为28.2帧/秒。
检查从安装在实际挖掘机的斗杆、臂杆、铲斗和机身上的单轴/双轴倾角传感器获取的工作信息是否正常显示在AVM屏幕上，对基于视觉的挖掘机机器导航系统原型的挖掘机工作信息显示功能进行了测试。
挖掘机工作信息显示功能根据传感器信息准确监测到确切位置。从传感器获取的数据更新频率为50毫秒，这个频率适用于实时应用。
基于挖掘机的倾斜情况，基于倾斜角度的图像校正功能被测试，以验证其在实际挖掘机倾斜时的准确性。在实际倾斜期间实时进行图像校正。传感器获取的数据以50毫秒的频率更新。
在工地上进行的挖掘操作包括开挖、回填、装载、临时道路施工和排水工作。由于地面上存在多个山丘、曲面和障碍物，操作的难度较高，现场条件有利于对开发的原型进行积极应用。
对于挖掘机基于视觉的机器导航系统原型进行了用户满意度调查，参与调查的是已经使用该系统超过80小时的挖掘机司机。
调查通过面对面访谈进行，分为四个类别：工作的便利性和轻松性、安全性、系统开发的质量以及系统的利用。
调查结果显示，挖掘机司机对开发的系统非常满意。他们确认该系统在便利性、工作的轻松性和安全性方面特别有效。
原型的应用显著提高了便利性和工作的轻松性，因为系统中显示的工作信息在水路、管道、建筑物、城市区域等施工过程中非常有用。
基于挖掘机倾斜的图像校正功能使挖掘机司机能够自信地检查挖掘机周围的地面，即使处于倾斜状态下也可以做到。
通过消除盲点，挖掘机驾驶员能够清晰地看到挖掘机周围的环境，从而确保工作的安全性，同时提高工作效率。挖掘机司机对系统的稳定性评价很高，确认了开发系统的质量。
系统的利用也令人满意，因为在驾驶和使用挖掘机进行挖掘时，该系统被证明非常有用。因此， 该系统对于新手挖掘机司机非常有益处。
«——【·结论·】——»
基于视觉的液压挖掘机机器引导系统原型在改善挖掘机操作方面取得了积极的成果。
该系统为挖掘机驾驶员提供了实用的工作信息和准确的图像视角，使他们能够更好地掌握工作状态，并有效地解决了现有系统的局限性。
通过提高便利性、工作轻松性和安全性，该系统对提高挖掘机操作的效率和质量具有重要意义，并且对于新手挖掘机司机尤为有益。
未来的研究可以进一步完善系统的功能和性能，以实现更广泛的应用和推广。
参考文献：
1.Cannon, H. N. 1999. “Extended Earthmoving with an Autonomous Excavator.” Master’s Thesis, Carnegie Mellon University, Pittsburgh, USA.
2.Cho, B. W., Y. S. Lee, D. K. Kim, J. H. Kim, and P. H. Choi. 2016. “Image-based Proximity Warning System for Excavator of Construction Sites.” Journal of Korea Contents Association 16 (10): 588–597. doi:10.5392/JKCA.2016.16.10.588.
3.Hosseini, M., and D. Georganas (2003), “Design of a Multi-sensor 3D Videoconferencing Application over an End System Multicast Protocol,” in Proceedings of the eleventh ACM international conference on Multimedia New York, USA, pp. 480–489.
4.Ishimoto, H., and T. Tsubouchi 2013. “Stereo Vision Based Worker Detection System for Excavator,” in ISCARC. Proceedings of the International Symposium on Automation and Robotics in Construction and Mining 30: 1, Montreal, Canada
5.Kim, S. K., and B. Koo. 2010. “A Path Generation Method considering the Work Behavior of Operators for an Intelligent Excavator.” Journal of the Korean Society of Civil Engineers 30 (4D): 433–443.