无人机石油管线人工智能巡检

2018-11-30 15:21:18

西气东输工程事关国计民生,是国家重要的战略部署,有利于促进我国能源结构和产业结构调整,带动东部、中部、西部地区经济共同发展,改善管道沿线地区人民生活质量,有效治理大气污染。这一项目的实施,为西部大开发、将西部地区的资源优势变为经济优势创造了条件,对推动和加快新疆及西部地区的经济发展具有重大的战略意义。   近年来, 基于无人机的巡线技术分为两类,分别为基于图像处理与浅层图像表达的传统分类技术和以无人机为载体的遥感图片技术。
  其中, 无人机影像信息的目标分类技术,是无人机油气管道巡线的基础。传统的图像处理技术(例如针对形状、色彩、纹理等特征的提取,以及传统的图像分割技术),以及模式识别算法(如ANN,CNN,SVM,Boosting等),存在误报率高、速度慢、无法提供与目标检测相关的有效信息、部分功能需人工干预、智能化程度低、巡检成本高等问题;因而无法胜任困难度较高的管线巡线识别任务。
  另一方面,以无人机为载体的微波遥感成像技术,不同于卫星遥感成像,是主要依托小型化SAR雷达(Synthetic Aperture Radar合成孔径雷达)的微波遥感技术,但此类技术存在着诸如SAR雷达成本高、技术不成熟、市场化应用差等问题。虽然卫星光学遥感图片的光谱特征分类是一个重要的分类方法,可以在卫星遥感图片上识别并提取同类目标物,但是基于无人机光谱特征的分类长期存在难以解决的“异物同谱”及“同物异普”的问题,实际自动分类的精度相对较低;且易受环境因素影响,如隐蔽状态(如阴影下等),部分遮挡(树木或建筑物遮挡),光线变化等因素都会造成误报、漏报;即使将形状、纹理等因素考虑在内,在飞行高度变化以及地面场景(农田,公路,乡村)变化的情况下,依然无法摆脱巨大误报率的不足,50公里的航线甚至可能做出上百页的报告,对巡检工作人员是一个巨大的负担,因此总体来看也并不适用于无人机平台的巡线工作。
  本公司以油气管线的巡线特点及需求为核心,经过深入的背景研究、长期的技术攻关, 成功将人工智能深度神经网络与无人机的控制系统设计对接, 并自主研发出具有智能图片质量判断矫正、目标像素分类、目标状态判断等复合功能深度学习网络与智能目标识别技术。 成功弥补了上述技术的不足,并且实现了无人机与地面站一体化的智能巡线系统, 并同时确立了四大技术优势:1.目标物智能检测与分类;2.目标物的精确地理定位;3.油气管线的精确标注; 4. 目标物与物体管线及标桩距离的高精度测算。

优势1:目标物智能检测与分类


本公司的识别技术优势在于:
  1. 识别种类多:目标识别数目多达22类(如图1展示部分案例,此外包括房屋、土地、河流、森林、区域结冰等);

  2. 精度高:相比于传统的图像处理技术,本系统的识别结果更加准确,传统算法的准确率一般在70%左右,而本系统准确率可达95%。

  3. 速度快:本系统运行效率高,单张照片处理效率可达秒级;一段100公里的巡线图片可以在30分钟内处理完毕。

  4. 稳定性强:本系统对不同条件下的识别(例如不同光照,季节等)有很强的鲁棒性,不容易受到外界因素干扰。

  5. 操作过程简单,自动化程度高:自动监测系统经过初始化后,可一键完成目标识别工作,无需额外操作过程,检测过程完全无需人工干预。

自动生成报告:自动生成检测报告,并将因拍照重叠造成的冗余测试结果(当目标在连续照片中重复出现)自动剔除。

优势2:目标物的精确定位
 

  完成地面目标的识别与分类,并不能满足日常巡检的需求,巡检工作人员,仍需要对照地面站地图来针对每一个目标进行可疑度分析,并且,在无法提供准确地理位置(GPS)的前提下,地面巡检人员很难仅凭借一张航拍照片找到可疑目标的位置。因此在日常的管道巡检中,提供可疑目标的地理位置,能够大幅提高应急反应速度。
  基于智能识别网络与无人机控制系统的深度对接,本团队实现了免相控全画幅像素定位功能,通过该系统,能够实现对照片内目标的准确定位





与传统的识别软件相比,本系统有以下开创性的突破:
1.不需要对同一场景进行大量拍摄取材即可完成像素级定位;
2.定位功能实现速度快(每张照片小于0.1秒),可应用于后期检测,不影响检测效率;
可为巡线检查人员提供迅速有效的地理位置







 

优势3:油气管线的自动标注

 
无人机在飞行过程中,会受到各种因素的影响,尤其是在转弯的过程中,照相视角会大幅度偏离照片中心区域(其他情况包括强风,航线矫正,航线误差等),此类条件下拍摄的照片,很难判断管道的所在位置,无法判断被测目标的威胁程度,从而加剧了威胁物识别人员的工作,严重降低了检测效率。基于像素级的定位功能,本系统可快速自动高精度地标注管道在地面上的部署走向 (如图3所示)。基于该功能,系统可根据可疑目标所处位置及到管道的距离来自动评判威胁值,提高该系统的自动化、智能化程度,提高检测的效率。


优势4:目标物与物体管线及标桩距离的高精度测算
 
  在对地面目标完成识别的基础上,免相控像素级定位系统大幅提高了巡检工作的自动化、智能化。如图4所示,本系统在可自动标注管线部署与目标位置的前提下,可在威胁物的旁边进行可视化标注,信息包括:目标类型,置信度,地理位置信息(GPS),距离管线距离,距离最近标桩号。图4中所标注信息的意义为:该目标类型为汽车(car),置信度96.7%,所在GPS位置为(E103.9781,N37.0178),距离管线距离3.1m,附近标桩号为130#+400m。

  为了方便地面巡检人员迅速的赶往目标地点,我们在提供地理信息位置的同时,将提供可疑目标距离最近标桩的准确标桩号,让传统巡检人员更方便到达事发位置。



  同时,根据威胁目标距离管道的距离,本系统将最终识别出的目标按照威胁度分为三个级别(如图5所示):
  A级:红色外框和标注,距离管道0-5米;
  B级:黄色外框和标注,距离管道5-50米;
  C级:绿色外框和标注,距离管道50-200米。




本系统未来的扩展
 

综上所述,本系统相比于传统的图像处理技术拥有很大的优势;然而,技术的发展永不止步,如果不能赶上其前进的步伐,就会如同逆水行舟一般不进则退。有鉴于此,本公司自本项目开始之日起,就从未停止汲取新的技术,也从未停止对客户需求的关注。从我们收集到的用户需求来看,我们将本系统未来的扩展分为两个部分:一部分是硬件功能的强化,一部分则是软件算法的升级。其中,硬件功能的强化主要的着眼点在于远距离图传与无人机平台嵌入式计算的结合;而软件的功能则包括升级我们目前的识别技术,提供更加直观的可视化结果,以及拓展识别的类型范围。
 

1. 基于远距离图传技术的实时现场检测
 

无线远距离图传技术现已日臻成熟,目前的多旋翼飞行平台的无线图传距离已经可以达到15km以内的高分辨率传输,这也为现场实时检测创造了条件。

现场实时检测是指,在用户放飞多旋翼飞行器之后,可以实时获取回传图像,并且使用本公司开发的移动检测平台实时处理这些回传图像,最终实现"飞行-传输-识别"的动态流程。与之前的"飞行-拍摄-识别"的流程相比,实时图传并监测的流程等待时间更短,反应更灵敏,也更加贴合用户的使用场景。



图6:无人机远距离图传技术示例


2. 地形异常状况检测
 

随着人工智能技术的快速发展,人工智能将与现实生活进行越来越深入地结合;而另一方面,在日常的油气管线巡线工作中,勘测地形状态(例如水毁、泥石流等)也占有很重要的地位;在这样的背景下,我们提出将人工智能技术与地形异常状态检测的方法,以使得本智能巡线系统具备自动识别地形/地理异常的能力。从图7我们可以看到,目前较为先进的语义分割技术 [1] 已经可以较为准确地识别地面区域的类别。
 



图7:地面区域分割示例:左图为原始输入画面,右图为经系统检测之后标注出
的:道路区域(灰色)、森林(绿色)、建筑(黑色)以及水流区域(蓝色)。

 



 人工智能技术的强大之处在于,其能够不断更新和迭代,快速地学习新的经验和知识;相比于传统的图像处理技术,其自我学习能力更强,而且算法更加精准稳定。目前,我公司已经对新型基于人工智能的地形异常状况检测技术完成技术论证,如图8所示,我公司新一代的地形异常检测系统能够以像素级别标注画面中的异常区域,并且最终将检测结果回传至指挥中心。有别于之前的目标物识别与检测,本项技术能够提供更加精准的地面信息,以及更加人性化的可视化结果。
 

图8:地形异常状况检测示例:左图为原始输入画面,
右图为经系统检测之后标注出的泥石流区域。