一、研发室简介

机器视觉技术应用研发室主要研究方向为微波雷达探测系统与成像、毫米波探测系统与成像、移动机器人定位、导航及控制、点云图像处理、深度学习、智能机器人，机电一体化设计等，研发室成员主持国家自然科学基金5项，省部级重大项目3项,省部级面上项目及横向课题20余项；在IEEE Transactions on Image Processing, IEEE Transactions on Neural Networks and Learning、IEEE sensors等杂志发表文章110余篇；授权国家发明专利48项，成功转化5项；出版著作1部；获得国家科技进步一等奖1次，二等奖2次，中国金属学会冶金科学技术奖1项。团队在粤牵头佛山市科技创新专项资金项目4项（5G+移动机器人毫米波环境感知系统研制、自动导引AVG低成本环境感知毫米波雷达研制、基于视觉的工业智能监测与管控、红紫可见光多光谱仪图像融合算法）；参与佛山市科技创新专项资金项目1项（头戴式视线跟踪系统关键技术研究）；牵头校企合作项目1项（面向电弧检测的多源图像融合算法研究）。

二、主要研究成果

（一）机器人技术

（二）基于多类型传感器的无人系统融合探测

视觉方案，只能识别部分目标仅激光雷达方案，激光雷达只能识别部分目标视觉、而视觉+激光+毫米波雷达融合可以识别全部车辆目标，课题组自行研制多种传感器，并在钢铁、水泥、石化和矿山等恶劣环境以及机场环境得到实际应用。

（三）图像自动识别技术

（四）AI智慧无人零售超市

该项目通过无人便利超市的视频图像，自动识别、跟踪人体（顾客），同时通过视频图像识别货架商品，与购买者进行身份绑定，自动结算，实现无人零售。现已开设门店。该项目应用基于深度学习的视频目标检测、人体行为分析以及多目标跨摄像头跟踪等算法。应用目标检测算法获取顾客的实时位置，在边缘智能设备Nvidia Jetson TX2上的推理速度可达到每秒35帧，同时对购买商品进行识别。应用基于深度学习的行为分析算法，对顾客的购物行为进行分析，例如拿起商品、放下商品，从而实现顾客与商品的绑定，完成购买商品的自动结算。

（五）利用深度学习进行高炉料线提取技术

该技术利用CNN和LSTM混合自建网络，对高炉料面雷达反射波进行分析，构建炉内布料界面。能够克服高炉内部粉尘、高温等各种雷达波干扰，拟合料面精度高，性能稳定。

（六）皮带运输边缘跑偏检测技术

该技术利用深度学习对运输皮带边缘检测和定位，实时连续检测皮带边缘位置。相比传统边缘检测方法，具有抗干扰、高可靠的明显优势，可自动识别各类皮带运输场景，是大型厂矿、制造企业皮带运输的新兴技术。系统还可以集成电子围栏，人员非法入侵，异物检测等智能算法。

（七）钢包铁水扒渣自动检测技术

该技术使用图卷积和轻量化深度学习网络，对钢包扒渣视频进行实时语义分割，精确识别铁渣、炉壁和抓手，是构成扒渣机器人的关键检测环节。

（八）医疗病历管理技术

该技术通过知识图谱技术，进行医疗病例图谱化，进行知识表征、信息补全以及知识推理，构建智慧医疗系统。