【极智嘉】仓储和制造业中智能搬运的难点与应对方案

文｜极智嘉科技有限公司

研发高级总监 吴伟博士

电子商务和智能制造在21世纪飞速发展，对供应链和仓储的诸多环节提出了更高要求，移动机器人（AMR）在提供高柔性、高精度、高可靠性搬运服务的同时，更能提升原材料、成品搬运的效率，解决劳动力成本急剧增长带来的挑战，被企业主广泛接受。本文基于仓储和制造业的智能搬运场景中环境高频变化等难点，就移动机器人复杂环境下的感知与定位技术进行讨论，并设计了一整套高效、可灵活配置的软、硬件系统，智能的视觉激光融合感知与定位、规划与控制系统，保障了AMR在业务场景中运行的稳定性。

一、仓储和制造业智能搬运的难点

仓储和制造业的智能搬运场景中人机交互复杂，环境持续高频变化，对场内移动机器人（Autonomous Mobile Robot，AMR）的定位影响极大，尤其是在对接的场景，环境变化严重影响机器人感知能力，造成无法精确对齐等问题。使用单一导航定位技术的地面移动机器人，如磁条导航、二维码导航等，无法应对这些复杂的场景。仓储行业需要有强大混合导航技术的移动机器人，提升感知和定位能力，从而保证在复杂多变的场景中稳定运行。 

移动机器人上配置有包括激光雷达，视觉相机等多种传感器，但在面临以下几种场景或者条件时，机器人定位、建图及运动控制等存在诸多难点。

1. 场景空旷

在仓库、工厂等场景下，只有墙壁和顶梁柱等少数的固定目标，大部分为空旷空间。在远距离探测时，激光雷达扫描点云会过于稀疏，或激光帧扫到地面，形成干扰数据。深度相机的有效探测距离一般在5米内（远距离噪声较大，难以使用），如果机器人在大部分行驶路径的5米半径范围内都缺少固定物体，也将不会有深度信息反馈。

相机虽然能获取到足够远的图像信息，然而从远处的图像中提取角点、线等视觉特征的难度会增加。不能仅依靠图像中的像素得到深度信息，如果计算该点的距离，需要将相机移动再进行一次观察，并根据三角测量原理进行计算。而该点的距离越远，三角测量的误差就越大，导致定位误差也会增加。

2. 动态性高，场景变化大

图1 动态性高的人机混合场景

在仓储和制造业场景中，物体的动态性较高。图1可以看出左侧都是纸箱，随着任务不同，这些摆放的料箱都会发生巨大的位置变化。

动态物体上的特征点会随物体移动，无法给机器人定位提供有效的约束。同时也很难从背景中区分出所有动态的物体，将动态物体上的特征点全部剔除。如果建图时将动态物体上的特征点加入地图，定位时就会因为匹配不上这些已经消失的特征点而失败。

3. 场景内人机混行

人员的移动存在较大的不确定性，极可能会突然出现在机器人的行驶路径上。一旦出现漏检，将给人带来危险。为了能够保障人员安全，需要实时检测多个方向是否有人存在，甚至需要对人的运动轨迹进行精准预测，才能在人机混行的场景中，实现机器人安全可靠的导航。

4. 场景重复性高

特征重复性高的场景，对于激光定位而言，局部特征会在行驶过程中多次重复。而且有效范围内的物体大部分只有墙、柱子这种形状相似的特征，缺少独特的特征会导致定位困难，如图2所示。

图2 重复性高的长走廊场景

对于视觉建图，有多次重复的纹理也无法作为全局约束。且该场景中，足够鲁棒的角点特征少，而线特征只能提供一个方向的约束，白墙上更是无法得到丰富的特征点容易匹配错误，造成定位误差。

5. 场景内光照变化大

对于纯视觉方案，光照变化也是一个难以解决的问题。通常仓储物流环境中，不仅受到灯光的影响，还易受到窗户天窗等自然光照射的影响。昏暗的环境中，视觉传感器无法提取到足够的信息，同时会受噪点的干扰，影响定位结果。与此同时，视觉建图和定位时，光照条件相差比较大也会影响定位结果；甚至窗户的自然光直射镜头将会导致相机过曝，无法提取特征导致定位失败，如图3所示。

图3 自然光源与人造光源

6. 定位精度要求高

在仓储、制造业行业场景中，机器人需要精确的对准传送带。为了提高存储密度，货物的存放过于密集，导致机器人行驶的路径狭窄，容差可能是几厘米，如图4所示。这些都对机器人定位提出了较高的精度要求。

图4 场景对定位精度要求高

7. 叉车和机器人统一调度

图5 叉车和机器人统一调度

叉车与机器人激光雷达安装高度差异较大，探测高度不一致。但运行过程中需要叉车和机器人使用的地图具有相同的坐标系，以保证调度系统使用相同的点位控制机器人，如图5所示。因此，需要叉车和机器人建图具有很高的一致性与绝对精度，以保证不同种类机器人取放相同货位时，位置相同。

二、应对方案

1. 硬件架构

机器人为了完成自动化搬运，需要设计一整套的关于数据采集模块，数据处理模块，以及控制规划模块。针对包括拣选、搬运、分拣等不同产品线、不同任务形式，以及不同的传感器配置，需要合理设计系统硬件结构以及模块化的软件架构，从而达到提高开发效率，增强系统运行稳定性，并最终灵活应用到不同产品的机器人上。

图6 机器人硬件结构图

机器人硬件组成，主要包括车载控制器、电池模块、声光报警模块、通讯模块、电机驱动模块、充电模块等。同时针对不同产品的机器人以及实际运行环境，还包括定位感知相关的激光雷达、鱼眼相机、深度相机等模块等，如图6所示。通过硬件架构设计，完成不同模块的数据采集和通信。并将对应的数据送到相应的处理器，由处理器处理完成后，再将处理结果发送给相应的控制驱动模块，从而完成对应的任务。

2. 软件架构

机器人软件架构设计则通过从底层操作系统到ROS2的算法平台，再到相应模块化设计的定位模块、导航模块、避障模块、传感器紧融合模块、控制模块，完成整个软件系统高效且灵活可配置的设计，最终在不同产品线机器人上得到应用。

（1）定位建图融合模块

定位建图融合模块获取各子模块的定位建图结果，通过优化各模块的重投影误差达到最小，从而完成机器人的定位与建图。其中各子模块通过对数据的输入与输出接口的抽象，设置成灵活的“可插拔”的配置，针对不同产品机器人的传感器，完成对应模块的删减。

（2）感知模块

感知模块接收各子模块（激光感知模块、视觉感知模块、超声感知模块）的语义及障碍物的检测信息。

（3）路径规划导航与控制模块

路径规划模块通过结构定位建图模块的定位，以及地图信息以及感知模块的障碍物以及语义信息，根据特定的任务完成机器人的规划控制。

机器人通过硬件架构采集数据，并通过ROS2完成数据在各模块之间的通信。其中ROS2相对于ROS1采用数据分发服务（DDS）通信协议，它可以以零拷贝的方式传递消息，节省了CPU和内存资源，且不存在ROS1中的单点故障，从而更好保证了各模块之间数据通信的高效性与实时性。

（4）SLAM系统

图7 SLAM系统总体设计

在系统整体设计方面，极智嘉的SLAM（Simultaneous Localization And Mapping）系统采用紧耦合、多源异构的方式，去使用各种传感器和定位元素的信息，如图7所示。其中，前视的相机用来识别特征点、语义线、二维码和各种物体（Object），算法在GPU上进行加速后，会将结果传到从CPU处理。下视的相机可以识别地面的二维码，来计算机器人的绝对位置，这部分的算法会在FPGA上进行优化和加速。而底层里程计和IMU的信息，从MCU上进行读取，并进行融合和算法优化。最终各个传感器的信息经过各自算法在不同的平台上处理后，会统一将结果发送到主CPU处理器上，进行结果的融合和最终决策。

激光与视觉融合的SLAM导航技术使用领先的紧耦合多传感器融合框架，从处理器芯片到激光雷达、相机、IMU和编码器等都实现了高精度的时间同步，确保所获取传感器数据的时间精确性。该技术的关键点包括：

① 离线和在线标定

极智嘉机器人出厂前使用自主研发的标定设备对传感器的内参、外参进行严格检校，加上在线标定算法，现已可实现数月以上的运动轨迹重复一致，如图8所示。无论环境如何变化，都能顺利精准完成产线对接，保障产线可持续性。

图8 优化前(左)与优化后(右)轨迹对比

② 激光畸变校正

目前机器人多采用机械旋转式激光雷达，每个扫描帧获取的时间从几十到上百毫秒不等，在机器人高速运动时激光扫描帧易变形。极智嘉SLAM算法中使用IMU和轮速数据，对激光雷达扫描帧进行运动补偿，从而解决了机器人高速运动时轨迹偏离的问题，如图9所示。

图9 激光畸变校正前(左)畸变校正后(右)对比

③ 在线地图动态更新

图10 地图更新原理

目前行业内主要依靠人工对变化的地图进行修正，无法实现动态更新地图功能。极智嘉SLAM通过滑窗优化（Sliding Window BA）和边缘化（Marginalization）技术，在保障地图和定位精度前提下，裁剪掉“过时”的节点和地图观测数据，有效控制图（Graph）的规模，如图10所示。通过这一业界领先的在线地图动态更新技术创新，极智嘉的搬运方案保障了地图新鲜度，真正实现了动态环境感知和高可靠的定位效果，保证机器人长期稳定运行。

④ VX-SLAM定位

不同于传统的V-SLAM系统，极智嘉的VX-SLAM系统使用的是多种层次的视觉特征。在建图的过程中，除了使用传统方法检测点（Point）、线 （Line）和区域 （Region），还会使用实例分割（Instance Segmentation）方法对视野的对象进行分割和分类，并根据实例分割的结果进行动态物体的滤除，将静态物体作为一个约束加入位姿和地图的优化，最终的地图则是点特征地图、线特征地图、对象地图、特殊区域地图等地图的叠加态。

另一方面，VX-SLAM系统融合了机器人上多个传感器，惯性测量单元（IMU）和 Odom 坐标系提供了短时间内精确的相对位姿估计，而激光雷达和摄像头的闭环检测（Loop Closure）和重定位（Relocalization）则用以消除累计的误差，同时融合激光雷达和摄像头可同时利用环境的结构特征和外观特征，使得VX-SLAM系统具有极高的鲁棒性。

VX-SLAM系统会输出高精度的视觉地图和激光地图，并会自动将这两个地图进行配准，对齐和融合。在进行定位的时候，视觉输出的重定位结果会和里程计，IMU的位姿递推结果融合，在复杂、多变的环境下实现高可靠性与高精度定位，如图11所示。

图11 基于视觉的重定位

⑤ 叉车和机器人统一调度

图12 叉车和机器人地图对齐

为实现叉车与机器人统一调度，需要融合叉车与机器人构建的SLAM地图。创建地图时，使用识别到的墙壁、立柱等特征，拉齐两个地图的坐标系，可以解决可观测区域不同的问题，如图12所示。此外，使用多传感器融合的定位方案和自动化的标定方案，保证各种类型机器人具有相同的绝对精度。

（5）智能感知

① 视觉避障

移动机器人的安全性是最重要的部分，其中既包括操作人员的安全，也包括机器人本身的安全。由于仓储场景变化比较多，在规定好的路线中,，有可能会出现之前不存在的障碍物，如货箱、掉落的货物、行人等，机器人需要实时识别出这些障碍物避免发生危险。

基于上述需求，极智嘉设计了基于彩色图像和深度图像结合的障碍物检测方法，彩色图像着重解决低矮或种类比较固定的物体，如书本、行人、货箱等。深度图着重解决颜色与地面相近且有明显高度或种类不定的物体，如货架腿、小木块等。两种方法的有机结合，既能实现多种场景下鲁棒的障碍物识别，又能达到实时性的要求，障碍物识别结果，如图13所示。

图13 低矮物体检测

② 托盘智能识别

托盘智能识别是无人叉车中一个非常重要的环节，它的作用是进行叉车的末端精确定位，保证叉车可以精确插取货物。通过安装在叉车上的相机自动识别托盘的位姿来计算出叉车与托盘的相对位置，从而进行精准的托盘插取，可以实现比人工更高的插取精度，仓储环境中托盘识别有如下难点：

托盘种类及尺寸繁多，定制托盘的存在；

托盘位置偏移有可能非常大；

仓储环境中对托盘会有很多干扰。

基于以上难点，设计了专门的托盘识别算法，主要实现方法包括基于深度学习的托盘检测，及基于3D分割的托盘精确定位。基于深度学习的托盘检测可以适应复杂的仓储场景，在复杂的托盘品类及干扰下也能稳定的识别出托盘，具有很高的鲁棒性。为达到更高精度，在深度学习方法识别出托盘后，还需要基于3D点云对托盘进行精确定位，根据需求可精确定位出托盘每个立柱的位置，实现超高精度的托盘位姿识别。托盘识别结果如图14所示，其中，第一行为不同类别及尺寸的托盘识别结果；第二行为不同位置下的托盘识别结果；第三行为不同仓储干扰情况下的托盘识别结果。

图14 托盘识别结果

三、落地案例

近期一座全流程柔性自动化的智慧物流工厂，在上海西门子开关有限公司成功落地。极智嘉助力上海西门子开关有限公司通过4种物流机器人无缝协作和AI智能调度，率先在业内真正实现了工业物流从收货、质检、入库，到在库理货、出库集货和产线送料的全场景机器人串联和全链路物料信息化管理，如图15和图16所示。

图15 机器人全场景应用

图16 客户仓储场景

面对智能化时代的市场需求，上海西门子开关有限公司意识到，一个自动化的高效智能物流管理体系是实现工业4.0的基础环节之一，改造原有的原材料存储以及改善送料流程过度依赖人工的状况刻不容缓。厂区人员管理也需要逐步从手工劳动逐步向机器人应用技术管理转型。

基于以上挑战，上海西门子开关有限公司需要引入智能设备和创新方案实现工厂物流的智能化升级，以强化竞争优势，驱动业务实现可持续高速发展。

经过缜密周全的方案考察和验证，上海西门子开关有限公司选择引入智能机器人实现全流程柔性自动化。凭借机器人的柔性特点，该公司在智能升级过程中不仅确保了产线无停产，生产正常运转，并且连续创造了产量的历史新高。

该智慧物流项目的“货到人”区在2019年11月20日上线运行，并以模块化柔性部署的方式逐步拓展至机器人收货区、四向车立库存储区、质检环节打通和自动化集货区，于2020年10月完成了物流中心的全流程机器人覆盖，并开始部署机器人产线送料。

极智嘉提供创新的智能仓组合方案，包括货到人拣选机器人P800、货箱到人拣选机器人C200S、四向穿梭车和智能搬运机器人M1000，以及AI算法和智能系统，解决了库内20万+仓库存储单元（SKU）原材料的收货、分区存储、齐套发运、产线领料等流程问题，实现库存精益化智能化管理。据数据统计，在完成智能升级后，工厂的入库效率提升2.5倍、出库效率提升2.15倍，存储面积减少50%，送料及时率和准确率获得极大提升，顺利解决了离散式生产在定制化需求时代的物料管理和效率瓶颈。

四、总结

针对供应链和仓储的诸多环节所面临的问题，移动机器人以其高柔性、高精度、高可靠性的优势，能够大幅提升原材料、成品搬运的效率，解决劳动力成本急剧增长带来的挑战，逐渐得到了更深入而广泛的应用。

仓储行业的智能搬运场景具有人机交互、环境高频变化等特点，需要有强大混合导航技术的移动机器人。为满足业务需求，设计一整套高效、可灵活配置的硬件系统，智能的视觉激光融合感知与定位、规划与控制系统，提升AMR在复杂多变场景中运行的稳定性。