FC-SJ-25视觉感知与工业机器人实训平台

一、面向专业和课程

面向专业：机器人工程、自动化、机电、机械等专业

适用课程：机器人运动控制、机器人编程与应用、机电一体化、工业机器人系统集成、PLC电气控制、机器视觉等

二、产品概述

1.系统结构组成

针对工程应用中对工业机器人作业与应用需求，实训平台采用工业机器人与控制系统、视觉感知系统、传感系统及辅助模块相结合，通过模块化设计，实现机器人实践教学与科研验证。在机器人工作平台中，工业机器人通过与视觉系统的协同，完成轨迹示教、搬运、码垛、视觉系统标定、目标空间定位、物品识别、物体抓取、零件装配等应用。此外，系统内部采用PLC控制系统与以太网通信，对机器人运动全过程进行信息实时监测与控制。

三、产品简要介绍如下：

（1）采用PLC进行机器人、输送线、气缸、传感器、视觉系统等的统一控制，可以实现学生通过PLC编程控制机器人运动的功能；

（2）提供机器人运动控制及信息交互的部分通信协议，学生可以充分理解并实践以太网通信技术在工业机器人系统中的应用；

（3）提供2D和3D工业级视觉系统，开源机器视觉标定、定位、检测、识别与测量等方向源代码，或根据需要部署图形化编程软件；

（4）提供基于深度学习的图像处理技术，可实现对复杂场景中各种类目标的检测与识别，贴近工业现场的实际检测需求；

（5）部署人机交互系统，可控制工业机器人完成示教、语音交互、手势图像交互等操作，并实时显示机器人的运动状态。

2.硬件设计思路

工业机器人选择知名品牌六轴工业机器人,机器人通信系统集成在控制柜上，提供RS232，RS422，以太网等通信方式，提供部分详细通信协议，学生通过以太网通信编程可以直接控制机器人的动作并实时监测机器人的运动过程状态。

视觉系统包括1套2D视觉系统和1套3D视觉系统，2D视觉系统采用600万像素工业相机、600万像素工业镜头、环形光源及数字可编程光源控制器，满足工业机器视觉检测需求。视觉系统通过以太网与外界进行通信。3D视觉系统采用一台200万像素级的深度相机，可进行物体轮廓测量、距离测量，并引导机械臂的动作。

气动系统主要包括电磁阀、气动夹具与真空气泵等外设，用于实验工件的拾取与释放等操作。

工作台架设置了专用于工业机器人基础实验的码垛、拆跺、轨迹跟踪、装配等所需模块与模具，以及工业机器人视觉检测所需的外设模块。同时，台架设置了快速更换工件区与立柜式工件仓储区，通过工件的抓取，旋转，放置等流程，完成机器人切割，码垛等任务执行的工件切换。

另外，还在台架上设置了桌面式运输模块，通过上料模块的输入，采用传感器探测物流的运输位置，然后通过2D和3D视觉模块，实现对物料的平面或立体特征的提取，驱动机器人完成不同的任务。此外，针对动态旋转目标，机架上设置了旋转送料机构，机器人动态抓取目标后，通过工业视觉系统对物料底部进行扫描，获得工件的表面特征，最后检测识别后根据任务需求做出各类执行动作。

四、主要技术与功能介绍

实训平台所涉及的主要技术与功能主要包括以下几个方面：

1.机器人与机电控制技术

在充分保障工业机器人使用安全的前提下，能开放部分PLC控制模块，可以实现学生通过PLC编程控制机器人部分运动的功能。学生可以利用计算机完成PLC编程与编译等工作，然后下载至实验系统再运行，完成机器人控制与PLC编程实践。除此以外，对整个机器人的六轴联动控制仍可以通过示教编程或计算机编程下载实现。

2.工业机器人通信技术

平台提供机器人运动控制及信息交互的部分通信协议，学生可以利用同网络的计算机，通过通信编程对工业机器人输出信息进行解码与状态监测，同时，也可以向机器人发送部分在安全操作范围内的动作控制指令与其他程序。利用实训平台，学生可以充分理解并实践以太网通信技术在工业机器人系统中的应用，了解工业领域通信方式与协议的编制，同时还可以全方位实践以太网通信的全过程，为机器人远程数据采集与传输奠定基础。

3.工业机器人视觉技术

实训平台提供高清稳定的工业级视觉系统，开源机器视觉标定、定位、检测、识别与测量等方向的机器视觉源代码，并将检测结果与机器人动作控制执行相统一。学生可以采用OpenCV、图像处理算法、人工智能算法完成图像的检测，并调用相应的控制API，完成机器人结果分选，如颜色分选、形状分选、不同物品分选、缺陷检测等，也可以完成智能码垛，如不同尺寸、不同形状的物件设置不同分值，进行限时码垛计算分值竞赛等。通过对该技术的探索，可为机器人在各类实际工业场景中的智能作业提供强有力技术支撑。

4.基于深度学习的目标检测与识别技术

深度学习是近年来人工智能的典型代表。平台通过搭载深度学习算法模型，可实现对复杂场景中的各种类型的目标检测与识别。在真实的工程环境条件下，由于作业条件的动态变化，采用传统机器视觉容易受参数的影响而检测不准，识别精度不够，因此，采用深度学习算法，通过构建工程场景下的目标检测与识别，完成多类目标的快速、准确检测与识别，为机器人的决策提供基础。

5.人机交互技术

工业机器人作为无人化操作的执行者，可以完成示教、语音交互、手势图像交互等操作。在实验过程中，学生可以通过编程实现对自然语言、手势图像的识别，并控制工业机器人精准完成某些特定的动作，如向上移动20cm。在工业机器人运行过程中，系统提供显示屏实时显示机器人的运动状态。

五、硬件设备介绍

1.工业机器人本体

工业机器人本体作为该实验系统的核心与动作执行器，其主要功能是完成控制系统所产生的一系列行为决策。系统运动准确、可靠、稳定，且在运行过程中，系统设计有多重防碰撞、防伤人的传感模块。此外，系统设置有紧急停止开关与柔性控制功能，防止机器人失控，保障系统安全。

工业机器人本体有两种配置：ABB品牌的IRB120，或者埃夫特品牌的ER3-600。参数分别如下：

配置一：ABB IRB120

该本体为柔性生产低负载常用本体，本体质量相对较轻，仅重25kg，有效载荷负重3kg，垂直腕4kg，可满足实验室日常使用需求。机器人本体安全、可靠，防护等级达IP30，可有效防止意外事故的发生。

机器人本体具体参数如下：

配置二：埃夫特 ER3-600（或其他用户指定的机械臂）

该本体为柔性生产低负载常用本体，本体质量相对较轻，仅重27kg，有效载荷负重3kg，可满足实验室日常使用需求。机器人本体安全、可靠，防护等级达IP40，可有效防止意外事故的发生。

机器人本体具体参数如下：

2.实训平台单元模块介绍

（1）示教模块

示教模块提供锥体、倾斜矩形、倾斜圆形三个模块，可供机械臂在三维空间中进行多个坐标的拖动控制，完成示教编程基本运动指令、精确定位和轨迹逼近等实验功能，同时也可以验证机械臂运动的准确性和重复动作的稳定性。

（2）轨迹路径模块

轨迹路径由直线、曲线及其组合而成的多种图形构成。机械臂在实际应用过程中，比如产品分类、搬运、焊接等场景，将使用到各种各样的动作，以适应场景中物体的位置和形状要求，因此，通过编程实现机器人的多种轨迹运动，具有基础性的意义。

（3）快换工具模块

快换工具模块提供夹爪和吸盘两种工具，夹爪和吸盘是机械臂在工程应用中最常见的两种夹持手段，夹爪有电动夹爪和气动夹爪两种，吸盘通常有单吸盘、双吸盘、四吸盘的组合。在机械臂末端安装法兰盘，快换工具与其配套使用，即可实现工具的快速更换。

（4）立体仓储模块

立体仓储模块分为上下四层，每层设置3个工位。每个工位都可以放置正方形、长方形或圆形的物料。同时，每个工位安装有光电传感器，通过 PLC 将信

号数据采集到控制器，由此可判断此工位是否有物料，从而决定机器人是否需要到库位进行物料抓取。

（5）旋转送料模块

旋转供料模块可应用于码垛实验中，也可以与其他的模块进行联动。当开展该功能的实验时，旋转机构与机器人的抓取动作联动，机器人每抓取一个物料，旋转机构即刻将下一个物料送至抓取区。

（6）物料分拣模块

物料分拣有两种方式，一是机械臂通过预先示教，依次对固定位置的物料进行分拣，从而培养学生对机械臂复杂动作的控制能力；二是在视觉系统的引导下，可对随机摆放的物料进行识别和自适应分拣，从而进行机械臂的柔性生产作业。

（7）2D视觉模块

2D视觉模块即一套标准工业级视觉系统，包括工业相机、镜头、LED光源、光源控制器等，通过视觉支架进行集成，为所有的静态目标检测、分析和处理提供实验的硬件环境。比如，可依托视觉模块，进行物料的颜色识别、形状识别、尺寸测量，并据此进行物料的分类，或者也可以开展缺陷检测与质量分选、无序物料搬运码垛等相对复杂的实验。

视觉系统结构如下：

（8）3D视觉模块

在实际应用中，机械臂抓取的目标存在高度差异，而传统2D视觉系统仅可以对物体的形状、颜色、纹理等特征进行分析，但缺失深度信息，因而在机械臂抓取过程中容易造成机械臂执行末端的碰撞与损坏。本实训平台采用2D视觉系统加3D视觉系统，对缺失的深度信息进行补充，同步反馈给机器人控制系统，保障对各类高度物体抓取的安全性能。

3D视觉系统采用海康威视的3D相机，该相机采用主动双目技术，支持 RGB 与深度图同步高帧率输出。结构如图所示。

（9）输送系统

实训平台配置整体操作台面，台面上安装输送线，通过电机控制输送线的运转并进行调速，完成物料传输。输送系统主要包括输送带、控制箱、光电编码器等，输送线采用铝合金边框，线速度控制在0-0.5m/s。光电编码器采用红外对射感应模块，输入电压为DC12-24V，输出电流为300mA，感应距离为20-350cm，可以检测1mm以上任何除无色透明外的物体。光电编码器指向角为3-5°，响应时间在2ms以内。

（10）气缸和气动模块

机器人的末端执行机构采用气动吸盘，因此系统还需要配备气动元件，包括气泵、电磁阀、吸盘、气管等部件，还需要配备传感器等辅助外设。

此外，为了完成机器人系统模拟装配、喷涂、切割等功能，平台以气缸为基础，设置了作业模拟区和搬运码垛模拟区。

3.人机交互系统

人机交互模块主要包括三大模块，即实时显示模块，语音交互模块与手势图像识别模块。实时显示模块为工控PC机输出显示，系统配置机器人运动检测软件，实时查看机器人运行状态，动作类型等，为人机交互中的机器输出。语音交互模块配置自然语言处理识别模块，完成自然语言高质量输入与预处理，用户可根据自然语言处理算法与识别结果进行机器人显示与动作执行，完成人机交互。手势图像识别系统为单独模块，配置200W摄像头，采用7寸液晶显示屏，分辨率为1280×800，配置网络设备，实现系统内通信。手势图像识别模块识别手势时，可自定义如伸出1、2、3、4根手指，控制机械臂与用户进行动作的交互，识别人脸时，可进行权限控制，即只有在特定人员操作时，机械臂才可接受控制。

4.PLC控制系统

PLC控制系统采用西门子1200系列PLC，系统集成16路输入和16路输出IO口，内置高达64K大容量的RAM存储，提供相关电气连接线与附属器件。

整体来说，该实训平台集合了工业机器人、机器视觉、气动、电气控制、传感器检测、电机传动以及工业通讯技术等多领域的关键技术，为实验室提供一个先进的、高自由度的、创新性的研究和应用平台，适合工业机器人运动控制关键技术、机器视觉理论与应用、工业机器人智能化等方向的研究。

六、课程资源

实验室依托所提供的硬件产品，涵盖多门课程资源，具体如下：

六、机器人应用实践

机器人应用实践结合本专业的人才培养方案，主要包括以下几大类别：

1.示教与运动控制

依托一系列单元模块，如示教、轨迹规划、智慧立库、分拣等，供学生进行机械臂的运动控制与常见应用的学习。如通过拖动机械臂末端轴，记录每一个位置时各个轴的状态信息，完成机械臂的示教动作；通过为机械臂定义起点坐标与终点坐标，实现在空间中的直线、弧线运动，以及其他组合运动，从而为更复杂的机械臂应用打下基础。

2.机器人与传感器

在机械臂内部及实训平台中，设置有气缸、接近传感器、光电传感器以及霍尔传感器等，传感器种类多，数据格式各异，对机械臂的通讯与动作执行均具有极其重要的影响。本系统主要以多种传感器融合技术为课程实践的重点，支持教师与学生开展多传感器融合技术的应用实践和探索。

3.机器人与视觉系统

柔性制造是当前智能制造行业中的主流概念，通过引入视觉系统，可以给机械臂装上眼睛，满足在复杂可变的生产环境下机械臂的控制与动作的要求。如将视觉与机械臂结合，可以不同形状、颜色、尺寸、外观的物体进行分类识别，实现目标分拣、智能码垛拆垛等功能；还可以基于深度学习等人工智能技术，实现对复杂背景下的目标特征分析、物体缺陷检测、字符图像分割、产品外观分类等功能。