FCDG-987多机器人协同与视觉感知实训生产线
一、面向专业和课程
面向专业：智能制造、机器人工程、人工智能、自动化、机电等专业
适用课程：机器视觉、机器人原理与应用、基于视觉的机器人控制、PLC电气控制、机电一体化系统设计、智能工厂集成技术、数字孪生技术、大模型技术应用
二、产品概述
本生产线采用3台协作机器人、2套输送系统、1套视觉系统、1套PLC电气控制系统，以微波炉磁环组装生产线上的机器人上料、视觉检测与引导、机器人组装、搬运、入库、仓储管理等应用场景，以智能制造产线电子设备装调、数据监测、生产管控与运维为实施目标，可以完成电子设备组装与调试、设计编程与参数配置、数据采集与可视化应用、生产过程数智化应用、电子设备数智化运维等多项实训任务。另外，还在运算单元中完成了DeepSeek、Qwen等开源大模型的本地化部署，支持大模型技术开发、大模型+视觉、大模型+语音、大模型+机器人等多个行业场景的应用实践。
如下图所示，生产线尺寸为长2200mm×宽1000mm，在硬件组成上，主要包含机器人上料单元、视觉检测与引导单元、机器人组装单元、机器人下料单元、仓储单元，以及PLC控制系统、HMI触摸屏、光电传感器、继电器、输送线、气缸、交换机、计算机等模块。
产品简要介绍如下：
1.满足机器人原理与应用、机器视觉、PLC电气控制、机电一体化系统设计、智能工厂集成技术、大模型技术应用等课程或知识点的教学；
2.生产线平台包含机器人、视觉系统、PLC系统、输送线和多组传感器，采用一体化设计；
3.与大型智能制造生产线的功能相似，但建设成本仅为后者的10%左右，可使用较低的成本，满足多人分组教学的要求；
4.融合了机器视觉、机器人控制、视觉与机器人协同、生产线运动控制、大模型等多种技术；
5.提供图形化交互视觉软件，功能图标直观易懂，采用拖拽式操作，适合快速进行视觉应用的开发；
6.内置的AI和视觉算法库包括物体分类识别、目标检测、缺陷检测、OCR字符识别、尺寸测量等多种案例，满足基础应用与开发教学；
7.支持多种类机器视觉、机器人、复杂传感器与智能控制等关键技术的组合实验，可支持多种不同模块同时联动实验；
8.部署本地DeepSeek、Qwen等开源大模型，支持大模型技术开发、大模型+视觉、大模型+语音、大模型+机器人等多个行业场景的应用实践。
三、功能与应用场景
1.开放性实验环境
（1）集成Python、OpenCV等运行环境，支持数字图像处理、机器视觉等算法、硬件、应用的开发和学习；
（2）提供实验所涉及的OpenCV图像处理函数的所有接口和使用说明，既可通过配置参数实现对图像的特定处理，也可新建不同的视觉项目，进行二次开发；
（3）内置的视觉软件和功能库包括物体分类识别、目标检测、OCR字符识别、缺陷检测，满足基础应用与开发教学；
（4）支持对生产线上的目标尺寸测量、缺陷检测、产品分类等应用进行开发，开展企业级实战训练。
2.开放全部源代码
开放全部软件框架和算法级源代码，支持二次开发，提供完善的实验指导书和技术文档，并提供产品相关软硬件的架构与设计方法文档。
3.图形化交互软件
2D机器视觉软件采用海康威视Vision
Master视觉软件，图形化交互界面，功能图标直观易懂，采用拖拽式操作，可快速搭建视觉方案，模块运行状态独立标识，实时显示。
主要技术参数和特点如下：
（1）包含近千个图像处理算子和多种交互式开发工具，包含130+个模块工具，支持多种操作系统和图像采集硬件设备；
（2）用户可以根据需求创建视觉方案，还可以自定义运行界面，满足个性化需求；
（3）兼容GigE Vision和USB3 Vision协议标准，可以接入多种品牌的相机，支持本地图像处理和相机数据图像处理；
（4）二次开发简单易上手，通过简化后的接口可以节省90%的代码量，新增的控件可一键导入Visual Studio中，可嵌QT，MFC，WPF和WinForm的界面开发中；
（5）支持用户自定义模块开发，用户可将自定义算法封装为VM模块后直接拖拽使用；
（6）支持TCP/IP，ModBus，串口，UDP，Ethernet/IP等常见工业通信协议，能兼容主流PLC型号的通讯。
4.部署本地大模型
完成了DeepSeek、Qwen等开源大模型的本地化部署，即部署于本机的运算单元中，除了可以开展大模型基础应用的学习外，还可以利用大模型和配置的视觉、语音、机器人、传感器等设备进行交互，面向如智能制造、智能家居、智慧农业等典型场景，开展应用实践
5.视觉定位、检测与识别
视觉技术在实际应用中，通常有三个方向：定位（即计算目标位置，为机器人抓取提供引导）、检测（即检测目标的缺陷，如零部件划痕、缺角等，用于进行良次品分类）、识别（即识别目标的名称，如识别不同长度的螺杆，用于进行产品种类的分拣）。
本产品在不同的实训项目中，综合运用到了上述三类技术：可以通过视觉系统定位目标的位置，机器人准确抓取；也可以进行目标的缺陷检测，由机器人进行次品剔除；还可以进行目标的尺寸测量或型态识别，由机器人完成目标的分类。用户可以在开源环境下进行自主开发，面向智能制造、智慧物流等多个场景，开展行业应用。
6.机器人手眼标定
为机器人引入视觉系统，使得机器人可进行自主的、智能化的运动，完成如零部件分类、物流搬运、码垛、物体分拣等功能。
手眼标定有两种方式：眼在手上、眼在手外。通常来说，对大目标或大范围多个目标的抓取，需要更大的视野，可以采取眼在手外的方式；对小目标的抓取，则可以采用眼在手上的方式。当然，还需要考虑到机器人的负载和安装空间，是否在末端安装了视觉系统后，仍能实现对目标的抓取。
本产品综合采用了眼在手上和眼在手外的方式，满足不同场景的视觉使用需求。
7.基于视觉的机器人应用
机器人与视觉系统结合，可以对不同尺寸、外观的目标进行识别，开展目标分拣、智能码垛、物体识别、字符识别等多种基础实训项目，从而模拟生产线上的真实产品检测场景。
8.智能制造系统集成
本产品集成有3台协作机器人、1条输送线、1套2D视觉系统、2套深度视觉系统，以及多组传感器，所有组件均采用主流的通讯协议完成通讯，可以完成上料、输送、视觉自主组装、视觉检测、下料等典型智能制造场景的全流程动作。
四、主要硬件参数
1.运算单元
采用一台高性能计算机，预装Linux或Windows操作系统，部署DeepSeek、Qwen等开源大模型，并集成Python、OpenCV等运行环境，以及产品运行所需的全部软件框架和SDK，支持数字图像处理、机器视觉、机器人、大模型、电气控制等硬件或应用的开发和学习。
主要技术参数和特点如下：
（1）处理器：64位四核以上CPU；内存：16GB以上；存储：512GB以上；显存：12G以上，接口：USB3.0×4、HDMI×1、RJ45×2；
（2）内置Python3.8以上版本的运行环境，满足Python、机器学习、深度学习的编程与AI教学；
（3）内置的AI算法库包括物体分类识别、目标检测、缺陷检测、尺寸测量等，满足基础应用与开发教学；
（4）支持多种类计算机视觉、机器人、复杂传感器与智能控制等关键技术的组合实验，可支持多种不同模块同时联动实验；
（5）部署本地Deepseek-R1、Qwen2.5等大模型，支持模型部署调用，满足大模型基础应用实践，使用过程中无需连接网络。
2.协作机器人（完全开源）
协作机器人配置3台，该机器人是专为教育科研开发的一款产品，融合AI大模型技术，且完全开源，在电机控制上，开放电机、控制器与机器人关节之间的控制源码；在运动学算法上，开放底层运动学正逆解模型的源码。通过全方位的开源，用户可以从事机器人软硬件层面的各类科研、开发工作。
同时，机器人具有工业机器人的性能，提供多个拓展接口，支持视觉、语音、传感器等外设模块的接入，可应用于教学、科研、生产线集成、装配等领域。
机器人的主要技术参数如下：
|
序号 |
参数类型 |
数值 |
|
1 |
自由度 |
6 |
|
2 |
额定负载 |
3kg |
|
3 |
本体重量 |
15kg |
|
4 |
最大工作半径 |
680mm |
|
5 |
重复定位精度 |
±0.02mm |
|
6 |
工具端最大速度 |
1.2m/s |
|
7 |
关节最大运动范围 |
J1：±175°，J2：±120°，J3：±150°，J4：±175°，J5：±175°，J6：±175° |
|
8 |
关节最快速度 |
175°/s |
|
9 |
额定功耗 |
150W |
|
10 |
结构材料 |
铝合金 |
|
11 |
防护等级 |
IP54 |
|
12 |
工作环境温度 |
-10℃~70℃ |
|
13 |
安装方式 |
任意位置 |
3.2D视觉系统
2D视觉系统即一套标准工业级视觉系统，包括工业相机、镜头、LED光源、光源控制器等，通过视觉支架进行集成，安装于输送线一侧，为所有的静态目标检测、分析和处理提供实验的硬件环境。
视觉系统结构如下：
视觉系统主要硬件如下：
|
序号 |
技术参数 |
|
1 |
（1）600万像素 1/1.8” CMOS 千兆以太网工业面阵相机； （2）分辨率：3072×2048； （3）帧率：17 fps； （4）动态范围：71.3dB； （5）增益：0dB～20dB； （6）曝光时间：27μs～2.5sec； （7）黑白/彩色：彩色； （8）接口：GiGE。 |
|
2 |
（1）固定焦距、手动光圈、六百万像素、FA镜头； （2）焦距：12mm； （3）F数：F2.8～F16； （4）接口类型：C-Mount； （5）视场角：1/1.8”。 |
|
3 |
（1）LED类型：贴片LED； （2）颜色：白色； （3）色温：6600K； （4）功率：14.4W； （5）输入电压：DC 24V max.； （6）外壳材质：铝合金（表面氧化发黑处理）；（7）使用温度和湿度：温度：0～40ºC，湿度：20～85%RH(非凝结)； （8）配套光源控制器。 |
4.深度视觉系统
深度视觉系统采用1台200万像素深度体感摄像头，安装于机器人末端，用于目标的精确定位与机器人引导。摄像头可兼容ubuntu，linux和树莓派等操作系统，兼容USB3.0接口协议，可进行深度信息感知、活体识别等。摄像头内置立体深度算法，可实现更准确的深度感知及更远的范围。通过校准，立体深度感知的误差率低至2%，在室内和室外环境中最远可捕获相距达10米的数据。
深度视觉系统具体参数如下：
|
序号 |
类别 |
技术参数 |
|
1 |
使用环境 |
室内和室外 |
|
2 |
深度技术 |
双目结构光 |
|
3 |
深度范围 |
0.15-10m |
|
4 |
深度视野 |
（横向×纵向×对角线）91°×66°×101° |
|
5 |
深度流输出分辨率 |
达1280×800 |
|
6 |
深度流输出帧速率 |
1280×800@90fps |
|
7 |
最小深度距离（Min-Z） |
0.15米 |
|
8 |
红外信号发射器功率 |
可配置至达425毫瓦（mW）峰值 |
|
9 |
RGB输出分辨率 |
1920×1080 |
|
10 |
RGB输出帧速率 |
1920×1080@30fps |
|
11 |
RGB传感器视野 |
（横向×纵向×对角线）86°×55°×94° |
|
12 |
摄像头尺寸 |
（长度×厚度×高度）90毫米×25毫米×30毫米 |
|
13 |
ROS支持 |
ROS1 & ROS2 |
5.PLC控制系统
PLC控制系统采用国产汇川品牌的Easy521系列PLC，如下图所示，用于生产线相关电子设备的数据监控，以及输送线、传感器、气缸等的运行控制。
其中，触摸屏采用威纶通品牌的人机交互触摸屏幕，通过与其他相关的硬件设备结合，实现生产线的数据采集、处理和控制的任务。
主要技术参数如下：
|
序号 |
设备 |
技术参数 |
|
1 |
PLC |
（1）程序数据容量：200K 步用户程序2MByte 自定义变量，其中128kByte支持掉电保持约150K软元件，编号1000以后支持掉电保持； （2）以太网：支持EtherNet/IP、MODBUSTCP、Socket，程序上下载和固件升级； （3）串行通信：最多可支持3路（主单元支持1路，扩展卡可扩展2路）； （4）CAN通信：通过扩展卡可支持1路主站，最多接入63个从站； （5）EtherCAT：支持1路，最大72从站； （6）拓展模块：最多可支持16个本地扩展模块； （7）指令速度：20k/步/1.6ms。 |
|
2 |
触摸屏 |
（1）显示器：7”TFT； （2）分辨率：800×480； （3）亮度(cd/m2)：300； （4）背光类型：LED； （5）背光寿命：>30,000h； （6）触控精度：动作区长度(X)±2%，宽度(Y)±2%； （7）闪存(Flash)：128MB； （8）内存(RAM)：128MB； （9）处理器：32-bit RISC600MHz。 |
6.输送线
输送线采用1套直线滑台模组，上方安装有步进电机、接近传感器、光电传感器，通过PLC接入计算机，实现对模组的启动、停止、暂停等控制，以及与视觉系统的协同等的控制，从而完成集成化系统运行时的全流程动作。
主要技术参数和特点如下：
长度：500mm；导程：75mm；最大负载：5kg；直线速度：0-1.5m/s；重复定位精度：±0.05mm；电机连接方式：直连或变速；重量：2kg。
7.实训与功能模块
该生产线在功能设计上，既满足基础的机器人控制教学的需要，同时也满足智能制造方向的机器人视觉感知、电气控制、传感器控制，以及更高层次的大模型+机器人应用的需求。因此，设计有如下实训与功能模块：
（1）轨迹示教模块，包含弧线、折线、圆形、矩形等图案；
（2）视觉识别与分拣模块，支持单独进行零部件识别与缺陷检测、物体无序抓取与分类等操作；
（3）语音交互模块，支持通过语音方式控制机器人运动，以及与大模型的交互。
五、实验项目
1.课程资源
|
序号 |
类别 |
课程资源 |
|
1 |
机器人原理与应用 （约16课时） |
（1）协作机器人机械结构组成 （2）协作机器人核心零件认知 （3）机器人不同坐标系的变换与应用 （4）机器人直线、曲线、圆形、方形等轨迹编程 （5）机器人搬运编程 （6）机器人码垛编程 （7）机器人拆垛编程 （8）机器人抓取、分拣练习 |
|
2 |
机器视觉 （约30课时） |
（1）视觉系统认知 （2）像素尺寸测量 （3）物体定位和角度测量 （4）边缘长度测量与面积检测 （5）物体颜色和形状识别 （6）条码和二维码识别 （7）OCR字符分割、训练 （8）OCR字符识别 （9）基于形态学处理的产品表面缺陷检测 （10）相机棋盘格标定 （11）基于opencv的车牌识别 （12）基于模板匹配的电子产品识别 （13）基于视觉的车牌识别 （14）基于视觉的条形码识别 （15）基于视觉的二维码识别 （16）基于视觉的物体形状颜色识别 （17）基于视觉的水果识别 （18）基于图像的NanoDet目标检测模型实践 （19）基于视觉的工件缺陷检测 （20）基于视觉的证件识别 |
|
3 |
基于视觉的机器人应用 （约20课时） |
（1）机器人认知和基础操作 （2）机器人示教和运动控制 （3）机器人与视觉系统标定 （4）基于视觉的机器人目标分类 （5）基于视觉的机器人物体码垛 （6）基于视觉的机器人数字排序 （7）基于视觉的机器人水果分类 |
|
4 |
机器人柔性制造系统集成 （约24课时） |
（1）机器人搬运码垛工作站系统集成 （2）机器人自动化生产线系统集成 （3）基于视觉的智慧分拣系统集成 （4）多机器人协作动态装配与检测实训 （5）智能制造系统集成与设计 |
|
5 |
数字孪生系统实训 （约30课时） |
（1）数字孪生模型设置与调试 （2）HMI界面设计与编程调试 （3）PLC编程应用与调试 （4）虚拟HMI与虚拟PLC编程调试 （5）上料单元虚实同步调试 （6）输送单元虚实同步调试 （7）装配单元虚实同步调试 （8）传感单元虚实同步调试 （9）仓储单元虚拟调试 |
|
6 |
大模型技术基础 （约12课时） |
（1）大模型的定义与特点 （2）大模型在不同领域的应用现状 （3）大模型数据收集与预处理 （4）大模型的微调与训练 （5）大模型的编译与转换 （6）大模型的本地化部署与推理 （7）大模型的本地服务调用 |
|
7 |
大模型+视觉应用案例 （约12课时） |
（1）基于大模型的图像生成方法 （2）基于大模型的图像理解 （3）基于视觉与文本的多模态大模型应用 （4）基于大模型的缺陷数据自主生成 （5）智能安防监控案例 |
|
8 |
大模型+语音应用案例 （约12课时） |
（1）大模型在语音识别中的应用 （2）基于大模型的语音合成 （3）基于大模型的智能对话系统 （4）语音控制机器人物体分类 |
2.机器视觉软件算子
|
序号 |
类别 |
视觉模块与工具 |
|
1 |
图像采集 |
图像源、多图采集、输出图像、缓存图像、光源 |
|
2 |
视觉定位 |
高精度匹配、快速匹配、灰度匹配、图形定位、圆查找、直线查找、BLOB分析、卡尺工具、边缘查找、间距检测、位置修正、矩形检测、顶点检测、边缘交点、平行线查找、四边形查找、直线查找组合、多直线查找、路径提取、Blob标签分析 |
|
3 |
视觉测量 |
线圆测量、圆圆测量、点圆测量、点线测量、线线测量、点点测量、圆拟合、直线拟合、亮度测量、像素统计、直方图工具、几何创建 |
|
4 |
视觉识别 |
二维码识别、条码识别、字符识别、DL字符识别G/C、DL读码G/C、DL字符定位G/C |
|
5 |
视觉标定 |
标定板标定、N点标定、标定转换、单位转换、畸变标定、畸变校正、映射标定、N图像标定 |
|
6 |
视觉对位 |
相机映射、单点对位、点集对位、线对位 |
|
7 |
图像处理 |
图像组合、形态学处理、图像二值化、图像滤波、图像增强、图像运算、清晰度评估、图像修正、阴影校正、仿射变换、圆环展开、拷贝填充、帧平均、图像归一化、图像矫正、几何变换、图像拼接、多图融合 |
|
8 |
颜色处理 |
颜色抽取、颜色测量、颜色转换、颜色识别 |
|
9 |
缺陷检测 |
字符缺陷检测、圆弧边缘缺陷检测、直线边缘缺陷检测、圆弧对缺陷检测、直线对缺陷检测、边缘组合缺陷检测、边缘对组合缺陷检测、边缘模型缺陷检测、边缘对模型缺陷检测、缺陷对比 |
|
10 |
逻辑工具 |
条件检测、分支模块、分支字符、文本保存、逻辑、格式化、变量计算、字符比较、脚本、Group、点集、耗时统计、数据集合、协议解析、协议组装 |
六、综合实训
1.电子设备组装与调试
完成机器人系统、视觉系统、PLC控制系统、输送线、上料机构、产品组装平台、光电传感器、继电器、交换机等电子设备和机电部件的组装，并在生产线上完成以上所有设备的安装部署、供电和网络连接、参数配置和功能调试。
2.设计编程与参数配置
完成HMI界面设计、PLC与HMI编程、电子设备参数设置，实现对电子设备的数据监测或自动控制。
3.生产过程数智化应用
完成各类不同工业网络协议的传感、控制等电子设备的数据采集；并完成人机操作界面的页面布局、数据接入、数据录入及展示等工业数据的可视化开发工作。
4.数据采集与可视化应用
搭建制造执行系统（MES）运行环境，完成系统的安装、部署、调试；配置制造执行系统（MES），实现对电子设备状态的数据监控；根据制造执行系统（MES）记录的生产数据进行分析，完成生产管控建议报告。
5.电子设备数智化运维
结合电子设备状态监测数据，对设备上指定模块进行故障排除，按要求写出故障解决方法并编写核心电子设备保养手册；基于智能传感器的数据观察与诊断结果，结合预测性维护等新技术，提出智能制造产线电子设备的预测性运维建议。