电子神越女学 人 智能机器人原理与实践 一…羽毛球视觉处理 骆德渊博士、教投 电子科技大学机械与电气工程学院副院长 电子科技大学机器人队总教练
1 羽毛球视觉处理
德仓创机器人 Dechuang Robot 7.羽毛球机器人视觉软件系统 软件系统架构 羽毛球机器人视觉系统运行在Vindows操作系统；QT交互界面；Visual Studio软件开发平台；HALCON图像处理算法处理平台， 结合相机驱动及$DK支持图像高速实时采集；通过高速无线数传与移动机器人进行同步通信、电池剩余电量监控与报警、移动机 器人状态监控；引用HALCON算子对相机进行内外参数标定；引用HALCON算子进行图像顶处理、识别羽毛球、跟踪羽毛球、 预测羽毛球落地点与击球时间，同时对移动机器人进行精确定位，周期性校正羽毛球位置。 羽毛球跟踪 羽毛球落点预测 机器人定位 图像采集 图像预处理 羽毛球识别 相机标定 同步通信 电池监控 机器人状态监测 QT Visual Studio HALCON 相机SDK WINDOWS操作系统
7.羽毛球机器人视觉软件系统 3 软件系统架构 WINDOWS操作系统 Visual Studio HALCON 相机SDK 图像采集 图像预处理 羽毛球识别 羽毛球跟踪 羽毛球落点预测 同步通信 电池监控 机器人状态监测 QT 相机标定 机器人定位 羽毛球机器人视觉系统运行在Windows操作系统；QT交互界面；Visual Studio软件开发平台；HALCON图像处理算法处理平台， 结合相机驱动及SDK支持图像高速实时采集；通过高速无线数传与移动机器人进行同步通信、电池剩余电量监控与报警、移动机 器人状态监控；引用HALCON算子对相机进行内外参数标定；引用HALCON算子进行图像预处理、识别羽毛球、跟踪羽毛球、 预测羽毛球落地点与击球时间，同时对移动机器人进行精确定位，周期性校正羽毛球位置
德仓创机器人 Dechuang Robot 7.羽毛球机器人视觉软件系统 图像采集与获取 图像采集与获取是羽毛球机器人视觉系统第一至关重要的步骤，稳定性与实时性是图像采集的主要指标。根据实际需要，正确选 择相机分辨率、相机最高帧率、镜头焦距、镜头分辨率，还要选择驱动支持HCON的相机。HLCO支持目前主流相机采集接口； 支持多种品牌的相机。 IEEE1394 ALLIED BASLER.7 0p 花m 雨 面线 USB3.0 Line Scan Camera ELTECO GENCCAM iDS: ,i【eutron Linx ■ matrox DIRECTX Vhkin USB2.0 Digital Camera HALCON Opteon Tattilo IMAGING SOURCE GigE Analog Camera 国内的大华，海康威视、大恒图像等公司的相机也支持HLCO。 Direct show GenlCam
7.羽毛球机器人视觉软件系统 4 图像采集与获取 图像采集与获取是羽毛球机器人视觉系统第一至关重要的步骤，稳定性与实时性是图像采集的主要指标。根据实际需要，正确选 择相机分辨率、相机最高帧率、镜头焦距、镜头分辨率，还要选择驱动支持HALCON的相机。HALCON支持目前主流相机采集接口； 支持多种品牌的相机。 HALCON IEEE1394 Line Scan Camera Digital Camera Analog Camera GenICam Direct show GigE USB2.0 USB3.0 国内的大华、海康威视、大恒图像等公司的相机也支持HALCON
德仓创机器人 Dechuang Robot 7.羽毛球机器人视觉软件系统 图像采集与获取 Halcon图像采集具有如下特点： 链接库 ·图像采集链接库， 独立于其它图像处理链接库 ·一致的代码模板（磁盘文件和图像采集设备） 图像尺寸、 。支持多个采集设备 位数、颜 一致代码 ·同步和异步采集 色可调 。 支持外触发 。 图像尺寸、图像位数、颜色空间可调 。1 支持颜色查找表 HALCON ·支持与设备相关的参数调整。 图像采集 支持 参数调整 羽毛球机器人对图像采集要求如下： 多设备 高速采集 。左右相机同步采集 ·外触发采集 ·异步采集 外触发 同步异步 采集 ·图像尺寸最大。 5
7.羽毛球机器人视觉软件系统 5 图像采集与获取 HALCON 图像采集 链接库 一致代码 支持 多设备 同步异步 采集 外触发 参数调整 图像尺寸、 位数、颜 色可调 Halcon图像采集具有如下特点： • 图像采集链接库，独立于其它图像处理链接库 • 一致的代码模板（磁盘文件和图像采集设备） • 支持多个采集设备 • 同步和异步采集 • 支持外触发 • 图像尺寸、图像位数、颜色空间可调 • 支持颜色查找表 • 支持与设备相关的参数调整。 羽毛球机器人对图像采集要求如下： • 高速采集 • 左右相机同步采集 • 外触发采集 • 异步采集 • 图像尺寸最大
德仓创机器人 Dechuang Robot 7.羽毛球机器人视觉软件系统 图像采集与获取 Halcon图像采集 图像采集C+程序开发过程 应用程序 。 获取采集 相机连接， 编译 获取采集 tran 。 设置采集 Visual Studio 率等参数； 同步采集， 代码专家 异步采集， fra gral 关闭采集 HDevelop ■ trar D soft 国每福福福 Halcon library 原型化 高级用户接口工具 视觉开发 6
7.羽毛球机器人视觉软件系统 6 图像采集与获取 Halcon图像采集有如下几个过程： • 获取采集接口信息，Halcon算子：info_framegrabber ()； • 相机连接，获得图像采集句柄，Halcon算子：open_framegrabber()； • 获取采集设备参数，Halcon算子：get_framegrabber_param()； • 设置采集参数，Halcon算子：set_framegrabber_param(),可以设置触发源、曝光时间、增益、采集频率等参数； • 同步采集，Halcon算子：grab_image(); • 异步采集，Halcon算子：grab_image _async() ； • 关闭采集设备， Halcon算子： close_framegrabber()。 同步采集 HALCON图像采集程序 异步采集 图像采集C++程序开发过程