第17卷第4期 智能系统学报 Vol.17 No.4 2022年7月 CAAI Transactions on Intelligent Systems Jul.2022 D0:10.11992/tis.202110018 网络出版地址：https:/ns.cnki.net/kcms/detail/23.1538.TP.20220421.1530.007html 高层火灾智能报警及逃生指导系统 毕晓君，孙梓玮，刘进 (1.中央民族大学信息工程学院，北京100081；2.哈尔滨工程大学信息与通信工程学院，黑龙江哈尔滨 150001) 摘要：现有高层火灾报警系统因报警滞后，缺乏火灾定位以及逃生引导，导致现场人员伤亡较大。为此，设计 了具有精准定位、高效报警以及智能逃生引导功能的火灾警报系统。通过TXW8301-WFi模块、火灾探测器和 语音单片构成节点设备，布控在建筑内各区域，可自动检测火灾发生，并第一时间在各楼层播报火灾位置及具 体的逃生指引路线，可以解决高层建筑距离远、隔断多造成因不知情、不清楚逃生路线而错失最佳逃生时机的 问题。除自动报警引导功能外，本系统通过对通道监控视频进行去烟补光和去噪处理，并基于深度学习算法进 行行人密度检测，可以根据逃生通道的拥堵情况进行多次逃生指导，最终所有信息将在系统总控界面显示，方 便统一救援指挥，可最大限度地降低火灾中的人员伤亡。 关键词：火灾报警系统；无线保真；火灾探测器：现场可编程逻辑门阵列：套接字：行人检测：中值滤波：同态滤波 中图分类号：TP277文献标志码：A文章编号：1673-4785(2022)04-0814-10 中文引用格式：毕晓君，孙梓玮，刘进.高层火灾智能报警及逃生指导系统.智能系统学报，2022,17(4)：814-823. 英文引用格式：BI Xiaojun,SUN Ziwei,,LIU Jin..Intelligent fire alarm and escape guidance systems for highrise buildingsJl.CAAI transactions on intelligent systems,2022,17(4):814-823. Intelligent fire alarm and escape guidance systems for highrise buildings BI Xiaojun',SUN Ziwei',LIU Jin2 (1.School of Information Engineering,Minzu University of China,Beijing 100081,China:2.Department of Information and Com- munication Engineering,Harbin Engineering University,Harbin 150001,China) Abstract:Due to delayed alarms,lack of fire positioning,and lack of escape guidance,existing highrise fire alarm sys- tems caused large casualties on the scene.Thus,this paper designs a fire alarm system with precise positioning,high-ef- ficiency alarm,and intelligent escape guidance functions.It can be deployed in various areas of the building using the TXW8301-WiFi module,fire detector,and voice monolithic to form a node device,which can automatically detect the occurrence of a fire and broadcast the fire location and specific escape guidance routes on each floor as soon as possible, which can solve the problem of highrise buildings.Due to unknown and unclear escape routes,the long distance between buildings and many partitions causes the problem of missing the best time to escape.In addition to the automat- ic alarm guidance function,the system uses the channel monitoring video to remove smoke,add light and denoise,and perform pedestrian density detection based on deep learning algorithms.It can conduct multiple escape guidance accord- ing to the congestion of the escape channel,and finally,all the information will be displayed on the system's main con- trol interface to facilitate unified rescue command and minimize fire casualties. Keywords:fire alarm systems;wireless fidelity;fire detectors;field programmable gate array;socket;pedestrian detec- tion:median filtering:homomorphic filtering 随着城市建设的高速发展以及基建能力的提 因此高层建筑往往存在着较大的火灾隐患。近年 升，高层建筑越来越多。由于建设规模大、装修 来，我国高层建筑火灾呈逐年上升趋势，造成的 标准高、人员密集以及各种电气设备的频繁使用， 人员伤亡和经济损失触目惊心，仅2019年高楼层 收稿日期：2021-10-18.网络出版日期：2022-04-22 建筑火灾6874起，共死亡1335人。经分析，高层 通信作者：毕晓君.E-mail:bixiaojun@hrbeu.edu.cn 建筑造成人员伤亡的主要原因是由于楼层过高
DOI: 10.11992/tis.202110018 网络出版地址: https://kns.cnki.net/kcms/detail/23.1538.TP.20220421.1530.007.html 高层火灾智能报警及逃生指导系统 毕晓君1 ，孙梓玮1 ，刘进2 （1. 中央民族大学 信息工程学院，北京 100081; 2. 哈尔滨工程大学 信息与通信工程学院，黑龙江 哈尔滨 150001） 摘 要：现有高层火灾报警系统因报警滞后，缺乏火灾定位以及逃生引导，导致现场人员伤亡较大。为此，设计 了具有精准定位、高效报警以及智能逃生引导功能的火灾警报系统。通过 TXW8301-WiFi 模块、火灾探测器和 语音单片构成节点设备，布控在建筑内各区域，可自动检测火灾发生，并第一时间在各楼层播报火灾位置及具 体的逃生指引路线，可以解决高层建筑距离远、隔断多造成因不知情、不清楚逃生路线而错失最佳逃生时机的 问题。除自动报警引导功能外，本系统通过对通道监控视频进行去烟补光和去噪处理，并基于深度学习算法进 行行人密度检测，可以根据逃生通道的拥堵情况进行多次逃生指导，最终所有信息将在系统总控界面显示，方 便统一救援指挥，可最大限度地降低火灾中的人员伤亡。 关键词：火灾报警系统；无线保真；火灾探测器；现场可编程逻辑门阵列；套接字；行人检测；中值滤波；同态滤波 中图分类号：TP277 文献标志码：A 文章编号：1673−4785(2022)04−0814−10 中文引用格式：毕晓君, 孙梓玮, 刘进. 高层火灾智能报警及逃生指导系统 [J]. 智能系统学报, 2022, 17(4): 814–823. 英文引用格式：BI Xiaojun, SUN Ziwei, LIU Jin. Intelligent fire alarm and escape guidance systems for highrise buildings[J]. CAAI transactions on intelligent systems, 2022, 17(4): 814–823. Intelligent fire alarm and escape guidance systems for highrise buildings BI Xiaojun1 ，SUN Ziwei1 ，LIU Jin2 (1. School of Information Engineering, Minzu University of China, Beijing 100081, China; 2. Department of Information and Communication Engineering, Harbin Engineering University, Harbin 150001, China) Abstract: Due to delayed alarms, lack of fire positioning, and lack of escape guidance, existing highrise fire alarm systems caused large casualties on the scene. Thus, this paper designs a fire alarm system with precise positioning, high-efficiency alarm, and intelligent escape guidance functions. It can be deployed in various areas of the building using the TXW8301-WiFi module, fire detector, and voice monolithic to form a node device, which can automatically detect the occurrence of a fire and broadcast the fire location and specific escape guidance routes on each floor as soon as possible, which can solve the problem of highrise buildings. Due to unknown and unclear escape routes, the long distance between buildings and many partitions causes the problem of missing the best time to escape. In addition to the automatic alarm guidance function, the system uses the channel monitoring video to remove smoke, add light and denoise, and perform pedestrian density detection based on deep learning algorithms. It can conduct multiple escape guidance according to the congestion of the escape channel, and finally, all the information will be displayed on the system’s main control interface to facilitate unified rescue command and minimize fire casualties. Keywords: fire alarm systems; wireless fidelity; fire detectors; field programmable gate array; socket; pedestrian detection; median filtering; homomorphic filtering 随着城市建设的高速发展以及基建能力的提 升，高层建筑越来越多。由于建设规模大、装修 标准高、人员密集以及各种电气设备的频繁使用， 因此高层建筑往往存在着较大的火灾隐患。近年 来，我国高层建筑火灾呈逐年上升趋势，造成的 人员伤亡和经济损失触目惊心，仅 2019 年高楼层 建筑火灾 6 874 起，共死亡 1 335 人。经分析，高层 建筑造成人员伤亡的主要原因是由于楼层过高、 收稿日期：2021−10−18. 网络出版日期：2022−04−22. 通信作者：毕晓君. E-mail：bixiaojun@hrbeu.edu.cn. 第 17 卷第 4 期 智 能 系 统 学 报 Vol.17 No.4 2022 年 7 月 CAAI Transactions on Intelligent Systems Jul. 2022
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·815· 人员分散且相对封闭，使现场人员无法第一时间 E902-CPU的FPGA端，通过运行其部署的中值滤 获得火灾发生信息，特别是火灾发生的地点，从 波算法、同态滤波算法.o进行图像去噪、去烟 而造成逃生决策失误，错过了宝贵的逃生时机。 及补光处理。在树莓派中部署基于人工智能的行 因此，如何利用高新科技有效解决高层建筑火灾 人检测算法1对视频的人数进行监测，当超过 定点报警及逃生智能指导的研究迫在眉睫。 一定的人数阈值后，界面上就会发出警报，并重 目前现有的火灾自动报警系统主要存在以下 新规划各楼层不同区域的逃生路线。同时，将建 问题：1)无法及时通知现场人员火灾发生的具 筑内火灾报警情况以及人群密度情况在上位机界 体地点，容易错失最佳逃生时机及造成逃生错误 面进行显示，方便消防及管理部门了解内部情 等问题；2)部署报警系统时需要穿墙布线，无法 况，进行智能救援指挥，最大限度地降低火灾中 做到灵活部署，对于老旧小区、古建筑等场景情 的人员伤亡。 况无法应用：3)当火灾发生时，只能实现警笛报 本系统由硬件设备和算法软件两部分组成。 警，没有具体可行的逃生指导方案；4)当救援工 硬件设备包括TXW8301-WiFi模块、JTY-GD- 作展开时，由于对建筑内火情及人群情况不清楚 DG311激光烟雾火灾探测器、WT588D语音单片 而导致救援指挥延误。而目前国内外针对火灾处 机组成的节点设备以及系统上位机端。算法软件 理的研究重点为消防用水系统，消防排烟系统， 包括基于中值滤波的图像去噪算法、基于同态滤 应急照明及多深测器消防联动控制等火灾处理方 波的去烟补光算法以及基于深度学习的实时行人 面，而火灾定位报警，智能引导人群逃生及逃生 检测算法，还有数据传输模块以及系统上位机界 通道的人群密度监控等方面尚无研究。 面。图1给出了系统整体工作流程。 针对上述问题，本文基于人工智能技术的发 展，特别是具有无线传输能力的智能芯片问世， 开始 结合火灾实际需求提出了可行的研究方法。所设 激光烟雾探测器 计的报警系统能够实现一旦发生火情，第一时间 检测 对建筑内所有区域进行定位报警，并及时语音播 报各区域的最佳逃生路线。同时开发基于深度学 <发生火灾 N 习的行人检测算法以掌握建筑内各区域的人群密 Y 度状态，能够随时指导现场人员选择最佳的具体 树莓派驱动Wi-Fi模块激 活无线网络，开启摄像头 逃生路线。经查阅火灾报警相关文献和资料，目 前国内外尚无类似功能的火灾语音报警系统，本 火灾信息传给上位机 系统的研究具有创新性和实用性，可为火灾现场 人员赢得宝贵的逃生时间，给出最佳的逃生路 图像去噪去烟补光 线，提高逃生效率。 行人流量检测 1系统整体方案设计 音定 上位机结合火灾情况 给出人员逃生路线 本文通过TXW8301-WiFi模块实现系统组 点播报 网，并结合烟雾火灾探测器和WT588D语音单片 上位机显示火灾情况 机构成节点设备，实时自动监测各楼层不同区域 的烟雾浓度状态，当检测到某处烟雾浓度过高 火灾结束 时，表明有火灾发生，立即激活建筑内所有节点 Y 设备组网，根据预存逃生路线及火灾发生情况自 结束 动语音播报火灾的具体地点以及逃生路线，并能 够将每层楼不同区域的实时状态通过无线网发送 图1系统整体工作流程 Fig.1 Overall work flow of the system 至上位机，上位机将收到的数据以界面动画的形 式进行显示。同时现场可编程逻辑门阵列(field 2 系统硬件设计 programmable gate array,.FPGA)开发板通过串口控 制上位机树莓派端进行各逃生通道的图像数据采 整个系统硬件包括节点设备和系统上位机端 集，将采集的图像数据通过网口发送至部署有 两大部分，其中节点设备用于楼层火灾检测，主
人员分散且相对封闭，使现场人员无法第一时间 获得火灾发生信息，特别是火灾发生的地点，从 而造成逃生决策失误，错过了宝贵的逃生时机。 因此，如何利用高新科技有效解决高层建筑火灾 定点报警及逃生智能指导的研究迫在眉睫。 目前现有的火灾自动报警系统主要存在以下 问题[1-5] ：1）无法及时通知现场人员火灾发生的具 体地点，容易错失最佳逃生时机及造成逃生错误 等问题；2）部署报警系统时需要穿墙布线，无法 做到灵活部署，对于老旧小区、古建筑等场景情 况无法应用；3）当火灾发生时，只能实现警笛报 警，没有具体可行的逃生指导方案；4）当救援工 作展开时，由于对建筑内火情及人群情况不清楚 而导致救援指挥延误。而目前国内外针对火灾处 理的研究重点为消防用水系统，消防排烟系统， 应急照明及多探测器消防联动控制等火灾处理方 面，而火灾定位报警，智能引导人群逃生及逃生 通道的人群密度监控等方面尚无研究。 针对上述问题，本文基于人工智能技术的发 展，特别是具有无线传输能力的智能芯片问世， 结合火灾实际需求提出了可行的研究方法。所设 计的报警系统能够实现一旦发生火情，第一时间 对建筑内所有区域进行定位报警，并及时语音播 报各区域的最佳逃生路线。同时开发基于深度学 习的行人检测算法以掌握建筑内各区域的人群密 度状态，能够随时指导现场人员选择最佳的具体 逃生路线。经查阅火灾报警相关文献和资料，目 前国内外尚无类似功能的火灾语音报警系统，本 系统的研究具有创新性和实用性，可为火灾现场 人员赢得宝贵的逃生时间，给出最佳的逃生路 线，提高逃生效率。 1 系统整体方案设计 本文通过 TXW8301-WiFi 模块实现系统组 网，并结合烟雾火灾探测器和 WT588D 语音单片 机构成节点设备，实时自动监测各楼层不同区域 的烟雾浓度状态，当检测到某处烟雾浓度过高 时，表明有火灾发生，立即激活建筑内所有节点 设备组网，根据预存逃生路线及火灾发生情况自 动语音播报火灾的具体地点以及逃生路线，并能 够将每层楼不同区域的实时状态通过无线网发送 至上位机，上位机将收到的数据以界面动画的形 式进行显示。同时现场可编程逻辑门阵列 (field programmable gate array, FPGA) 开发板通过串口控 制上位机树莓派端进行各逃生通道的图像数据采 集，将采集的图像数据通过网口发送至部署有 E902-CPU 的 FPGA 端，通过运行其部署的中值滤 波算法[6] 、同态滤波算法[7-10] 进行图像去噪、去烟 及补光处理。在树莓派中部署基于人工智能的行 人检测算法[11-14] 对视频的人数进行监测，当超过 一定的人数阈值后，界面上就会发出警报，并重 新规划各楼层不同区域的逃生路线。同时，将建 筑内火灾报警情况以及人群密度情况在上位机界 面进行显示，方便消防及管理部门了解内部情 况，进行智能救援指挥，最大限度地降低火灾中 的人员伤亡。 本系统由硬件设备和算法软件两部分组成。 硬件设备包括 TXW8301-WiFi 模块、JTY-GDDG311 激光烟雾火灾探测器、WT588D 语音单片 机组成的节点设备以及系统上位机端。算法软件 包括基于中值滤波的图像去噪算法、基于同态滤 波的去烟补光算法以及基于深度学习的实时行人 检测算法，还有数据传输模块以及系统上位机界 面。图 1 给出了系统整体工作流程。 开始 激光烟雾探测器 检测 发生火灾 树莓派驱动 Wi-Fi 模块激 活无线网络, 开启摄像头 Y N 火灾信息传给上位机 图像去噪去烟补光 行人流量检测 上位机结合火灾情况 给出人员逃生路线 上位机显示火灾情况 火灾结束 结束 Y N 楼层语音定点播报 图 1 系统整体工作流程 Fig. 1 Overall work flow of the system 2 系统硬件设计 整个系统硬件包括节点设备和系统上位机端 两大部分，其中节点设备用于楼层火灾检测，主 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·815·
·816· 智能系统学报 第17卷 要由TXW8301-WiFi模块、JTY-GD-DG311激光 系统会定时激活所有节点，进行设备及电池自 烟雾火灾探测器以及WT588D语音单片机组成， 检，保证系统始终处于能够正常工作的状态。可 平时系统处于休眠状态的，无需电源。当火灾发 实现实时监测楼层火灾、实现系统组网、语音播 生时，通过火灾检测信号自动启动电源，激活各个 报以及将监测数据发送至上位机。系统上位机端 节点开始工作。考虑到火灾时容易出现断电现象， 主要由树莓派主控和FPGA硬件加速端组成，主 因此搭配移动电源使用非传统的插座式电源，可 要功能是将获取的火灾数据、图像数据进行处理 以满足系统连续工作12个小时。在日常使用中， 并显示。本系统的硬件架构图如图2所示。 楼层火灾监控器 系统上位机端 JTY-GD. DG3111 系统组网控制总端 系统硬件加速端 WIFI AH透传 网口 数据 语音模块 传输 WT588D WIFI模块 XW8301 WIFI模块 基于WujianI00软核 树莓派 TXW8301 的FPGA开发板 图2硬件设计关系图 Fig.2 Hardware design relationship diagram 2.1TXW8301-WFi通信模块 2.2语音播报模块 在设计WFi通信模块时，将集成有玄铁E803 语音播报模块由WT588D语音芯片及外挂 CPU内核的TXW-8301-WiFi模块配置为STA网 16M-Flash存储芯片组成，将事先录制好的不同区 络模式，通过GPIO的高低电平即火灾探测器继 域的逃生路线语音通过专用Flash烧写器写入 电器的输出信号来判断光电感烟器是否检测到有 Flash芯片，一旦某处被检测到有火灾发生时，立 火灾发生，当某处检测到有火灾发生后，WFi模 即通过TXW8301模块的GPIO接口模拟三线 块通过GPIO接口驱动WT588D语音模块进行语 SPI协议驱动WT588D语音播报不同区域的逃生 音播报，同时基于socket网络通信协议将火灾信 路线，同时外接功放来提升语音信号输出功率。 息发送到上位机AP端。 2.3系统上位机树莓派主控端 该WiFi模块工作在730~950MHz频段，相较 上位机主控端由端使用树莓派4B,通过挂载 于2.4GHz和5GHz频率的其他WiFi设备，在拥 TXW83-01-WiFi模块的驱动使用AH接口控制 有在相同发射功率的情况下具有传输距离远，穿 WiFi模块，通过Linuⅸ指令集配置主控端WiFi模 透性强的优点，最远传输距离可达到3km,非常 块为AP网络模式，并将工作频段和密匙配置成 适用于高楼层之间的无线信息传输。同时预留丰 和STA端相同，实现主控端与节点设备的WiFi 富的接口可用于开发，本系统对该模块的使用情 组网，具体配置参数如表2所示。 况如表1所示。 通过QT软件制作了火灾报警系统界面充分利 表1TXW8301-WiFi接口使用情况 用树莓派的优势，将各子节点设备传输的数据以界 Table 1 TXW8301-WiFi interface usage 面动画形式进行展示，可以更清晰的在上位机树莓 TXW8301接▣ 功能介绍 派端实时反映各楼层的设备及火灾发生情况。同时， 连接树莓派或上位机串口通过AT 在各楼层的逃生通道处置有摄像头，一旦检测到有 USB接▣ 指令配置模块参数实现模块组网 火灾发生，将各摄像头采集的图像数据发送至上位 GPIO B4-B7 驱动WT588D进行语音播报 机端进行处理，通过基于深度学习的行人检测算法， 连接光电感烟器，检测火灾信息 获得各通道的人群密度情况，并在上位机端界面进 GPIO BO 行展示。可实时监控逃生通道的人流量，以及时优 JTAG CDK程序调试、烧写 化各区域逃生路线及消防部门的救援指挥工作
要由 TXW8301-WiFi 模块、JTY-GD-DG311 激光 烟雾火灾探测器以及 WT588D 语音单片机组成， 平时系统处于休眠状态的，无需电源。当火灾发 生时，通过火灾检测信号自动启动电源，激活各个 节点开始工作。考虑到火灾时容易出现断电现象， 因此搭配移动电源使用非传统的插座式电源，可 以满足系统连续工作 12 个小时。在日常使用中， 系统会定时激活所有节点，进行设备及电池自 检，保证系统始终处于能够正常工作的状态。可 实现实时监测楼层火灾、实现系统组网、语音播 报以及将监测数据发送至上位机。系统上位机端 主要由树莓派主控和 FPGA 硬件加速端组成，主 要功能是将获取的火灾数据、图像数据进行处理 并显示。本系统的硬件架构图如图 2 所示。 楼层火灾监控器 JTY-GDDG3111 语音模块 WT588D WIFI 模块 TXW8301 系统上位机端 WIFI 模块 TXW8301 WIFI AH 透传 系统组网控制总端 树莓派 基于 Wujian100 软核 的 FPGA 开发板 系统硬件加速端 网口 数据 传输 图 2 硬件设计关系图 Fig. 2 Hardware design relationship diagram 2.1 TXW8301-WiFi 通信模块 在设计 WiFi 通信模块时，将集成有玄铁 E803- CPU 内核的 TXW-8 301-WiFi 模块配置为 STA 网 络模式，通过 GPIO 的高低电平即火灾探测器继 电器的输出信号来判断光电感烟器是否检测到有 火灾发生，当某处检测到有火灾发生后，WiFi 模 块通过 GPIO 接口驱动 WT588D 语音模块进行语 音播报，同时基于 socket 网络通信协议将火灾信 息发送到上位机 AP 端。 该 WiFi 模块工作在 730~950 MHz 频段，相较 于 2.4 GHz 和 5 GHz 频率的其他 WiFi 设备，在拥 有在相同发射功率的情况下具有传输距离远，穿 透性强的优点，最远传输距离可达到 3 km，非常 适用于高楼层之间的无线信息传输。同时预留丰 富的接口可用于开发，本系统对该模块的使用情 况如表 1 所示。 表 1 TXW8301-WiFi 接口使用情况 Table 1 TXW8301-WiFi interface usage TXW8301接口 功能介绍 USB接口 连接树莓派或上位机串口通过AT 指令配置模块参数实现模块组网 GPIO B4~B7 驱动WT588D进行语音播报 GPIO B0 连接光电感烟器，检测火灾信息 JTAG CDK程序调试、烧写 2.2 语音播报模块 语音播报模块由 WT588D 语音芯片及外挂 16M-Flash 存储芯片组成，将事先录制好的不同区 域的逃生路线语音通过专用 Flash 烧写器写入 Flash 芯片，一旦某处被检测到有火灾发生时，立 即通过 TXW8301 模块的 GPIO 接口模拟三线 SPI 协议驱动 WT588D 语音播报不同区域的逃生 路线，同时外接功放来提升语音信号输出功率。 2.3 系统上位机树莓派主控端 上位机主控端由端使用树莓派 4B，通过挂载 TXW83-01-WiFi 模块的驱动使用 AH 接口控制 WiFi 模块，通过 Linux 指令集配置主控端 WiFi 模 块为 AP 网络模式，并将工作频段和密匙配置成 和 STA 端相同，实现主控端与节点设备的 WiFi 组网，具体配置参数如表 2 所示。 通过 QT 软件制作了火灾报警系统界面充分利 用树莓派的优势，将各子节点设备传输的数据以界 面动画形式进行展示，可以更清晰的在上位机树莓 派端实时反映各楼层的设备及火灾发生情况。同时， 在各楼层的逃生通道处置有摄像头，一旦检测到有 火灾发生，将各摄像头采集的图像数据发送至上位 机端进行处理，通过基于深度学习的行人检测算法， 获得各通道的人群密度情况，并在上位机端界面进 行展示。可实时监控逃生通道的人流量，以及时优 化各区域逃生路线及消防部门的救援指挥工作。 ·816· 智 能 系 统 学 报 第 17 卷
第4期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·817· 表2WiFi模块参数配置 Table 2 Wi-Fi module parameter configuration 配置指令 说明 AT+MODE-STA 配置为STA模式 AT+SSID-SSB 设置模块ID为SSB AT+KEYMGMT-NONE 关闭加密模式 AT+PsK=baa58559a9edd7c3a55e446bc658ef76a7173d023d256786832474d737756a82 设置模块密码 AT+BSS BW=4 设置带宽为4MHz AT+TX MCS=1 设置模块发射功率为1dB AT+FREQ RANGE=9020.9100 设置模块工作频段范围为9020~9100MHz 2.4FPGA开发版 Block Design将其例化到顶层。Wujian100软核外 基于Wujian100软核的Nexys Video FPGA将 设拓展总线均为AHB接口，首先添加AHB转AXI 采集的图像数据通过中值滤波算法、同态滤波算 总线桥适配软核接口，分别通过AXI Ethernet Sub- 法进行处理s叨，减少图像噪点，提升图像的清晰 system和AXI Direct Memory Access两个IP核实 度，提升在暗光环境下的图像质量，处理后的图 现以太网外设GEMAC和DMA的功能，将图像 像数据再发送至树莓派端。搭建FPGA图像处理 数据传入FPGA。然后对图像数据应用中值滤波 硬件系统框图如图3所示。系统的硬件加速设计 和同态滤波算法，最后将处理后的图像数据通过 模块以移植有Wujian100软核移植的Nexys Video DMA缓存至DDR3, FPGA开发板为核心，通过构建图像处理系统的 UART wujianI00软核 AHB to AXI 图像数据流！ 以太网端口 中值滤波算法 同态滤波算法 以太网端口 图3图像处理硬件系统框图 Fig.3 Block diagram of the image processing hardware system 2.4.1 Wujian100软核 Wujian100软核是一种嵌入式CPU核，以8位 +s axi CPU的成本获得32位嵌入式CPU的运行效率与性 +s axis txd 能。该软核兼容RISC-V指令架构，采用16/32位混 m_axis rxd+ +s axis txc m axis rxs+ 合编码系统，指令系统与流水线硬件结构精简高 s axi lite resetn mdio s axi lite clk 效，具备极低成本、极低功耗和高代码密度等优点。 rgmii axis clk 2.4.2以太网口高速数据传输设计 mac irq axi txd arstn interrupt 本硬件系统在FPGA中搭建AXI Ethernet axi txc arstn phy_rst n[0:0] axi rxd arstn Subsystem及AXI Direct Memory Access IP核用来 gtx_clk90 out axi rxs arstn 驱动以太网端口。其均通过AHB总线转AXI总 gtx clk gtx_clk out ref clk 线桥和软核连接，软核通过AHB总线对其进行配 置和控制。其中AXI Ethernet Subsystem IP核通 AXI 1G/2.5G Ethernet Subsystem 过RGMⅡ接口与RTL8211芯片连接，其Block 图4以太网端口驱动P Design设计如图4所示。 Fig.4 Ethernet port driver IP
表 2 WiFi 模块参数配置 Table 2 Wi-Fi module parameter configuration 配置指令 说明 AT+MODE=STA 配置为STA模式 AT+SSID=SSB 设置模块ID为SSB AT+KEYMGMT=NONE 关闭加密模式 AT+PSK=baa58559a9edd7c3a55e446bc658ef76a7173d023d256786832474d737756a82 设置模块密码 AT+BSS_BW=4 设置带宽为4 MHz AT+TX_MCS=1 设置模块发射功率为1dB AT+FREQ_RANGE=9 020,9100 设置模块工作频段范围为9 020~9100 MHz 2.4 FPGA 开发版 基于 Wujian100 软核的 Nexys Video FPGA 将 采集的图像数据通过中值滤波算法、同态滤波算 法进行处理[15-17] ，减少图像噪点，提升图像的清晰 度，提升在暗光环境下的图像质量，处理后的图 像数据再发送至树莓派端。搭建 FPGA 图像处理 硬件系统框图如图 3 所示。系统的硬件加速设计 模块以移植有 Wujian100 软核移植的 Nexys Video FPGA 开发板为核心，通过构建图像处理系统的 Block Design 将其例化到顶层。Wujian100 软核外 设拓展总线均为 AHB 接口，首先添加 AHB 转 AXI 总线桥适配软核接口，分别通过 AXI Ethernet Subsystem 和 AXI Direct Memory Access 两个 IP 核实 现以太网外设 GEMAC 和 DMA 的功能，将图像 数据传入 FPGA。然后对图像数据应用中值滤波 和同态滤波算法，最后将处理后的图像数据通过 DMA 缓存至 DDR3。 DDR3 wujian100 软核 AHB to AXI 以太网端口 中值滤波算法 同态滤波算法 以太网端口 UART 图像数据流 图 3 图像处理硬件系统框图 Fig. 3 Block diagram of the image processing hardware system 2.4.1 Wujian100 软核 Wujian100 软核是一种嵌入式 CPU 核，以 8 位 CPU 的成本获得 32 位嵌入式 CPU 的运行效率与性 能。该软核兼容 RISC-V 指令架构，采用 16/32 位混 合编码系统，指令系统与流水线硬件结构精简高 效，具备极低成本、极低功耗和高代码密度等优点。 2.4.2 以太网口高速数据传输设计 本硬件系统在 FPGA 中搭建 AXI Ethernet Subsystem 及 AXI Direct Memory Access IP 核用来 驱动以太网端口。其均通过 AHB 总线转 AXI 总 线桥和软核连接，软核通过 AHB 总线对其进行配 置和控制。其中 AXI Ethernet Subsystem IP 核通 过 RGM Ⅱ接口与 RTL8211 芯片连接，其 Block Design 设计如图 4 所示。 s_axi m_axis_rxd m_axis_rxs mdio rgmii mac_irq interrupt phy_rst_n [0:0] gtx_clk90_out gtx_clk_out s_axis_txd s_axis_txc s_axi_lite_resetn s_axi_lite_clk axis_clk axi_txd_arstn axi_txc_arstn axi_rxd_arstn axi_rxs_arstn gtx_clk ref_clk AXI 1G/2.5G Ethernet Subsystem 图 4 以太网端口驱动 IP Fig. 4 Ethernet port driver IP 第 4 期 毕晓君，等：高层火灾智能报警及逃生指导系统 ·817·
·818· 智能系统学报 第17卷 3 系统软件设计 (1)描述： f(x,y)=R(x,y)x L(x,y) (1) 3.1中值滤波算法设计 把图像f(x,y)由看作光照分量L(x,y)和反射分 在火灾烟雾环境下采集的图像，不可避免 量Rx,y)的乘积，其中光照分量在空间内变化非常 的会产生噪声，严重影响行人密度检测的检测 缓慢，对应图像频域的低频段；反射分量反映的 效果，本系统使用中值滤波算法1820对烟雾图像 是图像的细节边缘特性，对应图像频域的高频 进行去噪操作。能够有效平滑图像内噪声，保护 段。因此在减少光照分量的同时增加反射分量， 图像边缘细节不被模糊。其基本原理是以各像素 能够有效地消除图像光照不均的影响，实现图像 点作为中心点，将该像素及其滤波尺寸内的相邻 灰度范围的调整。具体算法过程如图6及式(2) 像素作为滤波模板，计算出该模板内所有像素点 (7)所示。 灰度值的中值，作为增强后图像对应中心点的灰 In(f(x,y))=In(R(x.y))+In(L(x.y)) (2) 度值，可消除孤立的噪点，从而让图像中的像素 Z(u,v)=DFT(R(u,v))+DFT(L(u,v)) (3) 值更平滑达到去除噪声的效果，且具有硬件易实 S(u,v)=H(w,)×Z(,z) (4) s(x,y)=IDFT(S(u,v)) 现的优点。因此本文采用中值滤波算法去除噪 (5) 声，提高后续行人密度检测精度。其伪代码如下 g(x.y)=exps(x.y)=l(x,y)+r(x.y) (6) 所示。 Hu,=优-R1-e学+R (7) 输入图像X尺寸为m×n,滤波核尺寸为r 式中：R代表高频加权系数；R代表低频加权系数， 输出中值滤波处理后的图像Y D(,)代表频率(u,)距离滤波器中心的距离；Do代 1)for i=rto m-r do 表和o为0时D(u,v)的值，代表截止频率。 2)for j=r to nr do 3)以该点为中心根据滤波核尺寸划定矩阵， 输人图像 Yi,=划定矩阵中值 取对数 FFT H(u,v) 4)end 5)end 增强后图像 为此，在FPGA中构建基于AXI总线的中值 取指数 IFFT 滤波P核如图5所示，以太网接收的图像数据流 图6同态滤波算法P核 通过S00AXIS接口进入IP核应用中值滤波算 Fig.6 IP core of homomorphic filtering algorithm 法，输出32位处理后的流数据。 为此，在FPGA中构建基于AXI总线数据流 的同态滤波算法IP核如图7所示。中值滤波IP +S00 AXIS 核输出的32位数据由fin data输入到同态滤波 pe frame clken f data [31:0] P核中进行图像对比度增强，同态滤波P核输出 pe frame href pos frame clken pe frame vsync pos_frame href 的视频流数据通过DMA进行DDR3缓存。 s00 axis aclk pos frame vsync s00 axis aresetn median filter v1.0(Pre-Production) fin data [31:0] frame clken 图5AXI总线中值滤波P核 frame href Fig.5 AXI bus median filter IP core frame_vsync M00_AXIS+ m00 axis aclk 3.2同态滤波算法 m00 axis_aresetn 在光线比较暗的烟雾环境下，视频图像会出 现白色烟雾和低对比度的问题。为了解决光度补 light fill v1.0 (Pre-Production) 偿问题，恢复图像颜色、纹理等细节，使其更适合 图7同态滤波处理流程 进行行人检测任务，本系统采用同态滤波算法2训 Fig.7 Homomorphic filtering processing flow 能够在频域中同时进行对比度增强和压缩图像动 3.3 行人检测算法 态范围的滤波。根据光照反射模型，图像可用式 行人检测算法采用RFBNet模型，该模型
3 系统软件设计 3.1 中值滤波算法设计 在火灾烟雾环境下采集的图像，不可避免 的会产生噪声，严重影响行人密度检测的检测 效果，本系统使用中值滤波算法[18-20] 对烟雾图像 进行去噪操作。能够有效平滑图像内噪声，保护 图像边缘细节不被模糊。其基本原理是以各像素 点作为中心点，将该像素及其滤波尺寸内的相邻 像素作为滤波模板，计算出该模板内所有像素点 灰度值的中值，作为增强后图像对应中心点的灰 度值，可消除孤立的噪点，从而让图像中的像素 值更平滑达到去除噪声的效果，且具有硬件易实 现的优点。因此本文采用中值滤波算法去除噪 声，提高后续行人密度检测精度。其伪代码如下 所示。 输入 图像 X 尺寸为 m×n，滤波核尺寸为 r 输出 中值滤波处理后的图像 Y 1) for i = r to m−r do 2) for j = r to n−r do 3) 以该点为中心根据滤波核尺寸划定矩阵， Y(i, j)=划定矩阵中值 4) end 5) end 为此，在 FPGA 中构建基于 AXI 总线的中值 滤波 IP 核如图 5 所示，以太网接收的图像数据流 通过 S00_AXIS 接口进入 IP 核应用中值滤波算 法，输出 32 位处理后的流数据。 S00_AXIS pe_frame_clken pe_frame_href pe_frame_vsync s00_axis_aclk s00_axis_aresetn f_data [31:0] pos_frame_clken pos_frame_href pos_frame_vsync median_filter_v1.0 (Pre-Production) 图 5 AXI 总线中值滤波 IP 核 Fig. 5 AXI bus median filter IP core 3.2 同态滤波算法 在光线比较暗的烟雾环境下，视频图像会出 现白色烟雾和低对比度的问题。为了解决光度补 偿问题，恢复图像颜色、纹理等细节，使其更适合 进行行人检测任务，本系统采用同态滤波算法[21-23] ， 能够在频域中同时进行对比度增强和压缩图像动 态范围的滤波。根据光照反射模型，图像可用式 (1) 描述： f(x, y) = R(x, y)× L(x, y) (1) f(x, y) L(x, y) R(x, y) 把图像 由看作光照分量 和反射分 量 的乘积，其中光照分量在空间内变化非常 缓慢，对应图像频域的低频段；反射分量反映的 是图像的细节边缘特性，对应图像频域的高频 段。因此在减少光照分量的同时增加反射分量， 能够有效地消除图像光照不均的影响，实现图像 灰度范围的调整。具体算法过程如图 6 及式 (2)~ (7) 所示。 ln(f(x, y)) = ln(R(x, y))+ln(L(x, y)) (2) Z(u, v) = DFT(R(u, v))+DFT(L(u, v)) (3) S (u, v) = H(u, v)×Z(u,z) (4) s(x, y) = IDFT(S (u, v)) (5) g(x, y) = exp s(x, y) = l(x, y)+r(x, y) (6) H(u, v) = (Rh −Rl) [ 1−e − ( D(u,v) D0 )2 ] +Rl (7) Rh Rl D(u, v) (u, v) D0 u0 v0 D(u, v) 式中： 代表高频加权系数； 代表低频加权系数， 代表频率 距离滤波器中心的距离； 代 表 和 为 0 时 的值，代表截止频率。 取对数 FFT H (u,v) 取指数 IFFT 输入图像 增强后图像 图 6 同态滤波算法 IP 核 Fig. 6 IP core of homomorphic filtering algorithm 为此，在 FPGA 中构建基于 AXI 总线数据流 的同态滤波算法 IP 核如图 7 所示。中值滤波 IP 核输出的 32 位数据由 fin_data 输入到同态滤波 IP 核中进行图像对比度增强，同态滤波 IP 核输出 的视频流数据通过 DMA 进行 DDR3 缓存。 fin_data [31:0] frame_clken frame_href frame_vsync m00_axis_aclk m00_axis_aresetn M00_AXIS light_fill_v1.0 (Pre-Production) 图 7 同态滤波处理流程 Fig. 7 Homomorphic filtering processing flow 3.3 行人检测算法 行人检测算法采用 RFBNet 模型[9] ，该模型 ·818· 智 能 系 统 学 报 第 17 卷