《工程科学学报》录用稿，htps:/doi.org/10.13374/i,issn2095-9389.2021.08.17.001©北京科技大学2020 工程科学学报DO: 深度学习在炼钢过程中的研究进展及应用现状 王仲亮，顾超驱，王敏，包燕平四 北京科技大学钢铁治金新技术国家重点实验室，北京100083 ☒通信作者，E-mail:guchao@ustb.edu.cn,baoyp@ustb.edu.cn 摘要钢铁作为“工业粮食”是其他产业不可或缺的基础材料，同时，钢铁工业在整个国夜经济中具有举足轻重的 作用。炼钢过程是极其复杂的工业场景，影响因素多且安全性要求极高，是当前深度 长规模应用的领域之 一。本文对深度学习的原理和类型进行了梳理，并结合国内外应用实例，总结了深度 在炼钢过程的发展历程与 研究现状。指出了深度学习在炼钢过程中应用主要有特征提取简单、泛化能力强模型可塑性高的优势，同时也面临 数据依赖性高、预处理难度大、生产安全性有待验证的挑战。提出了未来随着高精度传感器的应用、物联网的普及、计 拿硬件的迭代、算法的创新，深度学习模型可以更加有效地应用予炼钢的更多场景中，将推动治金工业智能化发展。 关键词炼钢过程：深度学习：神经网络：应用场 分类号TF34 非最 Research progress and application s status of deep learning in as激件 WANG Zhong-liang, WANG Min,BAO Yan-ping State Key Laboratory of Advanced Metallurgy,University of Science and Technology Beijing,Beijing 100083,China ☒Corresponding auth nail:guchao@ustb.edu.cn:baoyp@ustb.edu.cn ABSTRACT The steel industry is an important embodiment of the national productivity and plays a role in the development of the national economy and defense construction as a material foundation.In recent years,China's crude steel production has ranked first in the world.and in 2020 it has exceeded I billion tons for the first time,reaching 1.065 billion tons.But at the 收离日期：2021-8-16 演自中央高校基本科研业务费(FF-TP-20-026A1):中国博士后科学基金特别资助项目(2021T140050):钢铁 治金新技术国家重点实验室自主课题(41621014)
工程科学学报 DOI: 深度学习在炼钢过程中的研究进展及应用现状1 王仲亮，顾 超，王 敏，包燕平 北京科技大学钢铁冶金新技术国家重点实验室，北京 100083 通信作者，E-mail: guchao@ustb.edu.cn; baoyp@ustb.edu.cn 摘 要 钢铁作为“工业粮食”是其他产业不可或缺的基础材料，同时，钢铁工业在整个国民经济中具有举足轻重的 作用。炼钢过程是极其复杂的工业场景，影响因素多且安全性要求极高，是当前深度学习尚未大规模应用的领域之 一。本文对深度学习的原理和类型进行了梳理，并结合国内外应用实例，总结了深度学习在炼钢过程的发展历程与 研究现状。指出了深度学习在炼钢过程中应用主要有特征提取简单、泛化能力强、模型可塑性高的优势，同时也面临 数据依赖性高、预处理难度大、生产安全性有待验证的挑战。提出了未来随着高精度传感器的应用、物联网的普及、计 算硬件的迭代、算法的创新，深度学习模型可以更加有效地应用于炼钢的更多场景中，将推动冶金工业智能化发展。 关键词 炼钢过程；深度学习；神经网络；应用场景 分类号 TF34 Research progress and application status of deep learning in steelmaking process WANG Zhong-liang, Gu Chao, WANG Min, BAO Yan-ping State Key Laboratory of Advanced Metallurgy, University of Science and Technology Beijing, Beijing 100083, China Corresponding author, E-mail: guchao@ustb.edu.cn; baoyp@ustb.edu.cn ABSTRACT The steel industry is an important embodiment of the national productivity and plays a role in the development of the national economy and defense construction as a material foundation. In recent years, China's crude steel production has ranked first in the world, and in 2020 it has exceeded 1 billion tons for the first time, reaching 1.065 billion tons. But at the 1收稿日期: 2021-8-16 基金项目: 中央高校基本科研业务费 (FRF-TP-20-026A1)；中国博士后科学基金特别资助项目 (2021T140050)；钢铁 冶金新技术国家重点实验室自主课题 (41621014) 《工程科学学报》录用稿，https://doi.org/10.13374/j.issn2095-9389.2021.08.17.001 ©北京科技大学 2020 录用稿件，非最终出版稿
same time,the steel industry is also a major energy consumer and polluter.In the current national coordination to do a good job of "carbon peak""carbon neutral"background,the traditional steelmaking process urgently needs to be transformed into intelligent and green.In recent years,as an important branch of machine learning,with artificial neural networks as the basic architecture,deep learning,a nonlinear modeling algorithm that can extract features from data and realize knowledge learning,has been applied in various industrial fields.Steelmaking process is an extremely complex industrial scenario with many influencing factors and high security requirements,which is one of the areas where deep learning has not been applied on a large scale yet.This paper compares the principles and types of deep learning.and summarizes the development history and research status of deep learning in steelmaking process with domestic and foreign application examples.It is pointed out that the application of deep learning in steelmaking process mainly has the advantages of simp extraction,strong generalization ability and high model plasticity,but also faces the challenges of hi ta dependency, difficult pre- processing and production safety to be verified.It is proposed that in the future,with the application of high-precision sensors,the popularization of the Internet of Things,the iteration of computing hardware,and the innovation of algorithms, deep learning models can be more effectively applied to more s sce making,which will promote the intelligent development of metallurgical industry. KEY WORDS Steelmaking process;deep learning;neural network,application scenarios 钢铁工业是国家生产力的重要体现，在国民经济发展与国防建设中起到物质基础的作用山。近 年来我国粗钢产量稳居全球首位，2020年更是首次突破10亿吨，达到10.65亿吨。同时，庞大的 产能背后，钢铁行业也是能耗和污染太户在当前全国统筹做好“碳达峰”“碳中和”背景下，传 统炼钢工艺亟待向智慧化和绿色化转型。炼钢整体流程可划分为初炼、精炼和连铸三个阶段依次进行， 每个阶段又有多道处理又序 我国粗钢产品约90%来自转炉炼钢，其余来自电炉)，但无论采用何 种初炼方式，炼钢硫程均具有工序高度复杂、控制过程非线性的特点，难以建立准确的数学模型 进行描述，这使得智慧化之路面临挑战。为应对治炼过程的上述特性，作为机器学习近年来兴起 的重要分支，深度学匀被引入到炼钢领域且已获得广泛应用，这是一种以人工神经网络为基本架构， 对数据进行特征提取并实现知识学习的非线性建模算法)，其已成为钢铁行业智慧化的重要手段之 一。本文对深度学习原理进行了介绍，并将前人在深度学习应用于炼钢的工序过程所做的工作以及 优缺点等进行了综合阐述。 1.深度学习原理及类型 深度学习目的在于模拟生物体内的神经网络处理外界信息的过程。与生物神经细胞可接受外界
same time, the steel industry is also a major energy consumer and polluter. In the current national coordination to do a good job of "carbon peak" "carbon neutral" background, the traditional steelmaking process urgently needs to be transformed into intelligent and green. In recent years, as an important branch of machine learning, with artificial neural networks as the basic architecture, deep learning, a nonlinear modeling algorithm that can extract features from data and realize knowledge learning, has been applied in various industrial fields. Steelmaking process is an extremely complex industrial scenario with many influencing factors and high security requirements, which is one of the areas where deep learning has not been applied on a large scale yet. This paper compares the principles and types of deep learning, and summarizes the development history and research status of deep learning in steelmaking process with domestic and foreign application examples. It is pointed out that the application of deep learning in steelmaking process mainly has the advantages of simple feature extraction, strong generalization ability and high model plasticity, but also faces the challenges of high data dependency, difficult preprocessing and production safety to be verified. It is proposed that in the future, with the application of high-precision sensors, the popularization of the Internet of Things, the iteration of computing hardware, and the innovation of algorithms, deep learning models can be more effectively applied to more scenarios in steelmaking, which will promote the intelligent development of metallurgical industry. KEY WORDS Steelmaking process; deep learning; neural network; application scenarios 钢铁工业是国家生产力的重要体现，在国民经济发展与国防建设中起到物质基础的作用[1]。近 年来我国粗钢产量稳居全球首位，2020 年更是首次突破 10 亿吨，达到 10.65 亿吨[2]。同时，庞大的 产能背后，钢铁行业也是能耗和污染大户，在当前全国统筹做好“碳达峰”“碳中和”背景下，传 统炼钢工艺亟待向智慧化和绿色化转型。炼钢整体流程可划分为初炼、精炼和连铸三个阶段依次进行， 每个阶段又有多道处理工序。我国粗钢产品约 90%来自转炉炼钢，其余来自电炉[3]，但无论采用何 种初炼方式，炼钢全流程均具有工序高度复杂、控制过程非线性的特点，难以建立准确的数学模型 进行描述，这使得智慧化之路面临挑战[4]。为应对冶炼过程的上述特性，作为机器学习近年来兴起 的重要分支，深度学习被引入到炼钢领域且已获得广泛应用，这是一种以人工神经网络为基本架构 ， 对数据进行特征提取并实现知识学习的非线性建模算法[5-7]，其已成为钢铁行业智慧化的重要手段之 一。本文对深度学习原理进行了介绍，并将前人在深度学习应用于炼钢的工序过程所做的工作以及 优缺点等进行了综合阐述。 1. 深度学习原理及类型 深度学习目的在于模拟生物体内的神经网络处理外界信息的过程。与生物神经细胞可接受外界 录用稿件，非最终出版稿
刺激或其他细胞信息类似，人工神经网络中的基本单元神经元可以起到相同的作用，可以接受来自 其他神经元的输入或者是外部的数据，然后计算一个输出。如图1所示为神经元的工作原理，首先 每个输入值被赋予一个权值，权值大小取决于这个输入数据的重要性，然后进行激活函数的运算， 常见的激活函数有sigmod函数、relu函数和tanh函数等，目的是给输出值引入非线性，从而用于更 好地描述现实问题阁。与神经细胞相同，当前神经元的输出可以作为其他神经元的输入，反之其他 神经元的输出也可作为当前神经元的输入。 Neuron 最终版 Activation function 八z) Weighting 围1人工神经神经元结构及工作理 Fig.I Structure and working principle of artificial neural network neurons 图2为深度学习模型的基本结构，通常由一个输入层、一个输出层和若干隐藏层构建而成，其 中每层都有若干神经元，每两个神经元之间都有对应权值来决定上级输入数据的重要性。深度学习 模型的输入层用于接收数据，y然后将输入数据传递给第一个隐含层，隐含层会针对这些数据进行函 录用 数运算，并在隐含层内部进行数据传输， 最后一个隐含层会将计算结果传递给输出层，由输出层输 出最终数据。 Input layer Hidden layer Output laye 圆2深度学习模型基本构 Fig.2 Deep learning model basic structure
刺激或其他细胞信息类似，人工神经网络中的基本单元神经元可以起到相同的作用，可以接受来自 其他神经元的输入或者是外部的数据，然后计算一个输出。如图 1 所示为神经元的工作原理，首先 每个输入值被赋予一个权值，权值大小取决于这个输入数据的重要性，然后进行激活函数的运算， 常见的激活函数有 sigmod 函数、relu 函数和 tanh 函数等，目的是给输出值引入非线性，从而用于更 好地描述现实问题[8]。与神经细胞相同，当前神经元的输出可以作为其他神经元的输入，反之其他 神经元的输出也可作为当前神经元的输入。 图 1 人工神经网络神经元结构及工作原理 Fig.1 Structure and working principle of artificial neural network neurons 图 2 为深度学习模型的基本结构，通常由一个输入层、一个输出层和若干隐藏层构建而成，其 中每层都有若干神经元，每两个神经元之间都有对应权值来决定上级输入数据的重要性。深度学习 模型的输入层用于接收数据，然后将输入数据传递给第一个隐含层，隐含层会针对这些数据进行函 数运算，并在隐含层内部进行数据传输，最后一个隐含层会将计算结果传递给输出层，由输出层输 出最终数据。 Input layer Hidden layer Output layer Ă Ă x1 x2 x3 x4 图 2 深度学习模型基本结构 Fig.2 Deep learning model basic structure 录用稿件，非最终出版稿
深度学习作为机器学习的一个重要分支，根据模型中神经元的互联方式以及各层的相互关系， 可分为前馈神经网络、反馈神经网络和自组织神经网络。前馈神经网络指每一层神经元只接受来自前 一层的数据输入，后层对前层没有数据反馈，初始输入数据经过在各层的向前传播，在输出层得到 最终结果，如图3)所示9。此类结构适用于模式识别，数据挖掘和非线性函数逼近，典型的前馈神 经网络包括：利用梯度下降法的BP神经网络，ELM(极限学习机神经网络)，RBF(径向基神经 网络)，以及包含卷积计算的CNN(卷积神经网络)等。反馈神经网络是指模型中神经元之间有 反馈通道，所有神经元能够任意连接，数据信号可以进行双向传播，输入信号仅仅作为模型的初始 状态，整个模型经过反复循环迭代逐渐收敛至平衡态，如图3b)所示。因此友馈神经网络是一种 动态非线性网络，稳定性是其重要评价指标。此类结构适用于寻找问题最优 典型的反馈神经网 络包括：Hopfield神经网络、Hamming神经网络、WNN(小波神经网络 BAM(双向联系存储网 络)、BM(波耳兹曼机)等。自组织神经网络含有输入层和竞争层两层网络，无隐含层，两层之间 各神经元间双向连接，且竞争层各神经元间也存在双向连接，如图3)所示。此类结构可在无监督 情况下，自组织地改变网络结构和各神经元间权值，进而百动后找原始数据中的特征规律， 典型的 自组织神经网络包括：SOM(自组织映射神经网络) 外对偶传播网络)，ART(自适应共 振理论)等。 a Input layer Hidden layer Output layer Hidden layer Output layer C Input layer Competitive layer 国3/神经两够分类(a前神经网蜂：(b)反馈神经丹蜂：(C自组织神经同络 Fig.3 Neural network classification(a)Feed-forward neural network,(b)Feedback neural network,(c)Self-organizing neural network 现今研号 经提出了上百种深度学习模型，优化算法更是层出不穷。但从实际应用角度来 看，广泛研究且大规模使用的模型并不多。在表1中列出了BP、CNN、WNN和SOM等几种常用主 流深度学习方法，并对比了他们之间的优缺点。 表1几种深度学习主流方法特征对比 Table I Comparison of features of several mainstream methods of deep learning Deep Learning Methods Advantages Disadvantages BP (1)Strong non-linear mapping capability (1)Slow convergence speed
深度学习作为机器学习的一个重要分支，根据模型中神经元的互联方式以及各层的相互关系， 可分为前馈神经网络、反馈神经网络和自组织神经网络。前馈神经网络指每一层神经元只接受来自前 一层的数据输入，后层对前层没有数据反馈，初始输入数据经过在各层的向前传播，在输出层得到 最终结果，如图 3a)所示[9]。此类结构适用于模式识别，数据挖掘和非线性函数逼近，典型的前馈神 经网络包括：利用梯度下降法的 BP 神经网络，ELM（极限学习机神经网络），RBF（径向基神经 网络），以及包含卷积计算的 CNN（卷积神经网络）等[10]。反馈神经网络是指模型中神经元之间有 反馈通道，所有神经元能够任意连接，数据信号可以进行双向传播，输入信号仅仅作为模型的初始 状态，整个模型经过反复循环迭代逐渐收敛至平衡态，如图 3b)所示[11]。因此，反馈神经网络是一种 动态非线性网络，稳定性是其重要评价指标。此类结构适用于寻找问题最优解，典型的反馈神经网 络包括：Hopfield 神经网络、Hamming 神经网络、WNN（小波神经网络）、BAM（双向联系存储网 络）、BM（波耳兹曼机）等。自组织神经网络含有输入层和竞争层两层网络，无隐含层，两层之间 各神经元间双向连接，且竞争层各神经元间也存在双向连接，如图 3c)所示[12]。此类结构可在无监督 情况下，自组织地改变网络结构和各神经元间权值，进而自动寻找原始数据中的特征规律，典型的 自组织神经网络包括：SOM（自组织映射神经网络）、CPN（外对偶传播网络），ART（自适应共 振理论）等。 Input layer Hidden layer Output layer Input layer Hidden layer Output layer Input layer Ă Ă Ă Ă a b c Competitive layer 图 3 神经网络分类 (a) 前馈神经网络; (b) 反馈神经网络; (c) 自组织神经网络 Fig.3 Neural network classification (a) Feed-forward neural network; (b) Feedback neural network; (c) Self-organizing neural network 现今研究人员已经提出了上百种深度学习模型，优化算法更是层出不穷。但从实际应用角度来 看，广泛研究且大规模使用的模型并不多。在表 1 中列出了 BP、CNN、WNN 和 SOM 等几种常用主 流深度学习方法，并对比了他们之间的优缺点。 表 1 几种深度学习主流方法特征对比 Table 1 Comparison of features of several mainstream methods of deep learning Deep Learning Methods Advantages Disadvantages BP (1) Strong non-linear mapping capability (1) Slow convergence speed 录用稿件，非最终出版稿
(2)Highly self-learning and self-adaptive capabilities (2)Easy to fall into local minima (3)Some fault tolerance (1)Partial connection (1)Need to normalize the data set CNN (2)Value sharing (2)No memory function (3)Hierarchical expression (3)Poor natural language processing skills (1)Fast network convergence (1)Difficult to determine the nodes in the hidden layer WNN (2)Avoid getting stuck in a local optimum (2)No adaptive selection of functions (3)High precision (1)Self-organization changes network parameters (1)Need to pre-determine the number of neurons SOM (2)Only one neuron becomes the competition winner (2)Randomly generate the i be of the weight vector 2.深度学习在炼钢过程的发展与应用 2.1深度学习在炼铜过程的发展 炼钢过程涉及热力学、动力学及动量热量质量传输等物理化学机玛 但由于过程参数复杂，且 前后工序存在遗传影响，在解释对应治金现象时需要大量假设租简化。而与之相反，深度学习模型 只要有足够多的样本训练就能达到较好的拟合效果，但不能从原理上对现象进行解析。在利用治金 工艺原理进行理论指导的同时将深度学习引人参斜程建模，可以实现优势互补。1943年 [,MeCulloch和Pits参考神经细胞工作原理首次提出神经元数学模型，即M-P模型，这标志着 人工神经网络的开端。Hinton分别在19864年利2006s年两次推动神经网络的巨大进步，先是促进 了BP算法在学习训练中的应用，而后又掀起深度学习新的研究热潮。伴随着神经网络的波动发展， 以及硬件设备计算能力的不断提以深度学习在炼钢过程中的应用主要可分为三个阶段，分别如下： 2.1.1应用探索阶段 神经网络依靠提取数据特征完成训练学习，模仿人脑活动过程，取得对应经验，因此在应用早 期，常与炼钢专家系统相结哈， 共同为现场决策起辅助作用61，解决某个工序点的问题。迫于当 时生产数据难以实时采集，同时专家系统无法获取隐性知识，加之硬件计算能力有限，使得深度学 习模型在炼钢过程中的应用研究没有大的发展，模型精度较低。但国内外学者都进行了有益探索， 部分研究成果在实际生产中开始小范围研究性试用，见表2。 表2深度学习模型探素使用案例 Table 2 Deep learning model exploration use cases NO. Year Country Application companies Process Application 1 1990 USA Copperweld Steel mill Electric arc furnace Process control 2 1990 USA North Star Steel mill Electric arc furnace Process control 1991 Finland Rahhe Steel mill Continuous casting Pourability forecast
(2) Highly self-learning and self-adaptive capabilities (3) Some fault tolerance (2) Easy to fall into local minima CNN (1) Partial connection (2) Value sharing (3) Hierarchical expression (1) Need to normalize the data set (2) No memory function (3) Poor natural language processing skills WNN (1) Fast network convergence (2) Avoid getting stuck in a local optimum (3) High precision (1) Difficult to determine the nodes in the hidden layer (2) No adaptive selection of functions SOM (1) Self-organization changes network parameters (2) Only one neuron becomes the competition winner (1) Need to pre-determine the number of neurons (2) Randomly generate the initial value of the weight vector 2. 深度学习在炼钢过程的发展与应用 2.1 深度学习在炼钢过程的发展 炼钢过程涉及热力学、动力学及动量热量质量传输等物理化学机理，但由于过程参数复杂，且 前后工序存在遗传影响，在解释对应冶金现象时需要大量假设和简化。而与之相反，深度学习模型 只要有足够多的样本训练就能达到较好的拟合效果，但不能从原理上对现象进行解析。在利用冶金 工艺原理进行理论指导的同时将深度学习引入生产过程建模，可以实现优势互补。1943 年 [13]，McCulloch 和 Pitts 参考神经细胞工作原理，首次提出神经元数学模型，即 M-P 模型，这标志着 人工神经网络的开端。Hinton 分别在 1986[14]年和 2006[15]年两次推动神经网络的巨大进步，先是促进 了 BP 算法在学习训练中的应用，而后又掀起深度学习新的研究热潮。伴随着神经网络的波动发展 ， 以及硬件设备计算能力的不断提升，深度学习在炼钢过程中的应用主要可分为三个阶段，分别如下： 2.1.1 应用探索阶段 神经网络依靠提取数据特征完成训练学习，模仿人脑活动过程，取得对应经验，因此在应用早 期，常与炼钢专家系统相结合，共同为现场决策起辅助作用[16-19]，解决某个工序点的问题。迫于当 时生产数据难以实时采集，同时专家系统无法获取隐性知识，加之硬件计算能力有限，使得深度学 习模型在炼钢过程中的应用研究没有大的发展，模型精度较低。但国内外学者都进行了有益探索， 部分研究成果在实际生产中开始小范围研究性试用，见表 2。 表 2 深度学习模型探索使用案例 Table 2 Deep learning model exploration use cases NO. Year Country Application companies Process Application 1 1990 USA Copperweld Steel mill Electric arc furnace Process control 2 1990 USA North Star Steel mill Electric arc furnace Process control 3 1991 Finland Rahhe Steel mill Continuous casting Pourability forecast 录用稿件，非最终出版稿