段志偉 邵女 豆全輝 徐武
基金項目：國家自然科學基金（批準號：51474069）資助的課題。
作者簡介：段志偉（1980-），副教授，從事測控技術與儀器的研究。
通訊作者：邵女（1998-），碩士研究生，從事測控技術與儀器、目標檢測等的研究，sn1830108173@163.com。
引用本文：段志偉，邵女，豆全輝，等.基于改進YOLOv7的轉爐火焰燃燒狀態檢測研究[J].化工自動化及儀表，2024，
51（3）：388-395.
DOI：10.20030/j.cnki.1000?3932.202403003
摘 要 針對某煉鋼廠A號轉爐爐膛火焰燃燒狀態分析判定問題，提出基于改進YOLOv7深度學習網絡架構結合視頻火焰狀態的判斷方法。首先引入無參平均注意力機制（PfAAM），在不添加參數或超參數的情況下捕獲通道注意力和空間注意力，并使用輕量化上采樣算子（CARAFE）、功能的內容感知重組進行上采樣，使YOLOv7網絡獲得更好的魯棒性和準確性。優化后的網絡，MAP_0.5值提升了2.4%，精確率提升了5.5%，幀率達到了51.5幀/秒。結合視頻圖像Matlab火焰狀態分析方法，充分利用圖像和特征信息增加了對火焰狀態判斷的可解釋性和魯棒性，并提高了算法的安全性和可信度。實驗結果也表明改進算法能夠有效提升對火焰燃燒狀態識別的準確率和實時性。
關鍵詞 深度學習 燃燒狀態 火焰區域 注意力機制 轉爐火焰 特征信息 火焰燃燒視頻? Matlab
中圖分類號 TP311.13;TH?39?? 文獻標志碼 A?? 文章編號 1000?3932（2024）03?0388?08
鋼鐵工業冶煉生產過程中，煉鋼轉爐是一種常用設備，轉爐內燃燒火焰情況是燃燒狀態是否穩定最直接的判斷方式[1，2]，轉爐爐膛火焰燃燒的穩定性會直接影響爐膛燃燒的安全。在燃燒不穩定的情況下，燃燒效率極易降低，并伴隨污染物、噪聲等，甚至導致嚴重事故，危及人員和設備安全。因此，研究火焰識別以及火焰燃燒情況判斷方法具有應用價值和意義。
在火焰檢測中，常用的卷積神經網絡包括CNN[3]、Faster RCNN[4]和YOLO系列，其中YOLO系列在提取圖像的全局信息方面優于其他卷積神經網絡，并且可以端到端進行訓練，因此在火焰檢測方面更具優勢。但YOLO模型只能判斷圖像中是否存在火焰和火焰位置，無法提供火焰燃燒的詳細信息，如火焰強度、燃燒程度或其他相關屬性。要判斷火焰的燃燒狀態，需要更多的信息和專門的算法。因此，筆者以鞍鋼建設集團有限公司煉鋼總廠西區2150生產線A號260 t轉爐為研究背景，提出一種改進的YOLOv7目標檢測算法，在火焰狀態判斷部分，結合視頻火焰燃燒狀態Matlab判斷方法，根據火焰顏色特征、火焰圓形度、火焰面積增長率及尖角特性等形態特征實現火焰檢測和燃燒狀態的判定[5，6]。
1 算法原理與關鍵技術
1.1 改進的YOLOv7網絡
1.1.1 YOLOv7網絡架構
YOLOv7網絡由3部分組成：input、backbone和head（YOLOv7將neck層與head層合稱為head層）。backbone用于提取特征，head用于預測。首先將輸入圖片預處理成640×640的RGB圖片，然后輸入到backbone網絡，在head層通過backbone網絡繼續輸出3層不同size的特征圖像，經過Rep和Conv，輸出最后結果。
1.1.2 實驗數據與擴增
數據集擴增可增加訓練數據的多樣性，提高模型的泛化能力和魯棒性，從而讓模型更好地適應實際場景。
在Make Sense平臺將現場獲取的鞍鋼建設集團有限公司煉鋼總廠西區2150生產線A號260 t轉爐火焰圖像以及相似火焰圖像數據集中的1 800張圖片進行標注，以保證目標檢測實驗中火焰數據的多樣性，提高轉爐火焰檢測的準確度。為提升YOLOv7深度學習模型的性能，通過增加訓練數據規模，用圖像旋轉、隨機剪裁、旋轉、正向剪裁等數據擴增方式對原始火焰圖像進行數據擴增（圖1），并用變換、組合等方式生成新的數據樣本，擴大原數據集，提高數據量，對處理前后的圖像進行融合，共同構成擴增數據集5 400張。從圖1可以看出，擴增后的每張圖像基本都保持了原圖像的關鍵信息。
1.1.3 無參平均注意力機制PfAAM和輕量化上采樣算子CARAFE
一般來說，注意力機制可以分為通道注意力和空間注意力兩種[7～9]，或是兩者的結合[10]。而這些注意力模塊中的大多數都是在訓練過程中添加可學習的模型參數實現的。作為現有模塊的擴展，從圖2所示的PfAAM原理可以看出，給定一個形狀為H×W×C的輸入特征圖，PfAAM注意力機制將原輸入特征圖分兩次進行平均池化[11]，一種是通道注意力，另一種是空間注意力;然后將它們拉伸成原特征圖尺寸，再將兩特征圖相乘并作用于原特征圖。PfAAM注意力機制在不添加參數或超參數的情況下捕獲通道和空間注意力，通過平均激活來促進自我強化效果。
CARAFE特征上采樣是許多卷積網絡架構中的關鍵操作，這種設計對于密集的預測任務至關重要。
CARAFE特征具有以下3個特點[12]：
a. 感受野大。CARAFE可以在一個大的接收域中聚合上下文信息。
b. 內容感知。CARAFE沒有對所有樣本使用固定的內核（如反卷積），而是支持特定于實例的內容感知處理，可以動態生成自適應內核。
c. 輕量級、計算速度快。CARAFE引入的計算開銷很小，并且可以很容易地集成到現有的網絡體系結構中。
CARAFE的整體框架如圖3所示。CARAFE由兩個關鍵組件組成，即內核預測模塊和內容感知重組模塊。在圖3中，大小為H×W×C的特征圖被上采樣了σ（取值2）倍。
CARAFE作為一個內容感知的內核重組算子，由兩個步驟組成：
a. 根據每個目標位置的內容預測重組核。
b. 與預測的檢查特征進行重組，給定大小為H×W×C的特征圖X和上采樣率σ（假設σ是整數），CARAFE將生成大小為σH×σW×C的新特征圖X′。對于輸出X′的任意目標位置l′=（i′，j′）在輸入X處都有對應的源位置l=（i，j），其中i=i′/σ，j=j′/σ。將
N（X，k）表示為以位置l為中心的X的k×k子區域，即X的鄰居。
在步驟a中，核預測模塊Ψ根據X的鄰居預測每個位置l′的位置核W。假設上采樣核尺寸k×
k（越大的上采樣核代表著更大的感受野），如果要想在輸出特征圖不同位置使用不同的上采樣核，那么期望的上采樣核的形狀就是σH×σW×
k×k，對于通道壓縮器輸出的特征圖，使用一個
k×k的卷積層來預測上采樣核。輸入通道數為C，輸出通道數為σ2k2，在空間維度展開為σH×σW×k，重組步驟公式化為以下方程式：
W=Ψ（N（X，k））（1）
X=?（N（X，k），W）（2）
其中，?是內容感知重組模塊，將X的鄰居與位置核W進行重組。
1.1.4 優化后的網絡結構
優化后的網絡結構如圖4所示，使用SiLU激活函數，并加入PfAAM無參注意力機制，同時在head網絡結構中采用新的CARAFE上采樣，在保持特征豐富性和準確性的同時可以提高分辨率。
1.2 視頻圖像火焰狀態分析原理
YOLOv7進行高效率火焰檢測后，獲取每個幀中火焰的邊界框。將視頻輸入到本研究的Matlab檢測系統中，通過火焰顏色特征、火焰尖角、面積增長率、圓形度等形態特征[13]，可以進一步診斷轉爐爐膛燃燒的狀態。
1.2.1 火焰顏色特征
火焰燃燒時，顏色特征比較明顯，火焰燃燒區域和背景圖像有明顯的視覺差異，因此可以用火焰的顏色特征判斷火焰的燃燒狀態。HSV色彩模型可以更好地反映人眼對顏色的認知，將顏色分為色調（Hue）、飽和度（Saturation）和亮度（Value）3個參數，HSV色彩模型還能更好地數字化處理顏色，因此本研究采用HSV色彩模型進行轉爐火焰圖像的色彩分析。
1.2.2 火焰圓形度特征
火焰圓形度是用來描述火焰形狀的一個指標，它反映了火焰在平面投影上的圓形程度，火焰圓形度越高，表示火焰形狀越接近圓形;反之，火焰圓形度越低，表示火焰形狀越不規則或拉長了。
火焰圓形度的計算可以基于火焰的外輪廓進行。一種常用的計算方法是使用火焰外輪廓的周長L和火焰外輪廓所包圍的面積A來計算圓形度c：
c=（3）
計算得到的圓形度值在0～1，值接近1表示火焰形狀近似于圓形，接近0表示火焰形狀不規則或拉長。
1.2.3 火焰面積增長率
火焰燃燒時，火焰面積的增長會有變大的正面積增長或是變小的負面積增長。根據當前幀中火焰像素總數與這段時間后另一幀火焰圖像像素數的差值，可以計算出火焰在一定時間內的面積增長率，其結果可以作為下一步識別火焰燃燒情況的依據。火焰面積增長率通過計算火焰面積的區域增長率來表示，火焰面積的增長率可以用圖像區域的像素變化率表示，因為圖像中最小的組成部分是像素。在視頻幀中，每一幀的圖像形態對目標物體占據不同的區域，不同的形態具有不同的像素值，它可以通過像素的變化來反映目標區域的變化，然后目標區域的變化可以直接反映火焰面積的變化。在連續視頻火焰圖像中，通過計算前、后幀數來劃分時間，設第i幀也就是第t時刻目標區域像素總值為E，則第i+j幀也就是第
t時刻的像素總值為E，再令第i幀區域的面積為S，第i+j幀區域面積為S，則連續視頻圖像中火焰的面積變化率ΔA的計算式為：
ΔA====（4）
注意：火焰的面積變化率ΔA的時間范圍為t～t。
1.2.4 火焰尖角特性
因為火焰在燃燒過程中具有不穩定性，有很多尖角，并且尖角數目呈現無規則的跳動;而穩定光源的尖角數目不大，而且基本固定在一定的范圍內，二者的差異比較大。因而可以利用火焰在燃燒過程中的邊緣抖動現象特征，將火焰尖角數作為火焰燃燒情況的判據。
2 實驗設計和結果分析
YOLOv7可以高效檢測目標物體（包括火焰），但對燃燒狀態的判斷相對欠缺。因此，本研究采用YOLOv7對圖像進行目標檢測，識別出火焰區域，獲取其位置信息。然后，結合傳統火焰燃燒狀態判斷方法，分析形狀特征進一步判斷火焰燃燒狀態，這樣既可充分發揮各自的優勢又提高了火焰燃燒狀態判斷的準確性和魯棒性。
2.1 實驗設置
實驗代碼在YOLOv7深度學習網絡結構上進行改進。訓練迭代次數（epoch）為300次，批次大小（batchsize）為8，初始學習率為0.01，采用隨機梯度下降方法。
實驗配置為Windows11，64位操作系統，Intel（R）Xeon （R）Gold6330 CPU@2.00 GHz， NVIDI
ADeForceRTX3090（24 GB）顯卡，Pytorch 1.11.0 Cuda11.3深度學習框架，Python版本為3.8。
2.2 評價指標
將平均精度均值MAP_0.5（Mean Average Precision）、精確率P（Precision）、召回率R（Recall）和幀率FPS作為火焰識別檢測模型性能的評價指標。
2.3 實驗結果與分析
2.3.1 改進YOLOv7算法的實驗結果
本次實驗采用改進YOLOv7火焰檢測算法，分別與Faster RCNN、SSD、YOLOv3、YOLOv5、YOLOv7網絡模型算法在同一測試集上進行實驗，結果見表1。分析表1可知，使用筆者模型相比于Faster RCNN、SSD、YOLOv3、YOLOv5、YOLOv7，平均精度均值MAP_0.5分別提升了21.1%、2.2%、8.0%、0.6%、2.4%。改進后YOLOv7算法的FPS高于其他火焰檢測算法，達到51.5 幀/秒，滿足火焰檢測的實時性要求。
在300個訓練迭代時，SiLU激活函數加上不同注意力機制的對比實驗（表2）可以看出，相比于其他注意力機制，加入了PfAAM注意力機制的P值和MAP_0.5值最高，分別為87.3%和86.6%，P值和MAP_0.5值比原YOLOv7網絡分別提升3.3%和0.7%。在進一步改進了上采樣方法CARAFE后，P值和MAP_0.5值比原YOLOv7提升了5.5%和2.4%，總體提升了原YOLOv7網絡提取圖像特征的能力和檢測精度。
如圖5所示，優化后的網絡MAP_0.5值和P值均好于原YOLOv7網絡。
2.3.2 視頻火焰燃燒狀態判斷GUI界面結果展示
圖形用戶界面（Graphical User Interface，GUI）能可視化計算機操作用戶界面。筆者通過獲取每幀圖像火焰部分的顏色、圓形度、火焰面積增長率及火焰角點等特征，將火焰燃燒狀態顯示在GUI界面上，可進一步判斷鍋爐火焰燃燒的情況。
如圖6所示，圖片在HSV顏色空間比在RGB顏色空間中更便于理解和處理。
取視頻里每一幀，根據轉換公式將RGB圖像轉換到HSV色彩模型中，再將HSV各通道的圖像轉化為灰度圖，簡化圖像處理和分析過程，同時保留有用信息。設（R，G，B）分別是一個顏色的紅、綠和藍坐標，其值是0～1之間的實數。RGB顏色空間轉HSV顏色空間的轉換公式為：
H=0°????????????????????????????? ， max=min
60°×
+0°??? ， max=R and G≥B
60°×
+360°， max=R and G 60°× +120°， max=G 60°× +240°， max=B S=0?????????????????????????? ， max=0 =1- ，其他 V=max 其中，max為R、G、B中的最大值;min為R、G、B中的最小值。 獲取HSV顏色分量后，再對HSV圖像設置紅色閾值，提取紅色分量進行上下幀的對比，如果上下幀均有紅色分量就計算火焰的動態特征。 火焰是實時動態跳躍的，本研究Matlab程序設計當圓形度小于1并且面積增長率大于0時，表示有火焰在燃燒。火焰的圓形度和其他干擾物的圓形度明顯不同，火焰燃燒的形態尖角多，而一般的燈光等干擾物的圓形度普遍大于火焰燃燒圓形度。而火焰的尖角數量要比其他干擾物大很多。因此，從火焰的圓形度和尖角數目可以很好地區分火焰和其他干擾物。火焰面積變化率則通過對火焰上下幀圖像進行處理，計算出相鄰兩幀圖像中火焰面積的變化率，當火焰面積變化率較大時，說明火焰處于燃燒狀態;當火焰面積變化率較小或趨近于0時，說明火焰處于不燃燒狀態或熄滅狀態。 為了減小視頻中的火焰圖像受到噪聲干擾，以及更好地捕捉火焰的動態特性，筆者將幀間隔設置為3。如圖7所示，相鄰兩幀的火焰圓形度均小于1，并且火焰面積增長率大于0，角點數目較大，變化較小，火焰處于穩定燃燒狀態。 3 結束語 通過改進的YOLOv7深度學習網絡算法識別火焰區域，識別圖像中的火焰位置、火焰數目及置信度等，準確檢測并識別出火焰。再結合Matlab進行火焰的顏色特征、圓形度特征、面積增長率特征和角點特征分析，更準確地判斷出無火焰、有火焰及穩定燃燒等火焰狀態。實驗結果也證實筆者方法不僅準確率高、魯棒性強，同時增加了對火焰狀態判斷的可解釋性和準確性。 參 考 文 獻 [1] 周懷春，胡志方，郭建軍，等.面向智能發電的電站燃煤鍋爐在線運行優化[J].分布式能源，2019（3）：7-15. [2] 戚凱旋，朱凌云.基于圖像處理的燃氣鍋爐燃燒狀態檢測研究[J].自動化儀表，2021，42（11）：34-38. [3] CHUNG Y L，CHUNG H Y，CHOU C W.Efficient flame recognition method based on a deep convolutional neural network and image processing[C]//2019 IEEE 8th Global Conference on Consumer Electronics（GCCE）.2019：573-574. [4]??? CHAOXIA C Y，SHANG W W，ZHANG F.Information guided flame detection based on faster R?CNN[J].IEEE Access，2020，8：58923-58932. [5] 趙媛媛，朱軍，謝亞坤，等.改進Yolo?v3的視頻圖像火焰實時檢測算法[J].武漢大學學報（信息科學版），2021，46（3）：326-334. [6] 沐小會，陳嘉卿，宋英磊.火焰特征提取研究在火災探測中的運用[J].電子設計工程，2016（21）：188-190. [7] JIE H，LI S， ALBANIE S，et al.Squeeze?andexcitation networks[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition.2018：7132-7141. [8] ???SANGHYUN W，JONGCHAN P，JOONYOUNG L，et al.Cbam：Convolutional block attention module[C]//Computer Vision?ECCV European Conference.LNCS，2018：112-118. [9]?? WANG Q L，WU B G，ZHU P F，et al.Eca?net：Efficient channel attention for deep convolutional neural networks[C]//IEEE Conference on Computer Vision and Pattern Recognition（CVPR）.2020：11534-11542. [10]?? OKTAY O，SCHLEMPER J，FOLGOC L L，et al.Attention u?net：Learning where to look for the pancreas[J].arXiv Preprint arXiv：1804.03999，2018. doi.org/10.48550/arXiv.1804.03999. [11]?? KORBER N.Parameter?Free Average Attention Improves Convolutional Neural Network Performance（Almost）Free of Charge[J]. arXiv：Computer? Science，arXiv：2210.07828，2022.https： 2210.07828.pdf. [12]?? WANG J Q，CHEN K，XU R，et al.CARAFE：Content?Aware ReAssembly of FEatures[C]//ICCV 2019 Oral Presentation.2019.https：//arxiv.org/pdf/1905.02188v2. [13] 繆存可，楊煉，姜玥穎.基于神經網絡的視頻圖像火焰檢測方法[J].自動化應用，2021（4）：71-74. （收稿日期：2023-09-18，修回日期：2024-04-16） Research on Flame Combustion Detection of the Converter Based on Improved YOLOv7 DUAN Zhi?wei1， SHAO Nv1， DOU Quan?hui1， XU Wu2 （1. School of Physics and Electronic Engineering， Northeast Petroleum University; 2. Angang Construction Group Co.， Ltd.） Abstract?? ?Aiming at analyzing and judging? flame combustion of? No. A converter furnace in a steel mill， a judgment method based on improved YOLOv7 deep learning network architecture and video flame state was proposed. Firstly， having a parameter?free average attention mechanism（PfAAM）? introduced to capture channel attention and spatial attention without adding parameters or hyperparameters， including having? a lightweight up?sampling operator （CARAFE） and functional content?aware recombination adopted to upsample the YOLOv7 network so as to achieve better robustness and accuracy. In the optimized network， the MAP_0.5 value can be increased by 2.4%， the precision value increased by 5.5%， and the frame rate reached 51.5 frames per second. Through combined with video image Matlab flame state analysis method， both interpretability and robustness of the flame state judgment can be increased by making full use of image and feature information， and both security and reliability of the algorithm were improved. The experimental results also show that the improved algorithm can effectively improve both accuracy rating and real time recognition of flame combustion state. Key words?? deep learning， combustion state， flame region， attention mechanism， converter flame， characteristic information， video of flame combustion， Matlab
//arxiv.org/pdf/