苗宗成 ， 高世嚴 ， 賀澤民 ， 歐 淵
（1.西京學院 西安市先進光電子材料與能源轉換器件重點實驗室， 陜西 西安 710123；
2.西北工業大學 光電與智能研究院， 陜西 西安 710072；
3.軍事科學院 系統工程研究院， 北京 100039）
目標跟蹤是計算機視覺領域中被廣泛研究的問題之一，由于其會受到跟蹤背景多變、復雜環境以及物體形變等因素的干擾，目前仍然具有很大的挑戰性［1］。目標跟蹤可分為特征提取及匹配判斷、確定幀間位置關系和模板更新3個部分［2］，其是指在僅給出目標在初始幀中位置的情況下，能在后續過程中估計出目標所在視頻序列中的任意位置［3］。目標跟蹤常應用于多種領域，如無人駕駛［4］、機器人［5］、人機交互［6］、視頻編輯［7］、視頻監控［8］、增強現實［9］等。隨著最近相關濾波器和深度學習的加入，目標跟蹤器的性能得到大幅提高，使得目標跟蹤在實踐中的應用越來越廣泛［10］。但目標追蹤仍需克服姿勢變化、運動、變形、遮擋、尺度變化和背景雜波等諸多因素帶來的挑戰［11］。
近年來，由于卷積神經網絡（CNN）在各種視覺問題中顯現出強大的性能，出現了大量基于CNN的目標跟蹤器［12］。大多數目標跟蹤提取目標特征使用的方法都是在離線的條件下進行的，導致事先不知道所要跟蹤的目標對象，從而網絡就需要在線訓練這些任務，這極大地影響了跟蹤的速度和精度［13］。基于孿生網絡的跟蹤算法由于在平衡精度和速度方面展現出的優勢而受到了極大的關注，其在最近幾年的VOT比賽中也獲得了不俗的成績。本文梳理了近幾年的孿生網絡實例搜索算法（SINT），首次將孿生網絡［14］嵌入到目標跟蹤算法中，開創性地提出了孿生網絡實例搜索跟蹤器來解決目標跟蹤問題。其跟蹤目標的方法是：首先將跟蹤模型分成兩個相同的分支，并分別輸入到初始框和候選框中。然后將第一幀中的初始目標與新幀中的候選目標相匹配，利用學習匹配函數返回相差最小的目標。最后通過神經網絡完成跟蹤［15］。但是由于SINT取樣邊界框過多和采用回歸等改善結果的方式使得該跟蹤器實時性很差［16］。為此，Bertinetto等人提出了一個完全卷積孿生神經網絡目標跟蹤算法（SiamFC），基本思想是利用相同的深度卷積神經網絡從目標圖像塊和搜索區域中提取特征，然后將兩個特征圖互相關聯之后生成響應圖，其中響應最強烈的位置就是所跟蹤的目標對象在搜索區域中的位置。深度卷積經過預先訓練后在神經網絡跟蹤過程中保持穩定，使SiamFC實現了在目標跟蹤時的實時跟蹤功能［16］。
雖然基于孿生網絡的跟蹤算法相比于傳統的目標跟蹤算法在速度和精度上都有所提升，但是其受到遮擋、形變等干擾因素影響較大。為此，國內外學者基于孿生網絡提出了許多方法進行改進以解決此類問題。本文從3個方面對基于孿生網絡的目標跟蹤進行總結，分別是基于全卷積孿生神經網絡的目標跟蹤、基于引入回歸孿生網絡的目標跟蹤、基于在線更新孿生網絡的目標跟蹤，最后討論了孿生網絡現有不足并且對未來發展趨勢進行了展望。
SiamFC只將開頭標記的第一幀用做模板，由此產生的目標變形、目標遮擋和光線變化等諸多問題會給跟蹤帶來困難［17］，對性能也產生了極大影響，如圖1所示。為此，將相關濾波器與孿生神經網絡結合的不對稱跟蹤算法（CFNet）被研究出來，其在完全發揮相關濾波器自身優點的同時將卷積神經網絡應用于目標跟蹤，使其在淺層網絡的運行速度更快［18］。為了獲得更強大的目標特征，SiamFC融合了深度網絡，但其沒有仔細考慮輸入樣本之間的關系，對此，通過將三重丟失（Triplet loss）方法加入到孿生網絡框架中來代替訓練中的兩兩丟失，從而提取更加具有表現力的深度特征。該方法使性能提高而且不會降低跟蹤器速度［19］。
圖1 視覺目標跟蹤在復雜外觀變化下的效果呈現。（a）環境光照變化；
（b）相機快速運動；
（c）完全遮擋；
（d）噪聲干擾；
（e）非剛性形狀變形；
（f）平面外對象旋轉和姿勢。這些因素引起的對象外觀變化可能會導致跟蹤性能下降甚至失敗［5］。Fig.1 Effects of visual object tracking under complex appearance changes.（a） Ambient lighting changes；
（b） Fast camera motion；
（c） Complete occlusion；
（d） Noise interference；
（e） Non-rigid shape deformation；
（f） Plane outer object rotation and pose.Changes in the appearance of objects caused by these factors can cause tracking performance to degrade or even fail［5］.
SiamFC能夠充分利用離線訓練數據，使其自身具有很高的判別力，圖2為SiamFC網絡結構。當追蹤對象受到遮擋或者產生形變的情況下，SiamFC泛化能力會下降從而影響性能。為此，由語義分支和外觀分支組成的雙重孿生網絡跟蹤器（SA-Siam）通過設計兩個不同分支在不同的網絡層次使用特征，二者經過聯合訓練從而避免同質化。受益于兩者的異質性，該跟蹤器采取的雙重設計為跟蹤性能帶來了顯著提升［17］。具有多分支、可以在線選擇的孿生網絡跟蹤器（MBST）可以根據其自身的辨別能力動態選擇分支。當追蹤對象發生形變等情況時，選擇效果最好和適合度最高的分支，通過對多個孿生網絡集成以使目標特征表示多樣化［20］。SA-Siam和MBST在SiamFC的基礎上將泛化能力進一步提升，獲得了突出的性能。同時，SiamBM跟蹤器能夠解決SiamFC不能正確處理大物體的旋轉與背景包含目標時跟蹤乏力等問題，在SA-Siam的基礎上做了改進，加入不同機制實現對追蹤對象的位置、尺度與角度進行預測，跟蹤性能提升明顯［21］。
圖2 SiamFC的網絡結構［16］Fig.2 Network structure of SiamFC［16］
目標跟蹤可以利用離線訓練平衡目標跟蹤的精度和速度，但是離線訓練模型和跟蹤時的特定目標有時候無法充分適應［22］。在SiamFC的基礎上提出的新深度架構殘差注意力孿生網絡（RASNet）能夠使離線訓練模型與在線目標跟蹤相適應，RASNet從回歸的角度重新制定了孿生網絡跟蹤，而且探索了一般注意力機制、殘差注意力機制和通道注意力機制3種注意力機制［22］。自適應的深度特征級聯跟蹤方法（EAST）采用類似方法解決了離線訓練的深度模型不能適應在線跟蹤目標的問題［23］。現有基于卷積神經網絡的方法大多從全局視角描述目標外觀，忽略了所跟蹤物體的局部結構對于跟蹤魯棒性的影響。為此，DensSiam跟蹤器加入了注意力模塊，其在目標對象出現遮擋和外觀變化時通過減少共享網絡中的參數數量解決問題使目標跟蹤的精度和魯棒性得到提高［24］。基于局部結構的孿生網絡（StructSiam）同時執行判別模式檢測、局部結構學習和集成［25］，克服了在跟蹤對象時出現的外觀變化、旋轉、部分遮擋等挑戰。
基于全卷積孿生神經網絡的目標跟蹤算法相比于SiamFC在性能上均有很大的改進。表1是各算法在數據集VOT2017上的具體表現。VOT2017數據集是公正的評價工具。從表1可見，在基于SiamFC所做的孿生網絡算改進中，除了CFNet以精度的損失換取了速度的提升，使預期平均重疊率（EVO）有所下降，其他的改進算法在EVO方面的表現均優于SiamFC。
表1 基于全卷積孿生網絡算法對比Tab.1 Comparison based on full-convolutional Siamese network algorithms
SiamFC已經使用了多種尺度與目標變化相適應的方法進行目標跟蹤。最近有學者開始將目標檢測領域尺度變化的解決方法與孿生網絡相結合，從而彌補SiamFC在性能方面的欠缺［26］，其中GOTURN方法的特征提取器采用了孿生網絡，使用全連接層作為融合張量，通過使用最后一幀的預測邊界框作為建議來提高性能［27］。最具代表性的是將孿生網絡與區域建議網絡（RPN）相結合來預測目標位置的跟蹤算法SiamRPN［28］，其網絡結構見圖3。整個SiamRPN結構由孿生網絡和具有分類分支和回歸分支的RPN組成。在跟蹤階段，模型被進行端到端的訓練并且包含該對象的邊界框信息被直接回歸［29］。由于Siam-RPN在模型識別方面仍有相對較低的泛化能力，難以處理與目標對象外觀相似的干擾物，串并聯匹配框架（SPM-Tracker）通過將專注于增強魯棒性的粗匹配階段和專注于提高辨別能力的精細匹配階段進行串并聯結構融合來提升性能［30］。而后DaSiamRPN方法進一步引入了分心器感知模塊，利用更多的負樣本來改進Siam-RPN跟蹤器，增強了模型辨別力，獲得了魯棒性更高的跟蹤結果［31］。為了應對SiamRPN在物體大尺度形變和干擾物會引起性能下降的問題，在SiamRPN的基礎上引入的一種新的孿生級聯網絡跟蹤架構（C-RPN）［32］采用多個回歸步驟使定位更加精準。Ocean則通過以強大的ResNet-50代替AlexNet作為主干增強了特征表示能力，有效地改善了物體形變和遮擋因素造成的性能下降問題，并且獲得了更佳的跟蹤精度［33-35］。
圖3 SiamRPN的網絡結構［29］Fig.3 Network structure of SiamRPN［29］
雖然SiamRPN通過將孿生網絡與區域建議網絡（RPN）相結合來執行準確有效的目標狀態估計，然而預定義的錨設置不僅引入了模糊的相似性評分，還嚴重降低了魯棒性［33］。基于全卷積連體跟蹤器的SiamFC++方法利用基于錨或無錨的機制進行邊界框估計，在定位精度方面有極大的提升［36］。由于在區域提議引入了錨點，超參數調整的專業性對于能否跟蹤成功就變得至關重要。孿生分類和回歸框架SiamCAR通過端到端方式訓練深度 Siamese 網絡，使用完全卷積框架以逐像素的方式解決跟蹤問題，避免了復雜的錨定超參數調整，從而減少了人為干預，提高了泛化能力［37］。通過直接在全卷積網絡 FCN［38］中分類目標并對邊界框進行回歸的SiamBAN避免了相關超參數的調整，其因為無先驗框的設計避免了與候選框相關的超參數交互，從而使SiamBAN更加靈活和通用。無先驗框設計將復雜的超參數問題轉化為分類回歸問題，從而提高了性能［39］。
為了揭示孿生網絡可以利用深層神經網絡提取目標對象的深度特征，SiamDW將深層神經網絡引入孿生框架［40］，而后利用端到端訓練深層孿生網絡的目標跟蹤算法SiamRPN++提出了互相關操作，通過逐層特征加重結構和設計深度可分離結構減少了目標模板分支中存在的參數數量，獲得了顯著的性能提升，網絡結構如圖4所示［41］。SiamMask能實時執行視覺對象跟蹤和半監督視頻對象分割，并且將實例分割整合到跟蹤中，展現出了比其他先進跟蹤器準確性更高的特點［42］。SiamRPN++、SiamMask和 Siam-DW以不同的方式消除了填充等影響因素，并將深層神經網絡如ResNeXt［43］、ResNet［34］和MobileNet［44］等引入到基于孿生網絡的視覺跟蹤器中，進一步提高了目標跟蹤精度，表現出了突出的跟蹤性能。
圖4 SiamRPN++的網絡結構［41］Fig.4 Network structure of SiamRPN++［41］
表2是基于引入回歸孿生神經網絡的目標跟蹤算法在VOT2017數據集上的表現對比。SiamRPN的速度與精度比之前的算法有了很大的提升，速度為160 fps。DaSiamRPN速度為160 fps，與SiamRPN保持一致，但是EAO明顯高于SiamRPN。SPM-Tracker在GPU上的速度為120 fps。SiamCAR在追蹤精度和速度上都有明顯提高，速度達到了170 fps。SiamRPN作為首個將區域建議網絡引入的孿生網絡跟蹤算法，雖然展現出了不錯的跟蹤性能，但在其之后提出的基于回歸的跟蹤算法展現出了更加強大的性能，具體表現在準確性、魯棒性和預期平均重疊率均有提升。
表2 基于引入回歸孿生網絡的算法對比Tab.2 Comparison of algorithms based on the introduction of regression Siamese networks
許多最新方法都是通過大量離線學習整合先前知識的形式進行目標跟蹤。SiamRPN及在其基礎上改進的算法經過廣泛的離線訓練已能夠進行邊界框回歸，但是在目標分類問題上目標跟蹤還存在一些挑戰。為此，基于在多域學習框架中訓練CNN的新型跟蹤算法（MDNet）將目標跟蹤看作是一種分類問題，通過學習一個離線深度特征提取器，然后添加一些可被學習的全連接層對分類器在線更新［45］，在新序列的背景下在線更新預先訓練好的CNN，目的是使特定領域的信息可以實現自適應學習［46］。在此之后，新型實時目標跟蹤算法（RT-MDNet）被提出，通過改進的ROIALLIGN技術加速特征提取過程，從而解決目標形變、背景遮擋等因素帶來的性能下降問題［47］。
大多數基于孿生網絡的跟蹤算法沒有進行在線學習，所以一部分學者開始使用模板更新技術來彌補類似干擾因素帶來的影響［47］。DSiam是具有快速轉換學習模型的動態孿生網絡，實現了有效的模板更新和雜亂背景抑制［48］。CFNet通過在模板分支結構中嵌入可以調節的相關過濾層架構對過濾器和模板進行在線更新［18］。SiamAttn通過新的孿生注意機制計算可變形注意力，提供一種隱式方式來自適應地更新目標模板，網絡結構如圖5所示［48］。通過將卷積神經網絡集成到現有的孿生跟蹤器中的Update-Net顯著提高了跟蹤器在標準線性更新方面的性能［49］。
圖5 SiamAttn的網絡結構［48］Fig.5 Network structure of SiamAttn［48］
雖然模板更新技術解決了部分在線學習問題，但它還未擁有強大的在線學習模型的能力。為此，有學者開始利用廣泛的離線訓練對目標進行在線跟蹤。ATOM通過在線學習判別分類器的方式來準確區分跟蹤對象與其所處背景，有效地利用背景信息增強了魯棒性，網絡結構見圖6［50］。跟蹤模型ROAM由可調整大小的響應生成器和邊界框回歸器組成，基于元學習設計了遞歸神經優化器以訓練跟蹤和更新模型［51］。此外，DIMP［52］和 PrDIMP［53］將在線更新與連體結構相結合，通過對目標特征和背景外觀信息的充分利用來進行目標模型預測，解決了之前 泛化能力和魯棒性較差的限制，展現出強大的性能。
圖6 ATOM的網絡結構［50］Fig.6 Network structure of ATOM ［50］
基于在線更新孿生神經網絡的目標跟蹤算法在一定程度上改變了孿生網絡目標跟蹤的格局，使其可以在進行目標跟蹤的同時進行更新。表3為目標在線更新跟蹤算法在VOT2017數據集測試下的性能對比。
表3 基于在線更新孿生網絡算法對比Tab.3 Comparison of Siamese network algorithms based on online updates
將基于全卷積孿生神經網絡的目標跟蹤、基于引入回歸孿生網絡的目標跟蹤和基于在線更新孿生網絡的目標跟蹤3種方法中排名靠前的幾種算法與其他表現較好的目標跟蹤算法進行測試，算法包括SiamFC、StructSiam、DSiam、DaSiamRPN、MDNet、UpdatNet、VITAL、SINT、STRCF和ECO。測試工具使用的是最近反響很好的LaSOT數據集，其測試子集由280個序列構成，包含69萬幀。LaSOT數據集使用成功圖和歸一化精度圖來評估跟蹤器。
對11種不同的基于孿生網絡目標跟蹤算法的性能進行對比分析，實驗和用作分析的數據均來自官網或者文獻提供的結果。圖7給出了各個目標跟蹤算法的性能評估。從圖7可以看出，通過UpdateNet增強的DaSiamRPN 的更新能力在所有指標上的性能均有顯著提升，引入回歸方法中的DaSiamRPN對比全卷積神經網絡方法中的Structsiam以0.121的差距領先，雖然二者也表現出不俗的性能，但是在線更新方法在性能提升上的表現更加優秀，進一步證明了基于孿生網絡的在線更新方法在目標跟蹤方面的優勢。未來孿生網絡目標跟蹤的趨勢也勢必是將其與在線更新機制相結合。表4分別對3種基于孿生網絡的目標跟蹤算法中的代表算法進行了總結歸納。可以看出，基于孿生網絡的目標跟蹤算法在與時俱進，性能也隨之提高。
表4 3種孿生網絡方法代表算法對比Tab.4 Three Siamese network methods represent algorithmic comparisons
圖7 3種方法中代表算法在LaSOT數據集上的比較。較大的值表示更好的性能。Fig.7 Comparison of the represent algorithms of the three methods on the LaSOT dataset.The larger values indicate better performance.
目標跟蹤領域隨著深度學習的加入使跟蹤目標時的速度和精度有了大幅提高，卷積神經網絡在其中的應用也使目標跟蹤的性能有了顯著提升。基于孿生網絡的目標跟蹤由于其對速度與精度出色的平衡性而被越來越多的學者關注并應用。本文介紹了基于孿生網絡的目標跟蹤在國內外的研究進展，根據孿生網絡在目標跟蹤中應用的特點，將其分為3個方面，即基于全卷積孿生神經網絡的單目標跟蹤、基于引入回歸孿生網絡的單目標跟蹤、基于在線更新孿生網絡的單目標跟蹤。基于孿生網絡的目標跟蹤平衡了速度與精度，展現了優異的性能。
在總結目標跟蹤文獻后提出3種未來研究方向：（1）孿生網絡只是預測了目標特征模板，而在實際目標跟蹤過程中忽略了背景外觀信息。因為孿生網絡在預測模型時對目標背景識別的能力有限，所以在目標模型預測時充分利用目標和背景外觀信息是未來需側重的研究方向之一。（2）孿生網絡對于物體和成像在時間變化方面的完成效果依舊不太理想，如何有效地進行有目標外觀變化的在線學習和背景抑制是一個重要的待解決問題。（3）孿生網絡雖然最近發展十分迅速，但是卷積計算量也隨之大量增加，導致其在跟蹤方面的實時性和速度受到了一些影響。如何在保證實時性和速度的前提下減少計算量也是未來需要研究的方向之一。
猜你喜歡跟蹤器離線網絡結構光伏跟蹤器陣列跟蹤精度的測算方法研究太陽能(2022年3期)2022-03-29異步電機離線參數辨識方法防爆電機(2021年4期)2021-07-28淺談ATC離線基礎數據的準備鐵道通信信號(2020年6期)2020-09-21淺析一種風光儲一體化跟蹤器太陽能(2020年3期)2020-04-08超長待機的自行車位置跟蹤器當代工人·精品C(2019年2期)2019-05-10FTGS軌道電路離線測試平臺開發鐵道通信信號(2019年3期)2019-04-25離線富集-HPLC法同時測定氨咖黃敏膠囊中5種合成色素中成藥(2018年2期)2018-05-09雙向多軌跡判定方法在目標跟蹤中的應用研究計算機應用與軟件(2017年7期)2017-08-12基于互信息的貝葉斯網絡結構學習北京信息科技大學學報(自然科學版)(2016年6期)2016-02-27知識網絡結構維對于創新績效的作用機制——遠程創新搜尋的中介作用管理現代化(2016年3期)2016-02-06