陳星,張文海,楊林,鄭訊佳
(1.重慶文理學院 智能制造工程學院,重慶 402160;2.重慶交通大學 機電與汽車工程學院,重慶 400074;3.重慶長安工業(集團)有限責任公司 特種車輛研究所,重慶 400023)
隨著無人駕駛車輛的快速發展，道路檢測起著越來越重要的作用。目前，國內外關于道路檢測的研究主要集中于結構化道路上，但是在實際車輛行駛中，常常會遇到沒有明顯標記且環境背景復雜的道路，如：鄉村小道、沙漠公路等。因此，找到一種抗背景干擾性強、精度高、實時性好的非結構化道路邊緣檢測方法具有重要意義。雖然非結構化道路沒有明顯的道路邊緣特征，但是由于道路較為松垮，車輛駛過后可能留有車轍等痕跡，而這些痕跡一般會趨向收斂于道路遠端，稱為消失點。因此利用消失點作為約束進行非結構化道路檢測，可以大幅度提高非結構化道路檢測精度[1]。
目前，針對非結構化道路消失點檢測的方法主要分為基于直線交點和基于紋理方向兩大類。利用直線交點的方法主要是通過獲取圖像中的道路邊緣，并估計邊緣的交點得到道路的消失點[2-3],韓冰心等[4]采用基于隨機采樣一致性(random sample consistency,RANSAC)的消失點估計方法,利用正交性約束生成候選假設，然而RANSAC算法只對具有明顯道路線的場景有效，因此此類方法面對道路線不明顯且具有大量背景干擾的場景效果不佳。Rasmussen[5]首次提出了利用紋理方向來估計消失點。為了解決單一尺度下容易遺落信息的問題，Kong等[6]提出了使用36方向，5個尺度的Gabor濾波器組來獲取紋理響應，然而該方法計算量大，不具有高效性。Moghada等[7]提出了聯合四方向Gabor濾波器，Jin等[8]提出了改進的聯合四方向Gabor濾波器，采用粒子濾波的消失點跟蹤方法，該方法雖然有效，但是算法復雜，且需要連續的非結構道路視頻。為了解決實時性問題，黃俊等[9]提出了采用局部二值模式 (local binary patter,LBP)特征來提取圖像紋理特征，王先杰[10]采用類Haar紋理特征替代傳統的Gabor紋理，雖然可以提高算法的效率，但是在精度上略顯不足。為解決精度問題，俞駿威等[11]采用神經網絡的算法來計算消失點，Liu等[12]結合卷積網絡和Heatmap回歸來檢測消失點，基于神經網絡的算法可以顯著提高消失點的檢測精度，但是時間復雜度較高，滿足不了實時性的要求。
綜上所述，設計一種兼備較高精度與低時間復雜度的檢測算法具有重大的意義。通過深入研究先前消失點檢測方法在精度或者效率方面的問題，針對背景噪聲干擾導致算法精度和效率低下的問題，本文綜合考慮投票點位置信息、候選點范圍和投票角度優先，創新性地提出一種結合立體視覺的非結構化道路消失點檢測方法。首先采用半全局立體匹配算法快速得到道路場景視差圖，通過廣度優先圖遍歷算法得到背景區域；
設計五尺度四方向的Gabor濾波器高效地得到道路圖像紋理響應，并通過幅值校正減少檢測誤差；
結合背景區域，設計了一系列投票點的選擇規則和動態調整的候選點范圍策略；
設計角度優先的投票函數。本文所提方法綜合考慮了投票點位置的影響，來提高算法的檢測精度與抗干擾性能；
結合實際道路情況設計動態的候選點區域范圍選擇，提高算法的效率；
綜合考慮距離和角度問題設計更為合理的投票函數，使候選點得票數更為合理，進一步提高算法的檢測精度。
通過大量的研究發現，背景干擾是影響消失點檢測精度的主要因素之一，而且消失點檢測最為重要的信息線索往往都來源于路面區域。因此本文創新性地提出了一種基于雙目立體視覺的背景區域估計方法。首先采用SGM算法[13]計算道路圖像視差圖，接著建立參考柵格模型。如圖1所示，模型的零平面(即Y=0)與路面平行,視差圖的行和列與世界坐標系X軸、Y軸平行,Z軸指向場景深度。設在視差圖像平面坐標系,一個視差為d的像素點(x,y),將其映射到柵格單元(u,v)
(1)
式中:m,n為控制柵格模型尺寸的常數；
?·」符號為下取整函數。由雙目視覺原理,由像平面坐標系到世界坐標系的轉換為
(2)
式中，x0,y0為像平面x軸、y軸中心坐標。則可將公式(1)轉換為
(3)
式中:M為映射關系；
B為雙目系統中基線長度；
f為焦距，通過(3)式可計算各個單元的X,Z坐標。
(4)
最后計算相鄰單元間的斜率
(5)
式中:(u,v)和(p,q)為相鄰單元,‖·‖為二范數。給定一個閾值εl,斜率S(u,v,p,q)>εl,則認為2個單元不相通。得到兩兩相鄰單元間的聯通性后,設汽車位于路面上,則以汽車所在單元為起點采用廣度優先算法遍歷柵格模型,求得所有與路面不連通單元,那些單元即為背景區域。
圖1 柵格地圖示意圖
背景區域的步驟為:
step1 獲得雙目圖像的左視圖I,采用SGM算法獲得視差圖I視差。
step2 利用(1)式,將視差圖I視差轉換為柵格模型(u,v)。
step3 通過(3)～(4)式分別計算柵格模型各個單元的X,Y,Z坐標。
step4 通過(5)式計算相鄰單元之間的連通性。
step5 采用廣度優先算法遍歷柵格模型,獲得背景區域。
圖2給出最后結果,白色區域為檢測得出的背景區域Ibk,本文設置背景區域值為1,即Ibk(x,y)=1,(x,y)∈Ibk。
圖2 背景區域估計
2.1 道路紋理提取
道路的紋理特征提取是消失點檢測的第一個步驟,本文綜合考慮效率和精度問題,從五尺度上對圖像紋理進行提取,雖然提高更多尺度可提高紋理提取精度,但換來的是效率大大降低;采用四方向Gabor濾波器,道路方向的紋理基本上位于0°,45°,90°和135°之間,因此采用四方向既滿足紋理方向需求,又可以減少濾波次數,降低算法復雜度,具體定義為
(6)
式中:a=xcosθ+ysinθ,b=-xsinθ+ycosθ,θ=0°,45°,90°,135°,為4個方向,ω0=2π/λ為徑向頻率,c=π/2為頻倍常數,λ=3,9,12,32,64,為5個尺度的空間頻率。設灰度圖像為I,將圖像I與確定方向θ和確定尺度ω0的Gabor濾波器進行卷積,可得能量響應ξθ,ω0(x,y)為
ξθ,ω0(x,y)=I(x,y)?Gθ,ω0(x,y)
(7)
式中:?為卷積符號。由于ξθ,ω0(x,y)包含實部與虛部2個分量,一般取能量響應ξθ,ω0(x,y)的實部與虛部的平方根作為總的能量響應幅度
式中:Eθ(x,y)為每個方向θ在5個尺度下能量響應幅度Eθ,ω0(x,y)的均值。
值得注意的是,由于傳統的Gabor濾波器估計的紋理不總是精確的,本文在紋理方向上設置紋理方向置信度Conf(x,y)來剔除不可靠紋理。具體為:
step1 將(9)式得到的4個方向平均能量響應Eθ(x,y)按降序進行排列。
(10)
式中,Eth為閾值常數。
本文設計從五尺度的空間頻率對圖像紋理進行提取,低空間頻率可更好地提取弱紋理響應,高空間頻率可更高效率地提取圖像紋理,結合多尺度紋理信息,既可以提取弱紋理響應,又可提高算法效率。采用四方向來獲取紋理信息,在效率上:若算法均為五尺度,8,16和32方向相比四方向則需要增加20,60和140次濾波;精度上:雖然8,16和32方向可從更多方向上獲得紋理響應,但是可能也會獲得更多的錯誤紋理,例如當背景區域面積大于路面區域時,此時更多方向上獲得的紋理可能均為背景區域紋理,此時反而降低算法精度,而本文僅采用四方向是由于已去除背景區域的影響,此時獲得的紋理大部分均為路面紋理,而路面紋理方向基本位于0°,45°,90°和135°方向上,因此本文僅采用四方向來獲取紋理精度上可得到滿足,效率上也大大提高。
2.2 基于背景區域的投票點選擇
傳統的選擇方法著重于投票點的得分數,而忽略投票點的位置影響,一些來自背景區域的干擾點也被認為是投票點[14-15],這不僅大大增加了投票階段的時間成本,也嚴重地影響了消失點檢測的精度。因此根據求得的背景區域Ibk,本文設計了一系列投票點的選擇規則,如下所示:
規則1 根據(10)式可以得到每個像素的方向置信度Conf(x,y),置信度越低,表明此像素點的方向性越差,在各個方向上能量響應強度相似,則不應作為投票點
(11)
式中:Votedot(x,y)為投票點地圖,Conf(x,y)為像素點置信度,數字1表示可作為投票點,0表示不可作為投票點。
規則2 由于弱紋理像素的特點表現為能量響應值小、紋理方向性弱,若作為投票點,則會降低檢測的精度,應去除
(12)
式中:E(x,y)為像素點的能量響應;E為所有像素的能量響應強度;β為比例常數,文中取2.5。
規則3 投票點的位置也會影響最終估計精度,認為位于背景區域下像素點不應作為投票點
(13)
式中，(x,y)為圖像的坐標。
本小節在投票點選擇上,去除了置信度低、響應弱和背景區域干擾的投票點,如圖3所示,相比只有規則1的投票點選擇方法，本文方法選擇的投票點數量大大減少,提高了算法計算效率,而且有效地抑制了背景噪聲點的干擾,提高了算法的精度。
圖3 投票點
2.3 紋理主方向計算
傳統方法認為能量響應最大的方向即為紋理主方向,而忽略了其余能量響應的影響。研究表明若某個像素點的紋理主方向離某個響應越近,該方向的響應就越強,則該方向反方向的響應就越弱,因此將2個紋理響應最強方向的反方向能量響應視為最弱的2個方向。本文設計了一種采用最弱方向的響應來修正主方向的估計的方法。
由于本文所采用4個方向的響應正好兩兩垂直,在進行幅值矯正時無需進行重新計算,則響應矯正為
(14)
(15)
式中:Eθ(x,y)為主能量響應;Eθx(x,y),Eθy(x,y)為矯正后的響應在x,y軸上的分量,如圖4所示,θ(x,y)為最終的紋理主方向。
很明顯本文計算的紋理主方向,綜合考慮了其余方向能量響應的影響，更加合理。
圖4 向量合成示意圖
2.4 候選點范圍確定
在候選點的選擇上,文獻[16]認為道路圖像的整個上部分像素點都應視為候選點。然而,根據對大量圖像真實消失點位置的觀察,發現消失點通常處于路面區域的上方或者處于路面區域,且基本不會處于路面區域的兩側,基于這一規律,本文設計了一種結合背景區域的動態調整候選點搜索范圍策略。設非背景區域為路面區域Iroad
(16)
式中:數字1表示標記成路面區域。
求取路面區域的面積,根據面積大小尋找一條直線y=y*,接著計算背景區域面積,根據面積占比尋求兩條直線x=xleft,x=xright,候選點應處于3條直線圍成的區域之內,具體為
式中:Aroad為路面區域面積;H和W為圖像的長寬;τ為調節系數,取0.25;Candidate(x,y)為候選點區域,Abk,L和Abk,R為背景區域Ibk的左右面積,如圖5所示。圖6中黑色區域的像素點將不作為候選點。
圖5 左右面積示意圖
圖6 候選點范圍
候選點確定步驟:
step1 通過(15)式獲得路面區域。
step2 計算路面區域面積,根據(16)式求得直線y=y*。
step3 計算背景區域左右區域面積Abk,L和Abk,R,根據(16)式計算直線x=xleft,x=xright。
step4 3條直線圍成的區域即為候選點區域,根據公式(18)求得。
結合背景區域和路面區域,自適應調節候選點范圍,去除無用候選點,提高算法的效率。
2.5 投票策略
在確定了投票點與候選點后,通過投票策略即可實現消失點的定位。文獻[14]提出了一種基于距離的投票策略,但是由于背景干擾引入了大量的噪聲投票點,靠近這些噪聲投票點的候選點會得到更多的選票。
因此,本文為每個投票點建立一個投票區域,如圖7所示的綠色區域,投票點P為其區域的候選點進行投票。
圖7 投票面積示意圖
投票區域確定規則:
規則1 應該保證投票區域位于投票點之上。
規則3 由于II1I2與JJ1J2區域遠離投票點P,將不作為投票區。
本文提出一種結合角度控制的投票函數,具體為
Score(P,V)=
(19)
式中:d(P,V)2=((xP-xV)2+(yP-yV)2)/Ldiag,Ldiag為圖像的對角線長度,P為投票點,V為該投票點確定的投票區域內的候選點,υ為比例常數,設置為0.2。其余參數:dPK=H×0.4,dPQ=H×0.55,容忍角度ε=5°。
3.1 圖像數據集
由于不存在用于非結構化場景中消失點檢測的先驗標準數據集,所以本文構建了消失點檢測數據集來檢測算法的可行性。由于該文需要采用雙目圖像,目前流行的立體圖像數據集有Middlebury與KITTK2015[17]。KITTK2015數據集包含1 000多對立體圖像,均為實際駕駛過程中拍攝的場景,挑選其中800張屬于道路場景的圖像作為實驗數據。本文首先將所有圖像的尺寸歸一為600×200,接著為了評估算法檢測性能與人類對消失點位置的感知,邀請10人為其講解消失點概念后,手動標注每張圖像的消失點的位置,作為真實的消失點,最后給出本文算法在該數據集上一些道路場景的檢測結果,如圖8所示。
圖8 本文算法在不同道路場景的檢測結果(注:紅色星型標記為真實消失點位置,紫色圓形標記為本文算法檢測出的消失點)
如圖8所示,本文提出的方法不管是在鄉鎮道路、城市道路和鄉間道路上檢測精度都很高,而且即使道路兩旁存在大量的背景干擾,本文方法都能準確地檢測出消失點位置。
3.2 對比實驗
為了更進一步凸顯出本文所提方法的可靠性,將本文提出的方法與現有的5種算法進行比較,分別為:Huang方法[9]、Moghada方法[7]、Ding方法[18]、Yu方法[11]和Hang方法[4]。Moghada方法被認為是目前計算速度最快的方法;Yu方法是基于深度學習的檢測方法,具有較好的精度;Hang方法采用非線性直線擬合的方式,具有較好的效率;Ding方法采用暗通道先驗概率來檢測消失點,可減少光照的影響。選取不同自然條件影響的道路場景圖像,包括光照影響的道路場景、陰影影響的道路場景、復雜背景的道路場景和一些極其復雜的道路場景,來對比不同算法在不同場景下的效果,對比結果如圖9所示。
圖9 不同場景下消失點檢測算法比較
如圖9所示,其中紅色星型標記為人工標記的真實消失點,綠色圓形標記為本文檢測出的消失點,黃色的圓形標記為Huang方法,藍色圓形標記為Moghada方法,紅色圓形標記為Ding方法,紫色圓形標記為Yu方法,棕色圓形標記為Hang方法。在圖9a)中,Ding方法由于引入暗通道先驗概率,可以很好改善光照影響,精度有所提高,但是由于背景噪聲影響,與真實消失點還是有些許偏差,而本文方法不受背景干擾,即使有光照影響,精度還是高于Ding方法。特別在具有復雜背景干擾下的場景,本文方法更具有優勢,如圖9c)所示,除Yu方法以外,其余對比方法精度都很低,這是因為Yu方法采用的是基于深度學習的方法,精度上高于傳統的圖像處理方法,但是具有效率低下的缺點。而本文方法在精度上接近Yu方法,但效率上遠超于Yu方法。在一些極其復雜的場景,如圖9d)所示,在綜合背景、復雜道路類型和光照等影響下,對比算法檢測的消失點位置均很大地偏離真實位置,而本文方的檢測結果也均能在允許偏差內,精度接近基于神經網絡的方法。
為了更為直觀地評估消失點檢測算法的精度,使用上文中標記的800張道路圖像,使用歸一化歐式距離來衡量檢測到消失點與真實消失點之間的差異,為
(20)
式中:(xe,ye)為算法估計出的消失點位置;(xt,yt)為上文提及的人工標注的真實消失點位置;Ldiag為圖像的對角線長度,很明顯;eND越小,表明算法的精度越高。
從圖10可以看出,本文算法位于統計直方圖左部的圖像數量僅次于Yu算法,可見本文方法的精度接近于基于深度學習的檢測方法，遠高于傳統的基于圖像處理的檢測方法。具體而言,Moghada方法表現最差,約有303張(37.8%)圖像的eND值大于0.1,Ding方法與Huang方法分別有223張(27.8%)和197張(24.6%)被認為是誤差較大的圖像,而本文所提方法只有65張(8.1%)圖像被認為具有較大誤差,接近于Yu方法的35張(4.3%)。
圖10 消失點檢測算法精度比較
同時給出了各種算法的平均歸一化歐氏距離誤差和平均運行時長,如表1所示。本文所有的算法實現都基于Python語言,運行平臺為Windows10 64位系統,CPU為Intel Core i5。本文的平均誤差僅為0.041 4,基本接近基于神經網絡的檢測算法,但是Yu算法的運算時長是本文的3倍多,效率上僅低于Moghada方法,但是精度提高了30.1%。
表1 歐氏距離誤差與運行時長
本文提出了一種結合立體視覺的道路消失點檢測方法,結合雙目視覺技術,實現對背景區域的快速估計；
在此基礎上提出了一系列投票點與候選點的選擇規則,以提高檢測的準確性與減少計算時長；
設計了一種投票策略,將在投票空間中獲得票數最高的候選點視為消失點。在KITTK數據集下選擇各種非結構道路場景上的實驗結果表明,與現有的5種方法相比,本文方法具有精度高、檢測速度快的特點。盡管本文的方法需要用到雙目視覺的技術,對硬件的需求略高,但是可以大大地提高在非結構道路中消失點檢測的準確性,在無人地面車輛和移動機器人的自主導航應用中具有很好的應用前景。