丁 鋒,劉海波,劉喜梅
(1.青島科技大學 自動化與電子工程學院,山東 青島 266061;2.江南大學 物聯網工程學院,江蘇 無錫 214122)
梯度方法和牛頓方法是研究優化問題的基本方法。用于系統辨識就得到梯度辨識方法和牛頓辨識方法。對于線性參數系統,牛頓辨識方法退化為最小二乘辨識方法。
梯度方法和牛頓方法與輔助模型辨識思想、多新息辨識理論、遞階辨識原理、耦合辨識概念等相結合[1-7],誕生出許多辨識方法,如輔助模型隨機梯度方法、輔助模型最小二乘方法、輔助模型牛頓辨識方法、多新息隨機梯度辨識方法、多新息最小二乘辨識方法、多新息牛頓辨識方法、遞階隨機梯度辨識方法、遞階最小二乘辨識方法、遞階牛頓辨識方法、耦合隨機梯度辨識方法、耦合最小二乘辨識方法、耦合牛頓辨識方法等。
梯度方法、最小二乘方法、牛頓方法與濾波辨識理念相結合,誕生出濾波梯度辨識方法、濾波最小二乘辨識方法、濾波牛頓辨識方法等。《青島科技大學學報(自然科學版)》的連載論文研究了線性回歸系統、方程誤差系統和輸出誤差系統的遞階遞推辨識方法和遞階迭代辨識方法[8-16]。
最近的連載論文研究了有限脈沖響應滑動平均系統 的遞階遞推增廣參數辨識方法[9]和遞階增廣迭代參數辨識方法[10],以及濾波增廣遞推參數辨識方法[17]和濾波增廣迭代辨識方法[18]。本研究利用濾波辨識理念,研究方程誤差自回歸系統,即受控自回歸自回歸系統的濾波遞推廣義辨識方法。
基于數據濾波的辨識方法一般是針對有色噪聲干擾的系統而言。其基本思想是,在系統方程兩邊同乘以一個濾波器(通常取為噪聲模型傳遞函數的逆),對輸入輸出數據進行濾波,濾波后的系統是一個白噪聲干擾的系統,而原系統的傳遞函數不變,然后使用濾波后的輸入輸出數據等進行辨識。因為濾波器(噪聲模型的傳遞函數)是未知的,濾波后的輸入輸出數據也是未知的,實際中通常采用噪聲模型傳遞函數的估計進行濾波,所以基于數據濾波的辨識方法只能以遞推方式或迭代方式實現。
如果知道系統先驗知識,濾波器也可以采用參數已知的固定模型,否則可采用動態變化模型,如即將討論的用噪聲傳遞函數的估計作為濾波器。
辨識中數據濾波與通信和信號處理中的濾波有本質不同。后者濾波是剔除被污染信號中的噪聲,使得噪聲在信號中的比重降低,如低通濾波器和高通濾波器。而濾波辨識方法只是改變系統模型的結構,不改變系統的輸入-輸出關系。總之,濾波辨識是將有色噪聲干擾的系統模型變換為白噪聲干擾的模型,即模型白色化(不是數據白色化),它能夠提高參數辨識精度。
方程誤差自回歸模型(EEAR模型)又稱為受控自回歸自回歸模型。考慮下列受控自回歸自回歸模型(controlled autoregressive autoregressive model,CARAR模型)描述的動態隨機系統:
其中{u(t)}和{y(t)}分別是系統的輸入和輸出序列,{v(t)}是零均值、方差為σ2的隨機白噪聲序列,A(z),B(z)和C(z)是單位后移算子z－1的多項式:
設階次na,nb和nc已知。記n:＝na＋nb＋nc。且設t≤0時,所有變量的初值均為零,如y(t)＝0,u(t)＝0,v(t)＝0。
置有關參數向量和信息向量如下:
定義中間變量:
取濾波器L(z):＝C(z)。定義濾波輸入uf(t),濾波輸出yf(t)分別為
定義濾波輸出信息向量φaf(t)和濾波輸入信息向量φbf(t)如下:
式(1)兩邊乘以L(z)得到
或
這個濾波后的模型是一個方程誤差模型(即CAR模型)。將它寫為向量形式為
將式(6)代入式(10)得到
其中
在辨識模型(11)中,參數向量θ包含了系統的所有參數ai,bi和ci。目標就是利用系統的輸入輸出數據u(t)和y(t),研究和提出估計參數向量θ的辨識方法。
對于辨識模型(11),由于多項式C(z)是未知的(即L(z)是未知的),故uf(t),yf(t),以及φaf(t)和φbf(t)都是未知的,且由它們構成的信息向量φ(t)也是未知的,故需要采用估計值代替未知變量來推導基于數據濾波的辨識方法。
對于EEAR系統的辨識模型(11),定義梯度準則函數:
這些遞推關系式無法實現,因為式(13)～(14)右邊信息向量φ(t)是未知的,所以需要先構造它們的估計。由噪聲模型參數估計
構造多項式C(z)的估計:
根據定義式(7)～(8)的結構,用yf(t－i)和uf(ti)的估計和構造濾波輸出信息向量φaf(t)和濾波輸入信息向量φbf(t)的估計:
將式(13)～(14)中右邊未知信息向量φ(t)用其估計代替,得到式(20)～(22),聯立式(19),(17)～(18),(2)～(3),(15)～(16),可以得到估計EEAR系統參數向量θ的基于濾波的廣義隨機梯度辨識算法(filtering-based generalized stochastic gradient identification algorithm),簡稱為濾波廣義隨機梯度算法(filtered generalized stochastic gradient algorithm,F-GSG算法):
F-GSG算法(20)～(30)計算參數估計向量^θ(t)的步驟如下。
1)初始化:令t＝1。置初值,i)＝1/p0,i＝1,2,…,max[na,nb,nc],p0是一個大正數,如p0＝106。給定數據長度Le。
2)采集輸入輸出數據u(t)和y(t),用式(24)～(27)構造信息向量和φc(t),用式(23)構造信息向量。
3)用式(22)計算r(t),用式(21)計算新息e(t)。
6)如果t＜Le,t就增加1,轉到步驟2);否則輸出參數估計,終止遞推計算過程。
在F-GSG辨識算法(20)～(30)中,e(t)＝為辨識新息。定義辨識殘差。
為改進F-GSG算法的收斂速度,一種方法是借助于多新息辨識理論,通過擴展新息維數,推導出基于濾波的多新息廣義隨機梯度辨識算法。
設正整數p表示新息長度。基于F-GSG算法(20)～(30),將系統輸出y(t)和信息向量擴展為堆積輸出向量Y(p,t)和堆積信息矩陣(p,t):
將式(20)中標量新息e(t)＝y(t)－^φT(t)^θ(t－1)∈?擴展為新息向量
這是新息長度p＝1的基于濾波的多新息廣義隨機梯度算法。將上式中和E(1,t)中的“1”換為p,得到式(34),聯立式(31)～(33)和(22)～(30),就得到新息長度為p的估計EEAR系統參數向量θ的基于濾波的多新息廣義隨機梯度辨識算法(filtering-based multi-innovation generalized stochastic gradient identification algorithm),簡稱為濾波多新息廣義隨機梯度算法(filtered multi-innovation generalized stochastic gradient algorithm,FMI-GSG算法):
1)初始化:令t＝1,給定新息長度p。置初值,p0是一個大正數,如p0＝106。給定數據長度Le。
2)采集輸入輸出數據u(t)和y(t),用式(40)～(43)構造信息向量和φc(t),用式(39)構造信息向量。
3)用式(37)和(38)構造堆積輸出向量Y(p,t)和堆積信息矩陣。
4)用式(35)計算新息向量E(p,t),用式(36)計算r(t)。
6)如果t＜Le,t就增加1,轉到步驟2);否則輸出參數估計,終止遞推計算過程。
引理1對于F-MI-GSG辨識算法(34)～(46),新息向量E(p,t)與殘差向量
滿足關系:
下面利用最速下降法推導濾波多新息廣義投影辨識方法。考慮從j＝t－p＋1到j＝t的數據窗里的p組數據。定義堆積輸出向量Y(p,t)和堆積信息矩陣Φ(p,t)如下:
基于EEAR系統的濾波辨識模型(11),定義滑動數據窗準則函數:
假設步長(step size)為μ(t)。使用最速下降法(負梯度搜索),極小化準則函數J2(θ),可以得到梯度遞推關系:
其中
下面求最佳步長(best step-size)μ(t)。將代入準則函數J2(θ)中,可得
由此可求得最佳步長為
由于堆積信息矩陣Φ(p,t)是未知的,所以算法(48)～(51)無法實現。解決的方法是用φ(t－i)的估計構造堆積信息矩陣Φ(p,t)的估計
式(49)～(51)中未知Φ(p,t)用其估計代替,得到式(53)～(55),聯立式(48),(52)和(39)～(46),就得到辨識EEAR系統參數向量θ的基于濾波的多新息廣義投影辨識算法(filtering-based multi-innovation generalized projection identification algorithm),簡稱為濾波多新息廣義投影算法(filtered multi-innovation generalized projection algorithm,F-MI-GProj算法):
因為收斂因子的計算式比較復雜,故對其進行簡化。由于對于任意實向量x和非負定對稱矩陣Q,不等式成立,其中為矩陣Q的最大特征值,所以
于是,收斂因子可以保守取為
因為計算矩陣的跡(trace)比計算特征值簡單,所以收斂因子可以更保守取為
因此,將式(53)修改為
或
則式(54)和(56)～(67)構成了簡化的濾波多新息廣義投影算法(F-MI-GProj算法)。
定義堆積輸出向量Y(t)和堆積輸入信息矩陣Φ(t)如下:
根據式(11),定義二次準則函數:
定義遞推關系:
遞推關系式(68)～(71)不可實現,因為右邊包含了未知信息向量φ(t)。解決方案是用其估計代替,得到式(72)～(75),聯立式(23)～(30),便得到辨識EEAR系統參數向量θ的基于濾波的遞推廣義梯度辨識算法(filtering-based recursive generalized gradient identification algorithm),簡稱為濾波遞推廣義梯度算法(filtered recursive generalized gradient algorithm,F-RGG算法):
1)初始化:令t＝1,置初值,,…,max[na,nb,nc],p0是一個大正數,如p0＝106。給定參數估計精度ε。
2)采集輸入輸出數據u(t)和y(t),用式(77)～(80)構造信息向量和φc(t),用式(76)構造信息向量。
3)用式(73)計算r(t),用式(74)計算向量ξ(t),用式(75)計算矩陣R(t)。用式(72)刷新參數估計向量)。
設正整數p表示新息長度。定義堆積輸出向量Y(p,t)和堆積輸入信息矩陣Φ(p,t)如下:
基于F-RGG算法(72)～(83),將式(73)～(75)中系統輸出y(t)和輸入信息向量擴展為堆積輸出向量Y(p,t)和堆積信息矩陣),得到式(87)～(89),聯立式(72),(84)～(85)和(76)～(83),便得到辨識EEAR系統參數向量θ的基于濾波的多新息遞推廣義梯度辨識算法(filtering-based multi-innovation recursive generalized gradient identification algorithm),簡稱為濾波多新息遞推廣義梯度算法(filtered multi-innovation recursive generalized gradient algorithm,F-MI-RGG算法):
1)初始化:令t＝1, 給定新息長度p和精度指標ε。置初值,,p0是一個大正數,如p0＝106。
2)采集輸入輸出數據u(t)和y(t),用式(93)～(96)構造信息向量和φc(t),用式(92)構造信息向量。
3)用式(90)和(91)構造堆積輸出向量Y(p,t)和堆積信息矩陣。
4)用式(87)計算r(t),用式(88)計算向量ξ(t),用式(89)計算矩陣R(t)。用式(86)刷新參數估計向量。
參照遞推最小二乘算法的推導,極小化J3(θ),可以得到下列最小二乘遞推關系:
這些遞推關系無法實現,因為式(100)～(102)右邊的信息向量φ(t)是未知的,在辨識算法中使用它的估計代替,得到式(103)～(106),聯立式(23)～(30),便得到辨識EEAR系統參數向量θ的基于濾波的遞推廣義最小二乘辨識算法(filteringbased recursive generalized least squares identification algorithm),簡稱為濾波遞推廣義最小二乘算法(filtered recursive generalized least squares algorithm,F-RGLS算法):
1)初始化:令t＝1。置初值,,,p0是一個大正數,如p0＝106。給定參數估計精度ε。
2)采集輸入輸出數據u(t)和y(t),用式(108)～(111)構造信息向量和φc(t),用式(107)構造信息向量。
3)用式(104)計算新息e(t),用式(105)和(106)計算增益向量L(t)和協方差陣P(t)。根據式(103)刷新參數估計向量。
基于F-RGLS算法(103)～(114),將系統輸出y(t)和信息向量分別擴展為堆積輸出向量Y(p,t)和堆積信息矩陣:
得到式(118)～(121),聯立式(115)～(117)和(107)～(114),便得到辨識EEAR系統參數向量θ的基于濾波的多新息遞推廣義最小二乘辨識算法(filtering-based multi-innovation recursive generalized least squares identification algorithm),簡稱為濾波多新息廣義最小二乘算法(filtered multi-innovation generalized least squares algorithm,F-MIGLS算法):
F-MI-GLS算法(118)～(131)計算參數估計向量的步驟如下。
1)初始化:令t＝1,給定新息長度p和精度指標ε。置初值,…,max[na,nb,nc],p0是一個大正數,如p0＝106。
2)采集輸入輸出數據u(t)和y(t),用式(125)～(128)構造信息向量和φc(t),用式(124)構造信息向量。
3)用式(122)和(123)構造堆積輸出向量Y(p,t)和堆積信息矩陣。
4)用式(119)計算新息向量E(p,t),用式(120)和(121)計算增益矩陣L(t)和協方差陣P(t)。根據式(118)刷新參數估計向量。
多新息辨識方法包含多新息遞推辨識方法和多新息迭代辨識方法。對于多新息遞推辨識方法,常常省略遞推兩個字,將多新息遞推最小二乘辨識方法簡稱為多新息最小二乘辨識方法。如,濾波多新息遞推廣義最小二乘辨識算法簡稱為濾波多新息廣義最小二乘算法,濾波多新息遞推廣義最小二乘辨識算法簡稱為濾波多新息廣義最小二乘算法。
針對方程誤差自回歸(EEAR)系統,研究和提出了濾波(多新息)廣義隨機梯度辨識方法、濾波多新息廣義投影辨識方法、濾波(多新息)遞推廣義梯度辨識方法、濾波(多新息)廣義最小二乘辨識方法。盡管這些濾波廣義辨識方法是針對自回歸噪聲干擾下的方程誤差自回歸隨機系統提出的,但是其思想可以推廣到有色噪聲干擾下的線性和非線性多變量隨機系統中[19-31]。
猜你喜歡廣義梯度濾波船岸通信技術下艦船導航信號非線性濾波艦船科學技術(2022年20期)2022-11-28帶非線性梯度項的p-Laplacian拋物方程的臨界指標數學物理學報(2022年5期)2022-10-09L-拓撲空間廣義模糊半緊性遼寧師范大學學報（自然科學版）(2021年4期)2022-01-10廣義仿拓撲群的若干性質研究*南寧師范大學學報(自然科學版)(2021年2期)2021-07-29一個具梯度項的p-Laplace 方程弱解的存在性華東師范大學學報（自然科學版）(2019年3期)2019-06-24高效LCL濾波電路的分析與設計電子制作(2019年9期)2019-05-30基于EKF濾波的UWB無人機室內定位研究電子制作(2018年16期)2018-09-26一類特別的廣義積分數學學習與研究(2018年12期)2018-08-17任意半環上正則元的廣義逆上海師范大學學報·自然科學版(2018年3期)2018-05-14基于AMR的梯度磁傳感器在磁異常檢測中的研究電子制作(2018年1期)2018-04-04