用Hopfield网络求LS法的损失函数及辨识参数

连续Hopfield(H)神经网络结构本身提供了一种求最小二乘(LS)伪逆的结构,文献[1～4]对此进行了讨论。损失函数(LF)在LS的估计中是一个十分重要的参数,尤其在系统辨识中,LF是一个系统阶次判别的重要依据。但是用这种神经网络的结构来实现LF的求取及多阶次辨识尚未见报道。本文给出了用连续H神经网络在求取LS参数的同时求取相应LF的方法。同时给出利用LS本身的结构特点[5～7],用该网络对网络一次的输入矩阵同时求取低于该结构的各阶参数及其对应的LF的实现结构。

1　Hopfield网络及LS算法实现

1.1　Hopfield网络

连续的H网络如图1所示,该网络是由2n个神经元互联而成,Vi表示第i(i=1,…,2n)个神经元的输出信号,ui(i=1,…,2n)为第i个神经元的输入信号,神经元是由输入电阻,输入电容及放大器gi组成(图1中没有画出,用○来表示)。Ri,Ci为第i个神经元的输入电阻和输入电容,为讨论方便,取电容电阻为同样值,C,R。gi(i=1,2,…,2n)是第i个神经元的传递函数,Tij表示第i个神经元同第j个神经元的连接强度,为2n×2n维跨导矩阵,Ii(i=1,2,…,2n)为偏置电流。图右边虚线框内为新增的一维网络,其结构同gi的其它部分,但没有输入电阻电容,这在以后的讨论中要用到。图1左边的虚线框中的□为加在反馈网络上的开关ki(i=1,2,…,2n+1),在后面的讨论中也要用到,其功能为:接通时使反馈信号正常通过,断开时使对应的输出反馈端悬空,输入端接地(对应该输出端的输入的反馈信号为0)。当开关全部接通时,网络为一连续的H网络。对图1的网络,由基尔霍夫定律可得方程:

其中I为单位矩阵。适当地选择K,C,R的值可以使该网络在很短的时间内从任意初始状态稳定到与式V(t)=T-1B的实际结果任意接近的结果。因此从电路的角度上,H网络的输出是对输入网络的一次求逆的结果。

1.2　最小二乘法的特点及连续H网络的实现

LS法对SISO系统辨识中,辨识阶数为n时,系统模型的差分方程可以表示成

　　其中:ai(i=1,…,n),bj(j=0,1,…,n)为系统参数,y(i),u(i)表示系统的输出输入的采样值,一

般情况下取b0=0。

当采样数据长度为N时,该模型的矩阵表达形式为式(2)。

k+1时刻的结果可简写成

这表明:如果以Sk矩阵的各相应参数作为网络的输入矩阵的相应联结强度,Mk+1的各相应参数为网络的偏置电流的值,若系统能稳定,则该H网络的输出Vi就是LS法的参数估计值θk+1。此时网络也确实是稳定的[4]。

现取

其中:Hn为LS法求n阶参数的Hk;Zn+1为LS法求n阶参数的Zk+1。注意到图1,Sn矩阵的左上角部分为网络的原输入部分联结强度,左下角部分为新增维的输入部分的联结强度,右上角部分对应原网络偏置电流部分,右下角部分对应新增部分g2n+1的偏置电流。