基于最大熵方法对测量数据估计的改进方法研究

    0 引言

    在计量工作中，测量数据样本值较少时，不一定满足中心极限定理，需要对未知分布的测量数据进行分布估计。而最大熵原理认为：在掌握部分信息的情况下对未知的分布形态做出推断，应该选择符合约束条件同时信息熵值取最大的那个概率分布，任何其他的选择都意味着我们添加了其他的约束或条件，这些约束或假设根据我们所掌握的信息是无法做出的。采用最大熵方法所确定的概率分布是含有最少主观假定的分布^[1]。

    1 最大熵值法概率分布计算方法^[2-3]

    基于最大熵方法的随机变量 x 的概率密度 p（x）的信息熵可定义为

    通过调整 p（x）来使得熵达到最大值，并采用拉格朗日乘子法来求解此问题。设H为拉格朗日函数，拉格朗日乘子为λ₀，λ₁，…，λ_m，则有

    式（7）就是最大熵概率密度函数的解析形式。

    将式（7）代入式（3）有：

通过式（12）可以建立求解 λ₁，…，λ_m的 m 个方程组，求出 λ₁，…，λ_m后，可以根据（9）求出 λ₀，为了便于数值求解，将式（12）改写成：

    式 （13）中，r_i为残差，可以用数值计算的方式使其接近于零，用非线性规划求（13）表示的这些残差平方和的最小值，当 r_i<ε时认为式（13）收敛，从而解出 λ₁，…，λ_m以及 λ₀，确定出待估计的分布参数。

    2 最大熵值法溢出问题改进

    利用最大熵原理进行概率分布拟合时，当实际中的样本数据值较大时，因为需要求解xⁱ的问题，很可能存在溢出的问题，导致估计概率密度函数失效。为了扩大最大熵适用范围，利用变量变换法转换随机变量x的定义域到[0，1]之间来避免。

    设随机变量x变化为z时，相应的区间从[a，b]变换到区间[c，d]，利用最大熵时估计概率密度函数时计算表达式如下所示：变量变化前的表达式如式15 所示，区间变化后的则如式 16 所示。

    令参数，新旧变量之间的关系有

    利用无穷小时间建立两个变量概率函数的关系式，即在 dx 内的x事件应与dz内的z事件同时发生概率相等，因此：

    f（x）dx=f（z）dz      （18）

    将上式变化后，可得

    将上式代入（16）中，可得：

    利用二项式展开式，可得：