针对变速行星齿轮箱信号频率模糊且受噪声影响的问题,提出了基于非线性短时傅里叶变换（NLSTFT）无键相阶次跟踪与变分模态分解的故障诊断方法。用NLSTFT算法估计信号瞬时频率,对其积分获得瞬时相位曲线,通过重采样得到角域信号;利用NCOGS算法对角域信号降噪,采用VMD算法进行角域信号模态分解,通过各模态分量信号包络谱解调实现故障诊断。实验结果表明,新方法计算效率高、鲁棒性好,提高了变转速行星齿轮箱故障诊断性能。