kl800.com省心范文网

常用矩阵微分公式


常用矩阵微分公式
1. 函数相对于实值向量的梯度
函数以实值向量为变元。 1.1 实值函数相对向量的梯度矩阵 实值函数 f ( x) 相对于 n × 1 行向量 x 的梯度为 n × 1 的行向量,定义为

?f ( x) ? ?f ( x) ?f ( x) ?f ( x) ? = ? , ,? , ? = ? x f ( x) ?x ? x ? x ? x n ? 2 ? 1
向量梯度算子: ? x = ?

T

? ? ? ? ? , ,? , ? ?xn ? ? ?x1 ?x2

m 维行实值向量函数 f ( x) = [ f1 ( x), f 2 ( x),? , f m ( x) ]

?f m ( x) ? ? ?f1 ( x) ?f 2 ( x) ? ?x , ?x ,? , ?x ? 1 1 1 ? ? ?f m ( x) ? ? ?f1 ( x) ?f 2 ( x) , ,? , ?f ( x) ? ?x2 ?x2 ? = ? x f ( x) = ? ?x2 ? ?x ?? ? ? ? ? ?f1 ( x) , ?f 2 ( x) ,? , ?f m ( x) ? ? ?xn ?xn ? ? ?xn ?
1.2 运算法则 (1)线性法则:若 f ( x) 和 g ( x) 分别是向量 x 的实值函数, c1 和 c2 为实常数,则

? [ c1 f ( x) + c2 g ( x) ] ?f ( x) ?g ( x) = c1 + c2 ?x ?x ?x
(2)乘积法则:若 f ( x) 和 g ( x) 分别是向量 x 的实值函数,则

? [ f ( x) g ( x)] ?f ( x) ?g ( x) = g ( x) + f ( x) ?x ?x ?x
(3)商法则: g ( x) ≠ 0

? [ f ( x) / g ( x)] ?f ( x) ?g ( x) ? 1 ? = ? f ( x) g ( x) 2 ? ?x ?x ?x ? g ( x) ? ?
(4)链式法则:若 y ( x) 是 x 的向量值函数,则

?f ( y ( x)) ?yT ( x) ?f ( y ) = ?x ?x ?y
1.3 基本公式

x, y 为向量, x = [ x1 , x2 ,? , xn ] , y = [ y1 , y2 ,? , yn ] 。
A 和 y 为与 x 无关, A 为矩阵, I 为单位矩阵。

(1)

?c = 0 , c 为常数。 ?x
?xT =I ?x ?xT x = 2 x (自己证的,不一定对) ?x
证明:

(2)

(3)

?xT x ?xT y ?yT x = + = y + y = 2 y = 2x ?x ?x ?x

注:这里 y 是一个中间代换量。

注: (4)

?xT x ?xT Ix = ?x ?x

?Ax = AT ?x
T ? x, AT ?Ax ? A , x ?xT AT 证明: = = = = AT ?x ?x ?x ?x

注: Ax 可以被认为是一个向量函数。 (5) =

?xT Ay ?x

?xT Ay Ay = ?x ?xT AT y = AT y ?x = y) x (A
T T

(3) = 证明:

?yT Ax ?x

= yT Ax

= AT y, x

= x, AT y yT AT x

? ( xT Ax ) (4) = Ax + AT x ?x

当 A 为对称阵时,有
T

? ( xT Ax ) ?x

= 2 Ax
T

证明: x Ax 相当于复合函数的微分。 x 和 x 是与同一变量有关但不同的函数,对一 个变量求微分时另一个变量保持不变, 可以将保持不变的 x 替换成与无关的向量 y , 由 公式(2)和(3)即可得证。 注: x 不是相对于 x 的函数,而是相对于 x 的函数。 (5)若 n × 1 向量 a 是与 x 无关的常数向量,则
T T

?aT x ?xT a a = a= , ?x ?x

2. 实值函数相对于实值矩阵的梯度
函数以实值矩阵为变元。 2.1 实值函数相对实值矩阵的梯度矩阵 实值函数 f ( A) 相对于 m × n 实矩阵 A 的梯度为一 m × n 矩阵,简称梯度矩阵,定义为

?f ( A) ? ? ?f ( A) ?f ( A) ? ?A , ?A ,? , ?A ? 12 1n ? 11 ? ?f ( A) ? ? ?f ( A) ?f ( A) , ,? , ?f ( A) ? ?A2 n ? = ? ?A21 ?A22 ? ?A ?? ? ? ? ? ?f ( A) , ?f ( A) ,? , ?f ( A) ? ? ?Amn ? ? ?Am1 ?Am 2 ?
2.2 运算法则 (1)线性法则:若 f ( A) 和 g ( A) 分别是矩阵 A 的实值函数, c1 和 c2 为实常数,则

? [ c1 f ( A) + c2 g ( A) ] ?f ( A) ?g ( A) = c1 + c2 ?A ?A ?A
(2)乘积法则:若 f ( A) 和 g ( A) 分别是矩阵 A 的实值函数,则

? [ f ( A) g ( A) ] ?f ( A) ?g ( A) = g ( A) + f ( A) ?A ?A ?A
(3)商法则: g ( A) ≠ 0

? [ f ( A) / g ( A) ] ?f ( A) ?g ( A) ? 1 ? = ? f ( A) g ( A) 2 ? ?A ?A ?A ? g ( A) ? ?

(4)链式法则:若 y ( A) 是 A 的矩阵值函数,则

?f ( y ( A)) ?yT ( A) ?f ( A) = ?A ?A ?A
2.3 基本公式 (1) c 为常数,则 (2)若 A ∈ R
m×n

?c = 0m×n 。 ?A

, x ∈ R m×1 , y ∈ R n×1 ,则 ?xT Ay = xyT ?A

(3) 若 A ∈ R

m×n

非奇异, x ∈ R

m×1

, y ∈ R n×1 ,则

?xT A?1 y = ? A?T xyT A?T , A-T = ( A?1 )T ?A
(4) 若 A ∈ R
m×n

, x, y ∈ R

n×1

,则

?xT AT Ay = A( xyT + yxT ) ?A
(5) 若 A ∈ R
m×n

, x, y ∈ R

m×1

,则

?xT AAT y = ( xyT + yxT ) A ?A
(6)指数函数的梯度

? exp( xT Ay ) = xyT exp( xT Ay ) ?A

3. 迹函数的梯度矩阵
2.1 迹和矩阵、向量的关系 1. 二次型
T = f ( x) x= Ax tr ( xT= Ax) tr ( AxxT ) T T T

说明:二次型目标函数 x Ax 等于其核矩阵 A 和向量外积 xx 的乘积的迹( tr ( Axx ) )。 2. 矩阵和迹

A, A = AT A A,= A = A 2 tr ( AT = A) tr ( AAT )
2

3. 向量和迹

= xT y tr = ( xyT ) tr ( yxT )
说明:这个关系很重要,可以简单推导过程。 2.2 迹的梯度矩阵 1. W ∈ R
m×m

?tr (W ) = Im ?W
2. W ∈ R
m×m

可逆

?tr (W ?1 ) = ?(W ?2 )T ?W
3. x, y ∈ R 的外积
m

?tr ( xyT ) ?tr ( yxT ) = = y ?x ?x
4. W ∈ R
m×n

, A ∈ R n×m

?tr (WA) ?tr ( AW ) = = AT ?W ?W
特别, W 为对称矩阵

?tr (WA) ?tr ( AW ) = =A + AT ? diag ( A) ?W ?W
5. W ∈ R
m×n

, A ∈ R m×n ?tr (W T A) ?tr ( AW T ) = = A ?W ?W

6. W ∈ R

m×n

?tr (WW T ) ?tr (W T W ) = = 2W ?W ?W
7. W ∈ R
m×m

?tr (W 2 ) ?tr (WW ) = = 2W T ?W ?W
略,关于迹还有好多公式,祥见张贤达的矩阵分析与应用。


赞助商链接

矩阵微分方程

矩阵微分方程 - 第九讲 矩阵微分方程 一、矩阵的微分和积分 1. 矩阵导数定义: 若矩阵 A(t) ? (a ij (t)) m?n 的每一个元素 a (t) 是变量 t 的...

常数矩阵微分方程基解矩阵的计算方法

常数矩阵微分方程基解矩阵的计算方法 摘要 高阶的线性微分方程可通过变量代换转化为一阶线性微分方程组,通过向量的引入 及广泛的应用矩阵代数矩阵理论可将一阶线性...

矩阵与常微分方程_图文

矩阵与常微分方程_数学_自然科学_专业资料。矩阵方面一:利用分块矩阵矩阵(三个公式) 公式 1: ? A1 ? ? ? ? ? ? ? ? As ? ? ?1 ? A1 ? ? ? ...

微积分与矩阵

微积分学(Calculus,拉丁语意为用来计数的小石头) 是研究极限、微分学、积分学和...公式,也叫微积分基本定理。 它说明了不定积分和微分是可以转换的。 什么是矩阵...

李金城 25 数学08-1 常系数线性微分方程组的矩阵解法

但我们还没有具 dt 体地清楚 e At 的计算方法,下面我们利用线性代数的基本知识,仔细地探讨 e At 的计算方 法,从而解决常系数线性微分方程的基解矩阵的结构...

函数的微分和逆矩阵求法

函数的微分和逆矩阵求法 - 函数的微分和逆矩阵求法 指导教师: 数学 102 班:张学亮 指导教师:连铁艳 (陕西科技大学理学院 陕西 西安 710021) ) 一、1.一...

雅克比矩阵(Jacobi)

这是一个关于微分的线性方程组,其系数矩阵便是雅可比矩阵(J),因 而可写成矩阵...(x1,x2..xn) 二阶导数 (d^2f/d(xi)d(xj))构成矩阵,在优化分析中常用...

【工程施工】高等数学矩阵行列式解方程微积分计算器(非...

【高等数学】高等数学矩阵行列式解方程微积分计算器(非常好用) 1、计算器封面:下载后将该文档发至 574617299@163.com 即可得到软件。 2、高等数学中的矩阵加、减...

《常微分方程》答案 习题5.3

《常微分方程》答案 习题5.3_理学_高等教育_教育专区。《常微分方程》习题答案习题5.3 1, 假设 A 是 n × n 矩阵,试证: a) 对任意常数 c1 , c 2 都...

矩阵微积分

矩阵微积分_理学_高等教育_教育专区。矩阵微积分在网上看到有人贴了如下求导公式: Y = A * X --> DY/DX = A' Y = X * A --> DY/DX = A Y =...