矩阵求导 | 大杂烩

行向量偏导

若自变量是$1\times m$向量，行向量偏导算子

$D_x\overset{def}=\frac{\partial}{\partial x^T}=\left[\frac{\partial}{\partial x_1},...,\frac{\partial}{\partial x_m}\right]$

则标量函数$f(x)$的行向量偏导为

$D_xf(x)=\frac{\partial f(x)}{\partial x^T}=\left[\frac{\partial f(x)}{\partial x_1},...,\frac{\partial f(x)}{\partial x_m}\right]$

如果自变量变为$X\in R^{m\times n}$，则需要把$X$先列向量化，然后转置变为行向量。

$D_{vec^T(X)}f(X)=\frac{\partial f(X)}{\partial vec^T(X)}=\left[\frac{\partial f(X)}{\partial X_{11}},...,\frac{\partial f(X)}{\partial X_{m1}},...,\frac{\partial f(X)}{\partial X_{1n}},...,\frac{\partial f(X)}{\partial X_{mn}}\right]$

这里

$vec(X)=[X_1,X_2,...,X_n]$

每一个$X_i$都是一个列向量。

这里$D_{vec^T(X)}f(X)$称为$f(X)$的在$X$处的行向量偏导

Jacobian矩阵

如果直接以矩阵的形式定义$f(X)$在$X$处的偏，则

$D_Xf(X)=\frac{\partial f(X)}{\partial X^T}=\begin{bmatrix} \frac{\partial f(X)}{\partial X_{11}}&...&\frac{\partial f(X)}{\partial X_{m1}}\\ ...&...&...\\ \frac{\partial f(X)}{\partial X_{1n}} & ...&\frac{\partial f(X)}{\partial X_{mn}} \end{bmatrix}$

注意，如果把行向量偏导按照一行一行排列成矩阵，就是Jacobian矩阵

列向量偏导

若自变量是$m\times 1$的向量

$\nabla_x\overset{def}=\frac{\partial}{\partial x}=\left[\frac{\partial}{\partial x_1},...,\frac{\partial}{\partial x_m}\right]^T$

别名：梯度算子

如果自变量变为$X\in R^{m\times n}$，则需要把$X$先列向量化，直接求导

$\nabla_{vec(X)}f(X)=\frac{\partial f(X)}{\partial vec(X)}=\left[\frac{\partial f(X)}{\partial X_{11}},...,\frac{\partial f(X)}{\partial X_{m1}},...,\frac{\partial f(X)}{\partial X_{1n}},...,\frac{\partial f(X)}{\partial X_{mn}}\right]$

梯度矩阵

如果直接以矩阵的形式定义$f(X)$在$X$处的偏导数的列向量形式，则

$\nabla_Xf(X)=\frac{\partial f(X)}{\partial X}=\begin{bmatrix} \frac{\partial f(X)}{\partial X_{11}}&...&\frac{\partial f(X)}{\partial X_{1n}}\\ ...&...&...\\ \frac{\partial f(X)}{\partial X_{m1}} & ...&\frac{\partial f(X)}{\partial X_{mn}} \end{bmatrix}$

注意

梯度矩阵和Jacobian矩阵是一个互为转置

Hessian 矩阵

标量函数$f(x)$相对于$m\times 1$的$x$的二阶偏导是一个由$m^2$个二阶偏导组成的矩阵（Hessian矩阵）。定义为

$\frac{\partial^2f(x)}{\partial x\partial x^T}=\frac{\partial}{\partial x^T}\left[\frac{\partial f(x)}{\partial x}\right]$

或者记为

$\nabla_x^2f(x)=D_x(\nabla_xf(x))=D_xg(x)$

先列向量求偏导，再行向量求偏导。

矩阵微分

向量微分

$\Delta f(x_1,...,x_m)=f(x_1+\Delta x_1,...,x_m+\Delta x_m)-f(x_1,...,x_m)\\ =A_1\Delta x_1+...+A_m\Delta x_m+O(\Delta x_1,...,\Delta x_m)$

在这里，我们假设，各变量之间相互独立，并且有

$\frac{\partial f}{\partial x_1}=A_1,...,\frac{\partial f}{\partial x_m}=A_m$

因此，我们有

$df(x_1,...,x_m)=\frac{\partial f}{\partial x_1}dx_1+...+\frac{\partial f}{\partial x_m}dx_m$

需要$f$在在该点是的各个变量的偏导数是存在且连续。或者简单记为

$df(x)=\frac{\partial f(x)}{dx^T}dx$

这里，$x$为列向量

矩阵微分

假设变元为$X\in R^{m\times n}$，记$\boldsymbol{x}j=[x{1j},…,.x_{mj}]^T，j=1,…,n$为列向量，则

$df(X)=\frac{\partial f}{\partial \boldsymbol{x_1}}d\boldsymbol{x_1}+...+\frac{\partial f}{\partial \boldsymbol{x_m}}d\boldsymbol{x_n}\\ =\frac{\partial f}{\partial x_{11}}dx_{11}+...+\frac{\partial f}{\partial x_{m1}}dx_{m1}+...+\frac{\partial f}{\partial x_{1n}}dx_{1n}+...+\frac{\partial f}{\partial x_{mn}}dx_{mn}\\ = \left[ \frac{\partial f}{\partial x_{11}},...,\frac{\partial f}{\partial x_{m1}}...,\frac{\partial f}{\partial x_{1n}},...,\frac{\partial f}{\partial x_{mn}} \right] \begin{bmatrix} dx_{11}\\ ...\\ dx_{m1}\\ ...\\ dx_{1n}\\ ...\\ dx_{mn} \end{bmatrix} \\$

可以把上式简写为

$df(X)=rvec(A)vec(dX)=tr(AdX)$

其中，$rvec(A)$表示Jacobian矩阵的行向量化，$vec(dX)$是列向量化，

$dX=\begin{bmatrix} dX_{11}&...&dX_{1n}\\ ...&...&...\\ dX_{m1} & ...&dX_{mn} \end{bmatrix}$

并且

$A=D_Xf(X)=\frac{\partial f(X)}{\partial X^T}=\begin{bmatrix} \frac{\partial f(X)}{\partial X_{11}}&...&\frac{\partial f(X)}{\partial X_{m1}}\\ ...&...&...\\ \frac{\partial f(X)}{\partial X_{1n}} & ...&\frac{\partial f(X)}{\partial X_{mn}} \end{bmatrix}$

应用行向量化和列向量化的关系

$rvec(A)=(vec(A^T)^T$

因此可以重写

$df(X)=(vec(A^T)^Tvec(dX)$

利用向量化和迹之间的关系

$tr(B^TC)=vec(B)^Tvec(C)$

所以，$df(X)$可以最终表示为

$df(X)=tr(AdX)$

命题三

这里给出了如何求实值函数求梯度矩阵$\nabla f(X)$的方法

可以先把他表示为(22)右边的形式
$\nabla f(X)=\frac{\partial f(X)}{\partial X}=A^T$

实矩阵微分运算

通过考察$(dX)_{ij}$，可以得到实微分矩阵具有如下性质

转置：观察（17），

$d(X^T)=(dX)^T$

线性：观察（11），

$d(\alpha X+\beta Y)=\alpha dX+\beta dY$

迹的微分

$d(trU)=d\left( \sum_{i=1}^n u_{ii}\right)=\sum_{i=1}^n du_{ii}=tr(dU)$

矩阵乘积微分

$d(UV)=Ud(V)+Vd(U)\\ d(UVW)=Ud(VW)+U(dV)W+UVdW$

特别的当$A$为常数矩阵的时候：

$d(XAX^{-1})=(dX)AX^T+XA(dX)^T$

逆矩阵的微分

$d(X^{-1})=-X^{-1}(dX)X^{-1}$

迹函数的梯度矩阵

对于$tr(X^TX)$，注意到$tr(A^TB)=tr(B^TA)$，有

$dtr(X^TX)=tr(d(X^TX))=tr((dX)^TX+X^TdX)\\ =tr((dX)^TX)+tr(X^TdX)\\ =tr(2X^TdX)$

根据命题三，我们可以直接得出

$\frac{\partial tr(X^TX)}{\partial X}=(2X^T)^T=2X$

三条总结

实值函数总是可以写完迹的形式
总可以把dx写到后面
(dx)^T也可以写到后面为dX