习题地址：http://web.mit.edu/18.06/

  • 矩阵几何解释
  • 矩阵消元

矩阵几何解释

n equations and n unknows.

当有以下方程组：

  • $2x-y=0​$
  • $-x+2y = 3$

转换成矩阵形式即为：

\[\begin{pmatrix} 2 & -1 \\ -1 & 2 \end{pmatrix} * \begin{pmatrix} x \\ y \end{pmatrix} = \begin{matrix} 0 \\ 3 \end{matrix}\]

该矩阵可以简写为 : Ax = b

Row Picture

我们在一个二维空间上，将 $2x-y=0$ 所有的解映射至该空间，得到一条红色的直线，所谓的线性，也就是这条直线。

同样，我们将 $-x+2y=3$ 的所有解映射至该空间，得到一条蓝色的直线。两条直线相交的点（1, 2）即为该方程组的解。

image

Column Picture

将上述方程组的写成 Column Picture 形式，其含义是找出 linear combination of columns (列向量线性组合) 符合以下等式。

\[\begin{pmatrix} 2 \\ -1 \end{pmatrix}x + \begin{pmatrix} -1 \\ 2 \end{pmatrix}y = \begin{matrix} 0 \\ 3 \end{matrix}\]

image

橙色 column 1，绿色 column 2，当 col1 * 1 + col2 * 2 的时候，我们就能得到向量 b: (0, 3)。也就是该方程组的解。

那作为代数的 x 和 y，当 x、y 为任意值的时候，也就是该 Column Picture 所有的线性组合，显然能覆盖整个二维空间。

3维空间

以下方程组：

  • $2x - y + 0z=0$
  • $-x+2y-z=-1$
  • $0x-3y+4z = 4​$

矩阵形式：

\[A= \begin{pmatrix} 2 & -1 & 0 \\ -1 & 2 & -1 \\ 0 & -3 & 4 \end{pmatrix} ， b=\begin{pmatrix} 0 \\ -1 \\ 4 \end{pmatrix}\]
Row Picture

每个方程组都为一个平面，两个方程相交为一条线，三个方程相交为一个点。

Column Picture
\[\begin{pmatrix} 2 \\ -1 \\ 0 \end{pmatrix} x + \begin{pmatrix} -1 \\ 2 \\ -3 \end{pmatrix} y + \begin{pmatrix} 0 \\ -1 \\ 4 \end{pmatrix} z = \begin{pmatrix} 0 \\ -1 \\ 4 \end{pmatrix}\]

由于 A 是一个 non-singular matrix (非奇异矩阵), 也是一个 invertable matrix (可逆矩阵)，所以，对于任意 b，都能求得 x 使得 Ax=b。

也就是说，该矩阵中，列的线性组合能覆盖整个三维空间。

如果3个列向量，处于同一个平台，比如：col1 + col2 = col3，这种矩阵，并不是对于任意 b 都有解，称为：singular matrix （奇异矩阵），矩阵也是非可逆的。

矩阵相乘

矩阵乘向量：Ax=b

方法1：A combination of the columns of the matrix.（矩阵列向量的线性组合）

\[\begin{pmatrix} 2 & 5\\ 1 & 3 \end{pmatrix} \begin{pmatrix} 1 \\ 2 \end{pmatrix} = 1\begin{pmatrix} 2\\ 1 \end{pmatrix} + 2 \begin{pmatrix} 5 \\ 3 \end{pmatrix} = \begin{pmatrix} 12 \\ 7 \end{pmatrix}\]

方法2（点乘，行*列）：

\[\begin{pmatrix} 2 & 5\\ 1 & 3 \end{pmatrix} \begin{pmatrix} 1 \\ 2 \end{pmatrix} = \begin{pmatrix} 2 * 1 + 5 * 2\\ 1 * 1 + 3 * 2 \end{pmatrix} = \begin{pmatrix} 12 \\ 7 \end{pmatrix}\]

矩阵消元（elimination）

所有计算机软件解方程组都使用该方法。

以下方程组：

  • $x + 2y + z=2​$
  • $3x+8y + z=12$
  • $0x+4y+z = 2​$

矩阵形式：

\[A= \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} ， b=\begin{pmatrix} 2 \\ 12 \\ 2 \end{pmatrix}\]

  • 确定 pivot（主元）A 中 row 1, col 1 就是第一个主元，然后消除 row2, col1 和 row3, col1

    • 主元不能是 0，否则无法最后求解，如果遇到主元为 0，需要 exchange rows，但如果没有足够的主元（此例子中为3），则该矩阵不可逆；。

    • 是目标行减去当前行，如果是反过来的话，目标行会取反的，= =

\[A= \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} \tag{ row 2 - row 1 * 3, row 3 - row 1 * 0 } \\ A(_2, _1) = \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{pmatrix}\]
  • 第二个主元，row 2, col 2
\[A(_2, _1)= \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{pmatrix} \tag{row 3 - row 2 * 2} \\ U = A(_3, _2) = \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{pmatrix}\]
  • back substitution ( 回代)
\[Ab = \begin{pmatrix} 1 & 2 & 1 & 2\\ 3 & 8 & 1 & 12\\ 0 & 4 & 1 & 2 \end{pmatrix} \tag{Argumented Matrix} \\ \\ E(_2, _1)b = \begin{pmatrix} 1 & 2 & 1 & 2\\ 0 & 2 & -2 & 6\\ 0 & 4 & 1 & 2 \end{pmatrix} \\ E(_3, _2)b = Uc = \begin{pmatrix} 1 & 2 & 1 & 2\\ 0 & 2 & -2 & 6\\ 0 & 0 & 5 & -10 \end{pmatrix}\]
  • 最终转换后的方程为
    • $1x+2y+1z=2​$
    • $2y-2z=6$
    • $5z=-10$
    • 然后从下到上求解，分别求出：$z=-2, y=1,x=2$

消元矩阵

矩阵乘法：行向量 & 列向量

Matrix * column = column, 矩阵 * 列向量 = 列向量

\[\begin{pmatrix} a & b & c \\ d & e & f \\ g & h & i \end{pmatrix} * \begin{pmatrix} 3 \\ 4 \\ 5 \end{pmatrix} = \begin{pmatrix} 3 * col1 \\ 4 * col2\\ 5 * col3 \end{pmatrix}\]

row * Matrix = row, 行向量 * 矩阵 = 行向量

\[\begin{pmatrix} 3 & 4 & 5 \end{pmatrix}* \begin{pmatrix} a & b & c \\ d & e & f \\ g & h & i \end{pmatrix} = \begin{pmatrix} 3 * row1 & 4 * row2 & 5 * row3 \end{pmatrix}\]

教授很强调，我们需要向量的思维方式去思考，如上述两个例子是：列向量或行向量的线性组合

消元

第一步，保持第一、三行不变，第二行 - 第一行 * 3。也就是求解以下矩阵：

\[\begin{pmatrix} a & b & c \\ d & e & f \\ g & h & i \end{pmatrix}* \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{pmatrix}\]

那我们按教授的要求，以行向量的思维方式去思考，也就是说，现在有行向量：$(1, 2, 1)$, $ (3, 8 , 1)$, $ (0, 4, 1)$，现在我们需要线性组合以上行向量，并得到行向量$(1, 2, 1)$，所以，我们只需要简单一个简单的行向量 (1, 0, 0) 就能得到 $(1, 2, 1 )$ 行向量了。

感受到之前教授之前讲的必须用向量思维方式去思考，相当重要的节点

\[\begin{pmatrix} 1 & 0 & 0 \\ \end{pmatrix}* \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 2 & 1 \end{pmatrix}\]

那继续第二行的转换，现在我们需要得到行向量 $(0, 2, -2)$, 也就是1 * row 2 - 3 * row 1 ，即我们只需要线性组合，$(-3, 1, 0)$ 即可

\[\begin{pmatrix} -3 & 1 & 0 \\ \end{pmatrix}* \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} = \begin{pmatrix} 0 & 2 & -2 \end{pmatrix}\]

那我们可以很容易的得出，该最终矩阵，E 为 Elementary, Elimination（初等矩阵），2,1 表示对 row2-col1 做了转换。

\[E(_2,_1) * A = \begin{pmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix}* \begin{pmatrix} 1 & 2 & 1 \\ 3 & 8 & 1 \\ 0 & 4 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{pmatrix}\]

如果需要验证行向量的正确性，使用矩阵乘法的第二种方法，点乘即可，如：

结果中的 row2-col3 是 -2，即：$row2(-3, 1, 1) * col3(1, 1, 1) = -3 * 1 + 1 * 1 + 0 * 1​$

单位矩阵

当我们用行向量方式去思考单位矩阵，很容易得到，使得一个矩阵 * 矩阵B 并得到矩阵 B。也就是主元都是1，非主元都为 0.

消元第三行

\[E(3,2) * A = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & -2 & 1 \end{pmatrix}* \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 4 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 2 & 1 \\ 0 & 2 & -2 \\ 0 & 0 & 5 \end{pmatrix}\]

整合初等矩阵

从以上步骤中，我们得到以下过程，即将之前的初等矩阵进行相乘：

$E(_3, _2)(E(_2, _1) * A)) = (E(_3, _2)E(_2, _1)) A = EA = U$

注意，矩阵结合律成立，但交换律是不成立的，即：AB!=BA

置换矩阵(Permutaion Matrix)

Exchange Row1 & Row2 ，用行向量的思维方式很简单：

\[\begin{pmatrix} 0 & 1 \\ 1 & 0 \\ \end{pmatrix} * \begin{pmatrix} a & b \\ c & d \\ \end{pmatrix} = \begin{pmatrix} c & d \\ a & b \\ \end{pmatrix}\]

Exchange Col1 & Col2, 用列向量思维也很简单

\[\begin{pmatrix} a & b \\ c & d \\ \end{pmatrix} * \begin{pmatrix} 0 & 1 \\ 1 & 0 \\ \end{pmatrix} * = \begin{pmatrix} b & a \\ d & c \\ \end{pmatrix}\]

逆矩阵（Inversses Matrix）

\[E^{-1}*E = I \\ \begin{pmatrix} 1 & 0 & 0 \\ 3 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} * \begin{pmatrix} 1 & 0 & 0 \\ -3 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} = \begin{pmatrix} 1 & 0 & 0 \\ 0 & 1 & 0 \\ 0 & 0 & 1 \end{pmatrix} \\\]

概率

  • https://seeing-theory.brown.edu/basic-probability/cn.html