在（2.3）中，我们介绍了方程组的一般形式，即
其中 $ a_{ij} \in \mathbb{R} $ 和 $ b_i \in \mathbb{R} $ 是已知常数， $ x_j $ 是未知数， $ i = 1,...,m, \ j = 1,...,n $。到目前为止，我们看到矩阵可以用来精确表达线性方程组的紧凑形式，以便我们可以写出 $ \boldsymbol {Ax} = \boldsymbol b $ ，参见（2.10）。 此外，我们定义了基本的矩阵运算，例如矩阵的加法和乘法。 在下文中，我们将专注于求解线性方程组并提供一种求矩阵逆的算法。
在讨论如何对线性方程组进行一般求解之前，让我们先看一个例子。 考虑方程组
该系统有两个方程和四个未知数。 因此，通常我们会期望有无穷多个解。 这个方程组的形式特别简单，其中前两列由 $ 1 $ 和 $ 0 $ 组成。请记住，我们要找到标量 $ x_1,...,x_4 $ ，使得
因此，一个解是 $ [42,8,0,0]^{\top} $ 。 这种解称为 特解（particular solution/special solution）。然而，这并不是这个线性方程组的唯一解。 为了捕获所有其他解，我们需要创造性地使用矩阵的列以一种有意义的方式生成 $ \boldsymbol 0 $：将 $ \boldsymbol 0 $ 添加到我们的特解中并不会改变特解。 为此，我们使用前两列（这种非常简单的形式）表示第三列
所以 $ \boldsymbol 0 = 8 \boldsymbol c_1 + 2 \boldsymbol c_2 - 1 \boldsymbol c_3 + 0 \boldsymbol c_4 $ 且 $ (x_1,x_2,x_3,x_4) = (8,2,-1,0) $。事实上，这个解的任何 $ \lambda{_1} \in \mathbb{R} $ 缩放都会产生 $ \boldsymbol 0 $ 向量，即，
按照相同的推理思路，我们使用前两列表达（2.38）中矩阵的第四列，并为任何 $ \lambda{_3} \in \mathbb{R} $ 生成另一组有意义的 $ \boldsymbol 0 $
综上所述，我们得到式(2.38)中方程组的所有解，称为 通解（general solution），集合为
备注。 我们遵循的一般方法包括以下三个步骤：
- 求 $ \boldsymbol {Ax} = \boldsymbol b $ 的特解。
- 求 $ \boldsymbol {Ax} = \boldsymbol 0 $ 的所有解。
- 结合步骤1和2的解决方案成为通解。
通解和特解都不是唯一的。
前面例子中的线性方程组很容易求解，因为（2.38）中的矩阵具有这种特别方便的形式，这使我们可以通过检查找到特解和通解。 然而，一般方程系统不是这种简单的形式。 幸运的是，存在一种将任何线性方程组转换为这种特别简单的形式的构造算法：高斯消元法（Gaussian elimination）。 高斯消元的关键是线性方程组的初等变换，将方程组转化为简单的形式。 然后，我们可以将这三个步骤应用到这种简单形式上，正是我们刚刚在 (2.38) 示例上下文中讨论的方法。
求解线性方程组的关键是保持解集不变的 初等变换（ elementary transformations），同时将方程组转换为更简单的形式：
- 交换两个方程（矩阵中的行代表方程组）
- 方程（行）乘以一个常数 $ \lambda \in \mathbb{R} \backslash {0} $
- 两个方程相加（行）
例2.6 对于 $ a \in \mathbb{R}
$，我们寻求以下方程组的所有解： $ $ \begin{array}{clr} -2x_1 & + & 4x_2 & - & 2x_3 & - & x_4 & + & 4x_5 & = & -3 \ 4x_1 & - & 8x_2 & + & 3x_3 & - & 3x_4 & + & x_5 & = & 2 \ x_1 & - & 2x_2 & + & x_3 & - & x_4 & + & x_5 & = & 0 \ x_1 & - & 2x_2 & & & - & 3x_4 & + & 4x_5 & = & a \tag{2.44} \end{array} $$ 我们首先将这个方程组转换为紧凑矩阵形式 $ \boldsymbol {Ax} = \boldsymbol b $。 我们不再明确提及变量 $ \boldsymbol x $ 并构建 增广矩阵（augmented matrix）（形式为 $ \begin{bmatrix} \boldsymbol A \ | \ \boldsymbol b \end{bmatrix}$）$ $ \left[ \begin{array}{ccccc|c} -2 & 4 & -2 & -1 & 4 & -3 \ 4 & -8 & 3 & -3 & 1 & 2 \ 1 & -2 & 1 & -1 & 1 & 0 \ 1 & -2 & 0 & -3 & 4 & a \end{array} \right] \begin{matrix} 与R_3交换 \ \ 与R_1交换\ \ \end{matrix} $$ 在 (2.44) 中，我们使用垂直线将左侧和右侧分开。 我们用 $ \leadsto $ 来表示增广矩阵的初等变换。 交换第1行和第3行结果为 $$ \left[ \begin{array}{ccccc|c} 1 & -2 & 1 & -1 & 1 & 0 \ 4 & -8 & 3 & -3 & 1 & 2 \ -2 & 4 & -2 & -1 & 4 & -3 \ 1 & -2 & 0 & -3 & 4 & a \end{array} \right] \begin{matrix} \ -4R_1 \ +2R_1 \ -R_1 \ \end{matrix} $$ 当我们现在应用指定的转换时（例如，从 Row 2 中减去 Row 1 四次），我们得到 $$ \left[ \begin{array}{ccccc|c} 1 & -2 & 1 & -1 & 1 & 0 \ 0 & 0 & -1 & 1 & -3 & 2 \ 0 & 0 & 0 & -3 & 6 & -3 \ 0 & 0 & -1 & -2 & 3 & a \end{array} \right] \begin{matrix} \ \ \ -R_2 - R_3 \ \end{matrix} $$ $$ \leadsto \left[ \begin{array}{ccccc|c} 1 & -2 & 1 & -1 & 1 & 0 \ 0 & 0 & -1 & 1 & -3 & 2 \ 0 & 0 & 0 & -3 & 6 & -3 \ 0 & 0 & 0 & 0 & 0 & a + 1 \end{array} \right] \begin{matrix} \ · (-1) \ · (-\frac{1}{3}) \ \ \end{matrix} $$ $$ \leadsto \left[ \begin{array}{ccccc|c} 1 & -2 & 1 & -1 & 1 & 0 \ 0 & 0 & 1 & -1 & 3 & -2 \ 0 & 0 & 0 & 1 & -2 & 1 \ 0 & 0 & 0 & 0 & 0 & a + 1 \end{array} \right] $$ 这个(增广)矩阵是一个方便的形式，行阶梯形矩阵(REF)（row-echelon form）。将这个紧凑的表示法还原为显式表示法，并使用我们所寻找的变量，我们得到： $$ \begin{array}{clr} x_1 & - & 2x_2 & + & x_3 & - & x_4 & + & x_5 & = & 0 \ & & & & x_3 & - & x_4 & + & 3x_5 & = & -2 \ & & & & & & x_4 & - & 2x_5 & = & 1 \ & & & & & & & & 0 & = & a + 1 \tag{2.45} \end{array} $$ 只有当 $ a= –1 $ 时，才能解出这个方程组。特解（particular solution） 是: $$ \begin{bmatrix} x_1 \ x_2 \ x_3 \ x_4 \ x_5 \end{bmatrix} = \begin{bmatrix} 2 \ 0 \ -1 \ 1 \ 0 \end{bmatrix} \tag{2.46} $$ 通解（general solution），也就是所有可能解的集合，是: $$ \left{ \boldsymbol x \in \mathbb{R}^5: \boldsymbol x = \begin{bmatrix} 2 \ 0 \ -1 \ 1 \ 0 \end{bmatrix} + \lambda{1}\begin{bmatrix} 2 \ 1 \ 0 \ 0 \ 0 \end{bmatrix} + \lambda{2}\begin{bmatrix} 2 \ 0 \ -1 \ 2 \ 1 \end{bmatrix}, \ \lambda_{1}\lambda_{1} \in \mathbb{R} \right} \tag{2.47} $$
下面，我们将详细介绍一种构造方法来获得线性方程组的特解和通解。
备注（主元和阶梯结构）。 行的首项系数（leading coefficient，从左侧开始的第一个非零数）称为 主元（pivot），并且始终严格位于其上一行的主元的右侧。 因此，任何行阶梯形式的方程组都具有“阶梯”结构。
定义2.6（行阶梯形矩阵）。 一个矩阵是行阶梯形矩阵，如果满足：
-
所有只包含0的行都在矩阵的底部；相应地，所有包含至少一个非零元素的行都位于只包含零的行之上。
-
只看非零行，从左起的第一个非零数（也称为 主元（pivot） 或 领先系数（leading coefficient） ）总是严格地在它上面一行的主元的右边。
在其他文档资料中，有时需要主元为1。
备注（基本变量和自由变量）。 行梯队形式的主元对应的变量称为 基本变量（basic variables），其他变量为 自由变量（ free variables)。 例如，在（2.45）中，$ x_1, x_3, x_4 $ 是基本变量，而 $ x_2, x_5 $ 是自由变量。
备注（求特解）。行梯队形式使我们在求特解时变的更容易。为了做到这一点，我们用主元列表示方程组的右边列，使得 $ \boldsymbol b = \sum_{i=1}^{P}{{\lambda}_i \boldsymbol p_i}, i = 1,...,P $， 其中 $ \boldsymbol p_i $ 为主元列。如果我们从最右边的主元列开始并向左计算，则很容易确定 $ {\lambda}_i $ 。
在前面的例子中，我们会尝试找到 $ {\lambda}_1, {\lambda}_2, {\lambda}_3 $ 以便
从这里，我们相对直接地发现 $ {\lambda}_3 = 1, {\lambda}_2 = -1, {\lambda}_1 = 2 $。当我们把所有东西放在一起时，我们一定不要忘记我们将系数隐式设置为0的非主元列。因此，我们得到特解 $ x = [2, 0, −1, 1, 0]^{\top} $。
备注（简化行阶梯形）如果一个方程组是简化行阶梯形（也叫做行简化阶梯形或行正则形）：
- 它采用行梯队形式。
- 每个主元都是 1。
- 主元是其列中唯一的非零元素。
简化行阶梯形将在2.3.3节后面发挥重要作用，因为它允许我们以一种直接的方式确定线性方程组的通解。
备注（高斯消元法）。 高斯消元（Gaussian Elimination） 是一种算法，可以通过执行初等变换将线性方程组变为简化行阶梯形。
例2.7（简化行阶梯形） 验证以下矩阵是否采用简化行阶梯形（主元以粗体显示）： $$ \boldsymbol A = \begin{bmatrix} \boldsymbol 1 & 3 & 0 & 0 & 3\ 0 & 0 & \boldsymbol 1 & 0 & 9 \ 0 & 0 & 0 & \boldsymbol 1 & 4 \end{bmatrix} \tag{2.49} $$ 求 $ \boldsymbol {Ax = 0} $ 的解的关键是查看非主元列，我们需要将其表示为主元列的（线性）组合。简化行阶梯形使得这相对简单一些，我们根据其左侧的主元列的总和和倍数来表示非主元列：第二列是第一列的 3 倍（我们可以忽略第二列的右侧的主元列）。因此，为了得到 $ \boldsymbol 0 $ ，我们需要从第一列的三倍中减去第二列。 现在，我们看第五列，这是我们的第二个非主元列。 第五列可以表示为第一个主元列的 3 倍、第二个主元列的 9 倍和第三个主元列的 -4 倍。 我们需要跟踪主元列的索引并将其转换为第一列的 3 倍，第二列（非主元列）的 0 倍，第三列（我们的第二个主元列）的 9 倍 ，第四列的 -4 倍（即第三个主元列）。 然后我们需要减去第五列得到 $ \boldsymbol 0 $ 。最终，我们仍然在求解一个齐次方程组。 总而言之，$ \boldsymbol {Ax = 0}, x \in \mathbb{R}^5 $ 的所有解由下式给出 $$ \left{ \boldsymbol x \in \mathbb{R}^5: \boldsymbol x = \lambda{1}\begin{bmatrix} 3 \ -1 \ 0 \ 0 \ 0 \end{bmatrix} + \lambda{2}\begin{bmatrix} 3 \ 0 \ 9 \ -4 \ -1 \end{bmatrix}, \ \lambda_{1}\lambda_{1} \in \mathbb{R} \right} \tag{2.50} $$
下面，我们介绍一个实用的技巧，来读出一个齐次线性方程组 $ \boldsymbol {Ax = 0} $ 的解x，其中 $ \boldsymbol A \in \mathbb{R}^{k \times n}，\boldsymbol x \in \mathbb{R}^n $。