Step 2 02. 线性代数：AI 的并行计算引擎

<!-- Title: 02. 线性代数：AI 的并行计算引擎 --> <!-- ID: 233 --> <!-- Series: 深度学习数学基础 (ID: 10) --> <!-- Author: admin --> # 线性代数：AI 的并行计算引擎 ## 1. 为什么深度学习离不开矩阵？ 在深度学习的世界里，**万物皆张量 (Tensor)**。 * **图像**：是一个 $Height \times Width \times 3$ (RGB) 的三维张量。 * **文本**：是一串词向量，构成二维矩阵。 * **神经网络权重**：是巨大的二维矩阵。 神经网络的前向传播，本质上就是一连串的**矩阵乘法 (Matrix Multiplication)**： $$ Y = \text{Activation}(W \cdot X + b) $$ 如果没有线性代数，AI 模型就会退化成无数个杂乱无章的 `if-else` 和 `for` 循环，计算效率将低到无法无法忍受。 ## 2. 张量 (Tensor)：维度的舞蹈 你经常会听到“张量”这个词。别怕，它就是多维数组的统称： * **标量 (Scalar)**：0 维。一个单独的数字。例如：`3.14` * **向量 (Vector)**：1 维。一排数字。例如：`[1, 2, 3]` * **矩阵 (Matrix)**：2 维。Excel 表格。例如：`[[1, 2], [3, 4]]` * **张量 (Tensor)**：3 维及以上。例如：一叠矩阵。 **PyTorch / TensorFlow** 的核心工作，就是让这些张量在不同的维度上进行变换和运算。 ## 3. CPU vs GPU：教授与小学生 为什么跑 AI 要用显卡 (GPU)？ * **CPU (中央处理器)**：像一个**精通微积分的老教授**。 * *特点*：核心少（4-64核），主频高，指令集复杂。 * *擅长*：逻辑控制、复杂的串行任务（如操作系统调度、判断分支）。 * **GPU (图形处理器)**：像**一万个只会做加减乘除的小学生**。 * *特点*：核心多（数千个 CUDA Core），主频低。 * *擅长*：简单但海量的**并行计算**。 **场景**：计算两个 $1000 \times 1000$ 的矩阵相乘。 * **教授 (CPU)**：只能一行一行地算，虽然算得快，但架不住任务多。 * **小学生 (GPU)**：每人领一个格子的任务，一声令下，**同时**动笔。瞬间搞定。 这就是**并行计算的暴力美学**。 ## 4. 矩阵乘法与形状匹配 (Shape Mismatch) 这是新手入门 AI 最头疼的报错：`RuntimeError: size mismatch`。 两个矩阵 $A$ ($m \times n$) 和 $B$ ($n \times p$) 相乘，得到 $C$ ($m \times p$)。 **铁律**：**前者的列数，必须等于后者的行数**。 $$ (m, \mathbf{n}) \times (\mathbf{n}, p) \rightarrow (m, p) $$ **Debug 技巧**： 当你看到报错时，把你涉及到的张量形状 (Shape) 画在纸上： * Layer 1 输出: `[32, 128]` (Batch, Hidden) * Layer 2 权重: `[256, 128]` -> **报错！** * *修正*：权重应该转置 (Transpose) 成 `[128, 256]`，或者上一层输出维度不对。 ## 5. 广播机制 (Broadcasting) 这是 NumPy/PyTorch 中最神奇也最容易踩坑的特性。 当两个形状不同的张量相加时，系统会自动把小的那个“复制”扩展成大的形状。 ```python import numpy as np A = np.array([[1, 2, 3], [4, 5, 6]]) # Shape: (2, 3) b = np.array([10, 20, 30]) # Shape: (3,) # b 会被自动“广播”为： # [[10, 20, 30], # [10, 20, 30]] C = A + b print(C) # [[11, 22, 33], # [14, 25, 36]] ``` **好处**：代码极其简洁，无需写循环。 **坏处**：如果你不小心弄错了维度，它可能不会报错，而是给出一个错误的计算结果（Silent Bug）。 ## 6. 结语 线性代数提供了处理**高维数据**的语言。 当你能熟练地在脑海中对张量进行 Reshape, Transpose, Broadcast 时，你就拥有了构建复杂神经网络的基石。