7.6 流水线技术

流水线技术是将一个重复的过程分解为若干个子过程，每个子过程由专门的功能部件来实现。通过让多个任务在时间上重叠，并行处理，从而提高系统吞吐率。

7.6.1 基本概念

定义

流水线技术：将一个重复的过程分解为若干个子过程（段），每个子过程由专门的功能部件来实现，通过让多个任务在时间上重叠执行，实现并行处理。

工作原理

将指令执行过程划分为多个独立的阶段
不同指令的不同阶段在时间上重叠执行
每个阶段由专门的功能部件处理

典型指令流水线阶段

IF (Instruction Fetch)：取指令
ID (Instruction Decode)：译码
EX (Execute)：执行
MEM (Memory Access)：访存
WB (Write Back)：写回

7.6.2 主要性能指标

1. 吞吐率 (Throughput, TP)

定义：单位时间内流水线完成的任务数量
基本公式：
$T P = \frac{n}{T_{k}}$
其中：
- $n$ ：任务数量
- $T_{k}$ ：完成n个任务的总时间
详细公式推导：
对于 $k$ 段流水线，设每段的时间为 $Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}$ ，时钟周期为 $Δ t = max {Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}}$ （瓶颈段时间）。
完成 $n$ 个任务的总时间为：
$T_{k} = \underset{第一个任务的时间}{\underset{⏟}{\sum_{i = 1}^{k} Δ t_{i}}} + \underset{后续任务跟进的时间}{\underset{⏟}{(n - 1) max {Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}}}}$
因此，吞吐率为：
$T P = \frac{n (任务数量)}{\underset{第一个任务的时间}{\underset{⏟}{\sum_{i = 1}^{k} Δ t_{i}}} + \underset{后续任务跟进的时间}{\underset{⏟}{(n - 1) max {Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}}}}}$
理想情况：当流水线充满后（ $n \to \infty$ ），每个时钟周期完成一个任务
$T P_{理想} = lim_{n \to \infty} \frac{n}{\sum_{i = 1}^{k} Δ t_{i} + (n - 1) Δ t} = \frac{1}{Δ t} = \frac{1}{T_{时钟}}$
实际吞吐率（考虑流水线建立时间）：
$T P = \frac{n}{k \cdot Δ t + (n - 1) \cdot Δ t} = \frac{n}{(k + n - 1) \cdot Δ t}$
当 $n ≫ k$ 时， $T P \approx \frac{1}{Δ t}$
计算示例：
假设一个5段流水线（IF、ID、EX、MEM、WB），每段时间为： $Δ t_{1} = 2 ns$ ， $Δ t_{2} = 1 ns$ ， $Δ t_{3} = 3 ns$ ， $Δ t_{4} = 2 ns$ ， $Δ t_{5} = 1 ns$ 。
- 时钟周期： $Δ t = max {2, 1, 3, 2, 1} = 3 ns$ （瓶颈在EX段）
- 完成10个任务的总时间： $T_{10} = (2 + 1 + 3 + 2 + 1) + (10 - 1) \times 3 = 9 + 27 = 36 ns$
- 吞吐率： $T P = \frac{10}{36} = 0.278 任务/ns = 278 任务/μs$
- 理想吞吐率： $T P_{理想} = \frac{1}{3} = 0.333 任务/ns$

2. 加速比 (Speedup, S)

定义：不使用流水线与使用流水线所花时间的比值
基本公式：
$S = \frac{T_{非流水}}{T_{流水}}$
详细公式推导：
对于 $k$ 段流水线，完成一个任务的时间为：
- 非流水线： $T_{非流水} = \sum_{i = 1}^{k} Δ t_{i}$
- 流水线： $T_{流水} = k \cdot Δ t + (n - 1) \cdot Δ t = (k + n - 1) \cdot Δ t$ （完成 $n$ 个任务）
因此，加速比为：
$S = \frac{T_{非流水}}{T_{流水}} = \frac{n \cdot \sum_{i = 1}^{k} Δ t_{i}}{(k + n - 1) \cdot Δ t}$
其中 $Δ t = max {Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}}$ 。
理想情况：当 $n \to \infty$ 且各段时间相等（ $Δ t_{i} = Δ t$ ）时
$S_{理想} = lim_{n \to \infty} \frac{n \cdot k \cdot Δ t}{(k + n - 1) \cdot Δ t} = lim_{n \to \infty} \frac{n k}{k + n - 1} = k$
实际加速比（考虑瓶颈段）：
$S = \frac{n \cdot \sum_{i = 1}^{k} Δ t_{i}}{(k + n - 1) \cdot max {Δ t_{1}, Δ t_{2}, \dots, Δ t_{k}}}$
当各段时间不相等时，加速比会小于 $k$ 。
计算示例：
继续使用上面的5段流水线例子：
- 非流水线完成10个任务： $T_{非流水} = 10 \times (2 + 1 + 3 + 2 + 1) = 10 \times 9 = 90 ns$
- 流水线完成10个任务： $T_{流水} = 36 ns$ （已计算）
- 加速比： $S = \frac{90}{36} = 2.5$
- 理想加速比（如果各段时间相等为3ns）： $S_{理想} = 5$
可以看出，由于存在瓶颈段（EX段为3ns），实际加速比小于理想值。

3. 效率 (Efficiency, E)

定义：流水线中各功能段的设备利用率，反映流水线硬件的利用程度
基本公式：
$E = \frac{n 个任务占用的时空区}{k 个段占用的总时空区}$
详细公式推导：
在时空图中：
- $n$ 个任务占用的时空区 = $n \times \sum_{i = 1}^{k} Δ t_{i}$
- $k$ 个段占用的总时空区 = $k \times T_{k} = k \times [\sum_{i = 1}^{k} Δ t_{i} + (n - 1) \cdot Δ t]$
因此，效率为：
$E = \frac{n \cdot \sum_{i = 1}^{k} Δ t_{i}}{k \cdot [\sum_{i = 1}^{k} Δ t_{i} + (n - 1) \cdot Δ t]}$
简化公式（当各段时间相等， $Δ t_{i} = Δ t$ ）：
$E = \frac{n \cdot k \cdot Δ t}{k \cdot [k \cdot Δ t + (n - 1) \cdot Δ t]} = \frac{n}{k + n - 1}$
效率与吞吐率、加速比的关系：
$E = \frac{S}{k} = \frac{T P \cdot \sum_{i = 1}^{k} Δ t_{i}}{k}$
其中 $S$ 为加速比， $T P$ 为吞吐率。
理想情况：当 $n \to \infty$ 且各段时间相等时
$E_{理想} = lim_{n \to \infty} \frac{n}{k + n - 1} = 1 = 100 %$
计算示例：
继续使用5段流水线例子：
- $n = 10$ ， $k = 5$ ， $\sum_{i = 1}^{5} Δ t_{i} = 9 ns$ ， $Δ t = 3 ns$
- 效率： $E = \frac{10 \times 9}{5 \times [9 + (10 - 1) \times 3]} = \frac{90}{5 \times 36} = \frac{90}{180} = 0.5 = 50 %$
- 如果各段时间相等为3ns： $E = \frac{10}{5 + 10 - 1} = \frac{10}{14} = 0.714 = 71.4 %$
可以看出，瓶颈段的存在降低了效率。

4. 流水线性能指标之间的关系

吞吐率、加速比、效率的关系：
$E = \frac{S}{k} = \frac{T P \cdot T_{非流水}}{k}$
其中：
- $E$ ：效率
- $S$ ：加速比
- $k$ ：流水线段数
- $T P$ ：吞吐率
- $T_{非流水}$ ：非流水线完成一个任务的时间
综合性能公式：
$T P = \frac{S \cdot k}{T_{非流水} \cdot k} = \frac{S}{T_{非流水}}$
当 $T_{非流水} = k \cdot Δ t$ 时：
$T P = \frac{S}{k \cdot Δ t} = \frac{E \cdot k}{k \cdot Δ t} = \frac{E}{Δ t}$
性能优化目标：
- 最大化吞吐率： $T P_{max} = \frac{1}{Δ t}$ （减小瓶颈段时间）
- 最大化加速比： $S_{max} = k$ （各段时间相等）
- 最大化效率： $E_{max} = 1$ （流水线充满且无冲突）

7.6.3 指令流水线的相关性问题（冲突/冒险）

流水线技术虽然能提高性能，但也会带来相关问题（Hazard），需要采用相应的解决方案。

1. 结构相关 (Structural Hazard)

定义

因硬件资源冲突导致流水线无法正常执行。

产生原因

多条指令同时访问同一硬件资源
例如：指令存储器和数据存储器共享同一物理存储器

示例

时钟周期	指令₁	指令₂	指令₃
1	IF	-	-
2	ID	IF	-
3	EX	ID	IF
4	MEM	EX	ID
5	WB	MEM	EX

冲突：指令₁和指令₂在第4个时钟周期同时访问存储器（结构相关）

解决方案

插入暂停周期（阻塞/Stall）：
- 当发生资源冲突时，暂停后续指令的执行
- 简单但效率低
增加硬件资源：
- 分离的指令存储器和数据存储器（哈佛结构）
- 增加功能部件（如多个ALU）

2. 数据相关 (Data Hazard)

定义

后续指令需要使用前面指令的计算结果，但该结果尚未产生。

类型

RAW (Read After Write)：写后读相关
- 后续指令需要读取前面指令写入的数据
- 最常见的数据相关类型
WAR (Write After Read)：读后写相关
- 后续指令要写入前面指令读取的数据
- 在乱序执行中可能出现
WAW (Write After Write)：写后写相关
- 两条指令都要写入同一寄存器
- 在乱序执行中可能出现

示例（RAW相关）

\begin{aligned} ADD R_{1}, R_{2}, R_{3} & ; R_{1} = R_{2} + R_{3} \\ SUB R_{4}, R_{1}, R_{5} & ; R_{4} = R_{1} - R_{5} (需要 R_{1} 的值) \end{aligned}

时钟周期	ADD	SUB
1	IF	-
2	ID	IF
3	EX	ID
4	MEM	EX
5	WB	MEM

冲突：SUB在EX阶段需要ADD的结果，但ADD在WB阶段才写回（数据相关：RAW）

解决方案

阻塞流水线（Stall）：
- 插入空操作（NOP）或暂停流水线
- 简单但会降低性能
旁路/转发 (Bypassing/Forwarding)：
- 将计算结果从其产生的功能单元直接传送到需要它的其他功能单元
- 不需要等待写回阶段
- 这是最常用的解决方案
指令重排序：
- 编译器或硬件重新安排指令顺序
- 在相关指令之间插入无关指令

3. 控制相关 (Control Hazard)

定义

由转移指令（分支、跳转）引起，当流水线无法确定下一条要执行的指令地址时发生。

产生原因

转移指令的执行结果（是否跳转、跳转地址）在流水线后期才能确定
但流水线已经预取了后续指令

示例

\begin{aligned} BEQ R_{1}, R_{2}, Label & ; 如果 R_{1} = R_{2} ，跳转到Label \\ ADD R_{3}, R_{4}, R_{5} & ; 下一条指令（可能不执行） \end{aligned}

时钟周期	BEQ	ADD
1	IF	-
2	ID	IF
3	EX	ID
4	MEM	EX
5	WB	MEM

冲突：BEQ是否跳转在EX阶段才确定，但ADD已经在IF阶段被取入（控制相关）

分支预测性能分析：

设分支指令的预测准确率为 $p$ ，预测错误时的惩罚为 $P$ 个周期，则平均每个分支指令的额外周期数为：

C_{branch} = (1 - p) \times P

考虑分支预测后的吞吐率：

T P_{实际} = \frac{T P_{0}}{1 + f_{branch} \times C_{branch}}

其中 $f_{branch}$ 为分支指令的比例， $T P_{0} = \frac{1}{Δ t}$ 为原始吞吐率。

解决方案

阻塞流水线：
- 等待转移指令结果确定后再继续
- 简单但效率低
分支预测 (Branch Prediction)：
- 静态预测：总是预测不跳转（或总是跳转）
- 动态预测：根据历史信息预测（如分支历史表BHT）
- 预测正确时性能好，预测错误时需要清空流水线
延迟槽 (Delay Slot)：
- 在转移指令后安排一条总是执行的指令
- 充分利用流水线
多路预测：
- 同时取两条路径的指令
- 确定路径后丢弃错误的路径

7.6.4 流水线性能优化

1. 增加流水线深度

将指令执行划分为更多阶段
可以提高时钟频率
但会增加相关性问题

2. 超标量技术

每个时钟周期发射多条指令
需要多个功能部件
需要更复杂的相关检测和解决机制

3. 乱序执行

允许指令不按程序顺序执行
需要更复杂的硬件支持
可以更好地利用硬件资源

💡 学习要点与重难点标注

性能指标（★必须背公式）

1. 吞吐率 (TP)

定义：单位时间完成的任务数
公式： $T P = n / T_{t o t a l}$
最大吞吐率： $T P_{m a x} = 1 / Δ t$ （其中 $Δ t$ 为时钟周期）

2. 加速比 (S)

定义：不使用流水线时间 / 使用流水线时间
公式： $S = T_{非流水} / T_{流水}$
理想情况： $k$ 段流水线的加速比趋近于 $k$

3. 效率 (E)

定义：时空图中任务面积 / 总面积
公式： $E = \frac{n 个任务占用的时空区}{k 个段占用的总时空区}$

三大冒险/相关 (Hazards)（★重点分析题）

1. 结构相关

原因：资源冲突（如同时访问内存）
解决：增加硬件（指令Cache和数据Cache分离）

2. 数据相关

类型：
- RAW（写后读）：最常见
- WAR（读后写）：乱序执行中可能出现
- WAW（写后写）：乱序执行中可能出现
解决：
- 旁路技术 (Forwarding/Bypassing)：最常用
- 暂停 (Stall)

3. 控制相关

原因：遇到跳转/分支指令
解决：
- 分支预测（静态/动态）
- 延迟槽
- 多路预测

流水线部分的"瓶颈"

老师未明说的"潜台词"：
课件中提到"瓶颈段"，老师的意思是：木桶效应。流水线的时钟周期取决于最慢的那一段。做计算题时，一定要找那个时间最长的段作为标准周期 $Δ t$ 。

总结

流水线技术通过将指令执行过程划分为多个阶段并让不同指令的不同阶段重叠执行，显著提高了处理器的吞吐率。主要性能指标包括吞吐率、加速比和效率。流水线技术也会带来结构相关、数据相关和控制相关等问题，需要采用相应的解决方案。现代处理器通过分支预测、旁路技术、超标量技术等多种方法进一步优化流水线性能。

7.6 流水线技术 ​

7.6.1 基本概念 ​

定义 ​

工作原理 ​

典型指令流水线阶段 ​

7.6.2 主要性能指标 ​

1. 吞吐率 (Throughput, TP) ​

2. 加速比 (Speedup, S) ​

3. 效率 (Efficiency, E) ​

4. 流水线性能指标之间的关系 ​

7.6.3 指令流水线的相关性问题（冲突/冒险） ​

1. 结构相关 (Structural Hazard) ​

定义 ​

产生原因 ​

示例 ​

解决方案 ​

2. 数据相关 (Data Hazard) ​

定义 ​

类型 ​

示例（RAW相关） ​

解决方案 ​

3. 控制相关 (Control Hazard) ​

定义 ​

产生原因 ​

示例 ​

解决方案 ​

7.6.4 流水线性能优化 ​

1. 增加流水线深度 ​

2. 超标量技术 ​

3. 乱序执行 ​

💡 学习要点与重难点标注 ​

性能指标（★必须背公式） ​

1. 吞吐率 (TP) ​

2. 加速比 (S) ​

3. 效率 (E) ​

三大冒险/相关 (Hazards)（★重点分析题） ​

1. 结构相关 ​

2. 数据相关 ​

3. 控制相关 ​

流水线部分的"瓶颈" ​

总结 ​

7.6 流水线技术

7.6.1 基本概念

定义

工作原理

典型指令流水线阶段

7.6.2 主要性能指标

1. 吞吐率 (Throughput, TP)

2. 加速比 (Speedup, S)

3. 效率 (Efficiency, E)

4. 流水线性能指标之间的关系

7.6.3 指令流水线的相关性问题（冲突/冒险）

1. 结构相关 (Structural Hazard)

定义

产生原因

示例

解决方案

2. 数据相关 (Data Hazard)

定义

类型

示例（RAW相关）

解决方案

3. 控制相关 (Control Hazard)

定义

产生原因

示例

解决方案

7.6.4 流水线性能优化

1. 增加流水线深度

2. 超标量技术

3. 乱序执行

💡 学习要点与重难点标注

性能指标（★必须背公式）

1. 吞吐率 (TP)

2. 加速比 (S)

3. 效率 (E)

三大冒险/相关 (Hazards)（★重点分析题）

1. 结构相关

2. 数据相关

3. 控制相关

流水线部分的"瓶颈"

总结