micro-fusion & macro-fusion

micro-fusion

随着技术的发展，CPU内部指令处理单元（execution unit）以及端口（port）增多，在Pentium 4的时候，发出到Execution Unit的μops的throughput可以高达6（6 μops/clock cycle），这时候，流水线中的瓶颈会出现在register renaming（RAT）以及retirement（RRF），这两部分的throughput为3。为了突破这部分的瓶颈，Intel从Pentium M处理器开始引入了micro-fusion技术。

有很多对内存进行操作的指令都会被分成两个或以上的μops，如 add eax, [mem] 在解码时就会分成 mov tmp, [mem]; add eax, tmp。这类型的指令在前端只需要fetch与decode一条指令，相比原来的两条指令占用更少资源（带宽、解码资源、功耗），不过由于在解码后分成多个μops，占用资源（μop entries）增多，但是throughput相对较小，使得RAT以及RRF阶段显得更为拥堵。

micro-fusion为这种问题提供了很好的解决方案：把同一条指令的几个μops混合成一个复杂的μop，使得其在RAT以及RRF阶段只占用一项；而在EU阶段，该复杂μop会被多次发送到EU中进行处理，表现得像是有多个已被分解的μops一样。micro-fusion的指令可以被任意decoder进行解码

可以被micro-fused的指令：

• 所有的store指令，写回内存的store指令分为两个步骤：store-address、store-data。
• 所有读内存与运算的混合指令（load+op），如：
  • ADDPS XMM9, OWORD PTR [RSP+40]
  • FADD DOUBLE PTR [RDI+RSI*8]
  • XOR RAX, QWORD PTR [RBP+32]
• 所有读内存与跳转的混合指令（load+jmp），如：
  • JMP [RDI+200]
  • RET
• CMP与TEST对比内存操作数并与立即数的指令（cmp mem-imm）。

上面的描述有例外的情况，就是不能采用RIP寄存器进行内存寻址：

• CMP [RIP+400], 27
• MOV [RIP+3000], 142
• JMP [RIP+5000000]

采用了RIP寄存器进行内存寻址的指令是不能被micro-fused的，并且这些指令只能由decoder0进行解码。

macro-fusion

Intel在Core处理器时开始引入macro-fusion技术。与micro-fusion一样，macro-fusion能使得指令占用更少的资源与功耗。不同的是macro-fusion是把两条指令组合成一个复杂的μop，这种μops在pipeline的各个阶段中也是只占用一项。

在Core微处理器中，第一条指令必须为CMP或者TEST，作用于REG-REG，REG-IMM或者REG-MEM，第二条指令必须为条件跳转指令，并且指令恰好位于第一条指令之后。比较然后进行条件跳转这种指令组合在日常的代码中非常普遍，因此如果代码设计得当，将能更容易触发macro-fusion，达到减少带宽占用以及功耗的效果。

指令流在predecode后，可以分离出一条一条的指令，然后流经instruction queue。在instruction queue与decoder之间会对可以合并的指令对进行macro-fusion。macro-fused后的指令可以被任意decoder进行解码

进行macro-fusion的指令对需要满足以下条件：

1. 对与CMP与TEST来说，只有是下面的模式才能进行合并：

REG-REG，如：CMP EAX, ECX; JZ label
REG-IMM， 如：CMP EAX, 0x80; JZ label
REG-MEM， 如：CMP EAX, [ECX]; JZ label
MEM-REG， 如：CMP [EAX], ECX; JZ label

如果是MEM-IMM模式的话，则不能合并。

2. 不同的第一条指令，对第二条指令有不同的匹配要求，并不是所有的条件跳转指令都能与第一条指令进行配对合并。

Core微处理器中可以进行macro-fusion的指令对：

Macro-Fusibility
Instruction	TEST	CMP
JO/JNO	✔	✘
JC/JB/JAE/JNB	✔	✔
JE/JZ/JNE/JNZ	✔	✔
JNA/JBE/JA/JNBE	✔	✔
JS/JNS/JP/JPE/JNP/JPO	✔	✘
JL/JNGE/JGE/JNL/JLE/JNG/JG/JNLE	✔	✘

可见TEST可以跟所有的条件跳转指令合并，但是CMP只能跟检查了carry flag或者zero flag的条件跳转指令合并，也就是说Core微处理器中，对于有符号的比较跳转无法进行合并，但是无符号的比较跳转则可以进行合并。

如上图所示，有符号的条件跳转指令为JGE，而无符号的条件跳转指令为JAE。在Core微处理器中CMP与JAE可以进行macro-fusion，得到形如CMPJAE的μop。

不过在Nehalem微处理器之后就可以支持有符号跳转指令的macro-fusion了。

Sandy Bridge微处理器进一步扩充了指令可以进行macro-fusion的指令对：

Macro-Fusibility
Instruction	TEST	CMP	AND	ADD	SUB	INC	DEC
JO/JNO	✔	✘	✔	✘	✘	✘	✘
JC/JB/JAE/JNB	✔	✔	✔	✔	✔	✘	✘
JE/JZ/JNE/JNZ	✔	✔	✔	✔	✔	✔	✔
JNA/JBE/JA/JNBE	✔	✔	✔	✔	✔	✘	✘
JS/JNS/JP/JPE/JNP/JPO	✔	✘	✔	✘	✘	✘	✘
JL/JNGE/JGE/JNL/JLE/JNG/JG/JNLE	✔	✔	✔	✔	✔	✔	✔

Reference:

Intel® 64 and IA-32 Architectures Optimization Reference Manual

Macro-Operation Fusion (MOP Fusion)

A JOURNEY IN MODERN COMPUTER ARCHITECTURES

Intel 64 and IA-32 Architectures Software Developer's Manual