CPU实用缓存知识
由于CPU是核心硬件，相信我们在选择CPU的时候都会去关心CPU参数方面，而在CPU核心参数中，我们经常会看到缓存(Cache)这个参数，那么CPU缓存有什么用?下面就让小编带你去看看CPU实用缓存知识，希望能帮助到大家!
CPU缓存有什么用?科普一下关于CPU缓存的作用
CPU缓存是什么?
CPU缓存是CPU和内存之间的临时存储器，虽然缓存的容量不能与内存和硬盘相比，但是交换速度却比它们快得多了，CPU缓存就是为了更快的连接CPU与内存而存储在中间媒介。简单来说，因为CPU的速度快，而内存的速度较慢，这时CPU缓存来解决这个问题，减少了CPU的等待时间，变相的提高了CPU的性能。
举个例子，比如CPU需要做一个加法运算，需要-2个时钟周期，如果从内存中读取数据需要100-300个周期，而CPU是不可能等待那么长的时间，即使是高端CPU也变成龟速，因此通过高速缓存来减少了CPU等待时间。
在主流的CPU中，一般缓存分为一级缓存、二级缓存、三级缓存，而它们之间的速度呈递减，容量呈递增，读取一级缓存中的信息需要3个周期，与CPU处理运算的速度无限接近了，读取二级缓存的周期大约10-15个周期，而三级缓存所需时间为50个周期左右。
之所以CPU需要采用这种层级结构，主要就是是从成本、性能、容量还有面积上来平衡的，对于CPU缓存来说，下面几点是它们提升的目前，也就所谓的CPU缓存的作用。
1、缩短延迟
访问缓存的时间应该尽可能缩短，可以通过多种的方式缩短这个时间，比如能够通过减小缓存的大小或关联性来降低缓存的延迟，还有方式预测、增加带宽等方法。
2、提升命中率
所谓的命中率是在高速缓存中找到内存引用的速率，我们希望能够首先通过缓存中获得信息，以得到速度优势，所以缓存需要最大限度地实现这一目标。对于单个高速缓存，大小、关联性和块大小决定命中率。
3、降低更低级别内存下的开销
高速缓存是内存层次结构的一部分，其性能会影响其它性能，处理其它内存花费的时间越长，意味着系统性能越低，也就是说尽可能让处理在缓存中完成。
4、减少错失惩罚
缓存中不能命中是无法避免的事情，但是我们可以减少处理未命中所需的时间以获得更好的处理器性能，通过提升命中率并通过应用不同的优化，能够降低错失惩罚。
高速缓存是CPU中十分重要的部分，占据了大量的资源开销和成本，如果您看过CPU架构图的话，您就会发现缓存占据了至少50%的面积，绝对至关重要。
总结：
CPU缓存的作用说白了就是提高命中率、降低延迟、降低内存开销、减少错失惩罚等，对于一般用户你只需了解CPU缓存能够提升CPU的工作效率即可，缓存在cpu参数中的作用举足轻重。
CPU缓存一致性协议
CPU在摩尔定律的指导下以每18个月翻一番的速度在发展，然而内存和硬盘的发展速度远远不及CPU。这就造成了高性能能的内存和硬盘价格及其昂贵。然而CPU的高度运算需要高速的数据。为了解决这个问题，CPU厂商在CPU中内置了少量的高速缓存以解决IO速度和CPU运算速度之间的不匹配问题。
在CPU访问存储设备时，无论是存取数据抑或存取指令，都趋于聚集在一片连续的区域中，这就被称为局部性原理。
比如循环、递归、方法的反复调用等。
比如顺序执行的代码、连续创建的两个对象、数组等。
带有高速缓存的CPU执行计算的流程
程序以及数据被加载到主内存
指令和数据被加载到CPU的高速缓存
CPU执行指令，把结果写到高速缓存
高速缓存中的数据写回主内存
目前流行的多级缓存结构
由于CPU的运算速度超越了1级缓存的数据IO能力，CPU厂商又引入了多级的缓存结构。
多级缓存结构
多核CPU多级缓存一致性协议MESI
多核CPU的情况下有多个一级缓存，如何保证缓存内部数据的一致,不让系统数据混乱。这里就引出了一个一致性的协议MESI。
MESI(Modified E__clusive Shared Or Invalid)(也称为伊利诺斯协议，是因为该协议由伊利诺斯州立大学提出)是一种广泛使用的支持写回策略的缓存一致性协议。
MESI协议中的状态
CPU中每个缓存行(caceh line)使用4种状态进行标记(使用额外的两位(bit)表示):
M: 被修改(Modified)
该缓存行只被缓存在该CPU的缓存中，并且是被修改过的(dirty),即与主存中的数据不一致，该缓存行中的内存需要在未来的某个时间点(允许其它CPU读取请主存中相应内存之前)写回(write back)主存。
当被写回主存之后，该缓存行的状态会变成独享(e__clusive)状态。
E: 独享的(E__clusive)
该缓存行只被缓存在该CPU的缓存中，它是未被修改过的(clean)，与主存中数据一致。该状态可以在任何时刻当有其它CPU读取该内存时变成共享状态(shared)。
同样地，当CPU修改该缓存行中内容时，该状态可以变成Modified状态。
S: 共享的(Shared)
该状态意味着该缓存行可能被多个CPU缓存，并且各个缓存中的数据与主存数据一致(clean)，当有一个CPU修改该缓存行中，其它CPU中该缓存行可以被作废(变成无效状态(Invalid))。
I: 无效的(Invalid)
该缓存是无效的(可能有其它CPU修改了该缓存行)。
MESI状态转换图
状态之间的相互转换关系也可以使用下表进行表示。
操作
在一个典型系统中，可能会有几个缓存(在多核系统中，每个核心都会有自己的缓存)共享主存总线，每个相应的CPU会发出读写请求，而缓存的目的是为了减少CPU读写共享主存的次数。
一个缓存除在Invalid状态外都可以满足cpu的读请求，一个Invalid的缓存行必须从主存中读取(变成S或者 E状态)来满足该CPU的读请求。
一个写请求只有在该缓存行是M或者E状态时才能被执行，如果缓存行处于S状态，必须先将其它缓存中该缓存行变成Invalid状态(也既是不允许不同CPU同时修改同一缓存行，即使修改该缓存行中不同位置的数据也不允许)。该操作经常作用广播的方式来完成，例如：RequestFor Ownership (RFO)。
缓存可以随时将一个非M状态的缓存行作废，或者变成Invalid状态，而一个M状态的缓存行必须先被写回主存。
一个处于M状态的缓存行必须时刻监听所有试图读该缓存行相对就主存的操作，这种操作必须在缓存将该缓存行写回主存并将状态变成S状态之前被延迟执行。
一个处于S状态的缓存行也必须监听其它缓存使该缓存行无效或者独享该缓存行的请求，并将该缓存行变成无效(Invalid)。
一个处于E状态的缓存行也必须监听其它缓存读主存中该缓存行的操作，一旦有这种操作，该缓存行需要变成S状态。
对于M和E状态而言总是精确的，他们在和该缓存行的真正状态是一致的。而S状态可能是非一致的，如果一个缓存将处于S状态的缓存行作废了，而另一个缓存实际上可能已经
独享了该缓存行，但是该缓存却不会将该缓存行升迁为E状态，这是因为其它缓存不会广播他们作废掉该缓存行的通知，同样由于缓存并没有保存该缓存行的copy的数量，因此(即使有这种通知)也没有办法确定自己是否已经独享了该缓存行。
从上面的意义看来E状态是一种投机性的优化：如果一个CPU想修改一个处于S状态的缓存行，总线事务需要将所有该缓存行的copy变成Invalid状态，而修改E状态的缓存不需要使用总线事务。
从 CPU 缓存看缓存的套路
一、前言
不同存储技术的访问时间差异很大，从 计算机层次结构 可知，通常情况下，从高层往底层走，存储设备变得更慢、更便宜同时体积也会更大，CPU 和内存之间的速度存在着巨大的差异，此时就会想到计算机科学界中一句著名的话：计算机科学的任何一个问题，都可以通过增加一个中间层来解决。
二、引入中间层——缓存层
为了解决速度不匹配问题，可以通过引入一个缓存中间层来解决问题，但是也会引入一些新的问题。现代计算机系统中，从硬件到操作系统、再到一些应用程序，绝大部分的设计都用到了著名的局部性原理，局部性通常有如下两种不同的形式：
时间局部性：在一个具有良好的时间局部性的程序当中，被引用过一次的内存位置，在将来一个不久的时间内很可能会被再次引用到。
空间局部性：在一个具有良好的空间局部性的程序当中，一个内存位置被引用了一次，那么在不久的时间内很可能会引用附近的位置。
有上面这个局部性原理为理论指导，为了解决二者速度不匹配问题就可以在 CPU 和内存之间加一个缓存层，于是就有了如下的结构：
三、缓存更新问题
在 CPU 中引入缓存中间层后，虽然可以解决和内存速度不一致的问题，但是同时也面临着一个问题：当 CPU 更新了其缓存中的数据之后，要什么时候去写入到内存中呢?，比较容易想到的一个解决方案就是，CPU 更新了缓存的数据之后就立即更新到内存中，也就是说当 CPU更新了缓存的数据之后就会从上到下更新，直到内存为止，英文称之为write through，这种方式的优点是比较简单，但是缺点也很明显，由于每次都需要访问内存，所以速度会比较慢。还有一种方法就是，当 CPU 更新了缓存之后并不马上更新到内存中去，在适当的时候再执行写入内存的操作，因为有很多的缓存只是存储一些中间结果，没必要每次都更新到内存中去，英文称之为write back，这种方式的优点是 CPU 执行更新的效率比较高，缺点就是实现起来会比较复杂。
上面说的在适当的时候写入内存，如果是单核 CPU 的话，可以在缓存要被新进入的数据取代时，才更新内存，但是在多核 CPU 的情况下就比较复杂了，由于 CPU 的运算速度超越了 1 级缓存的数据 I\O 能力，CPU 厂商又引入了多级的缓存结构，比如常见的 L1、L2、L3 三级缓存结构，L1 和 L2 为 CPU 核心独有，L3 为 CPU 共享缓存。
如果现在分别有两个线程运行在两个不同的核 Core 1 和 Core 2 上，内存中 i 的值为 1，这两个分别运行在两个不同核上的线程要对 i进行加 1 操作，如果不加一些限制，两个核心同时从内存中读取 i 的值，然后进行加 1 操作后再分别写入内存中，可能会出现相互覆盖的情况，解决的方法相信大家都能想得到，第一种是只要有一个核心修改了缓存的数据之后，就立即把内存和其它核心更新。第二种是当一个核心修改了缓存的数据之后，就把其它同样复制了该数据的 CPU 核心失效掉这些数据，等到合适的时机再更新，通常是下一次读取该缓存的时候发现已经无效，才从内存中加载最新的值。
四、缓存一致性协议
不难看出第一种需要频繁访问内存更新数据，执行效率比较低，而第二种会把更新数据推迟到最后一刻才会更新，读取内存，效率高(类似于懒加载)。 缓存一致性协议(MESI) 就是使用第二种方案，该协议主要是保证缓存内部数据的一致，不让系统数据混乱。MESI 是指 4 种状态的首字母。每个缓存存储数据单元(Cache line)有 4 种不同的状态，用 2 个 bit 表示，状态和对应的描述如下：
单核读取步骤：Core 0 发出一条从内存中读取 a 的指令，从内存通过 BUS 读取 a 到 Core 0 的缓存中，因为此时数据只在 Core 0 的缓存中，所以将 Cache line 修改为 E 状态(独享)，该过程用示意图表示如下：
双核读取步骤：首先 Core 0 发出一条从内存中读取 a 的指令，从内存通过 BUS 读取 a 到 Core 0 的缓存中，然后将 Cache line 置为 E状态，此时 Core 1 发出一条指令，也是要从内存中读取 a，当 Core 1 试图从内存读取 a 的时候， Core 0 检测到了发生地址冲突(其它缓存读主存中该缓存行的操作)，然后 Core 0 对相关数据做出响应，a 存储于这两个核心 Core 0 和 Core 1 的缓存行中，然后设置其状态为 S 状态(共享)，该过程示意图如下：
假设此时 Core 0 核心需要对 a 进行修改了，首先 Core 0 会将其缓存的 a 设置为 M(修改)状态，然后通知其它缓存了 a 的其它核 CPU(比如这里的 Core 1)将内部缓存的 a 的状态置为 I(无效)状态，最后才对 a 进行赋值操作。该过程如下所示：
细心的朋友们可能已经注意到了，上图中内存中 a 的值(值为 1)并不等于 Core 0 核心中缓存的最新值(值为 2)，那么要什么时候才会把该值更新到内存中去呢?就是当 Core 1 需要读取 a 的值的时候，此时会通知 Core 0 将 a 的修改后的最新值同步到内存(Memory)中去，在这个同步的过程中 Core 0 中缓存的 a 的状态会置为 E(独享)状态，同步完成后将 Core 0 和 Core 1 中缓存的 a 置为 S(共享)状态，示意图描述该过程如下所示：
至此，变量 a 在 CPU 的两个核 Core 0 和 Core 1 中回到了 S(共享)状态了，以上只是简单的描述了一下大概的过程，实际上这些都是在 CPU 的硬件层面上去保证的，而且操作比较复杂。
五、总结
现在很多一些实现缓存功能的应用程序都是基于这些思想设计的，缓存把数据库中的数据进行缓存到速度更快的内存中，可以加快我们应用程序的响应速度，比如我们使用常见的 Redis 数据库可能是采用下面这些策略：① 首先应用程序从缓存中查询数据，如果有就直接使用该数据进行相应操作后返回，如果没有则查询数据库，更新缓存并且返回。② 当我们需要更新数据时，先更新数据库，然后再让缓存失效，这样下次就会先查询数据库再回填到缓存中去，可以发现，实际上底层的一些思想都是相通的，不同的只是对于特定的场景可能需要增加一些额外的约束。基础知识才是技术这颗大树的根，我们先把根栽好了，剩下的那些枝和叶都是比较容易得到的东西了。
CPU实用缓存知识相关文章：
★ CPU的基础知识
CPU实用缓存知识
上一篇：CPU缓存作用知识科普
下一篇：CPU选购实用知识大全
