大家好,今天给大家分享一篇关于 Cache 的硬核的技术文,基本上关于Cache的所有知识点都可以在这篇文章里看到。 关于 Cache 这方面内容图比较多,不想自己画了,所以图都来自《Computer Architecture : A Quantitative Approach》。 这是一本体系架构方面的神书,推荐大家看一下。 本文主要内容如下,基本涉及了Cache的概念,工作原理,以及保持一致性的入门内容。 1、为什么需要 Cache1.1 为什么需要 Cache我们首先从一张图来开始讲为什么需要 Cache. 上图是 CPU 性能和 Memory 存储器访问性能的发展。 我们可以看到,随着工艺和设计的演进,CPU 计算性能其实发生了翻天覆地的变化,但是DRAM存储性能的发展没有那么快。 所以造成了一个问题,存储限制了计算的发展。 容量与速度不可兼得。 如何解决这个问题呢?可以从计算访问数据的规律入手。 我们随便贴段代码: for (j = 0; j < 100; j = j + 1) 可以看到,由于大量循环的存在,我们访问的数据其实在内存中的位置是相近的。 换句专业点的话说,我们访问的数据有局部性。 我们只需要将这些数据放入一个小而快的存储中,这样就可以快速访问相关数据了。 总结起来,Cache是为了给CPU提供高速存储访问,利用数据局部性而设计的小存储单元。 1.2 实际系统中的 Cache我们展示一下实际系统中的 Cache 。 如上图所示,整个系统的存储架构包括了 CPU 的寄存器,L1/L2/L3 CACHE,DRAM 和硬盘。 数据访问时先找寄存器,寄存器里没有找 L1 Cache, L1 Cache 里没有找 L2 Cache 依次类推,最后找到硬盘中。 同时,我们可以看到,速度与存储容量的折衷关系。容量越小,访问速度越快! 其中,一个概念需要搞清楚。 CPU 和 Cache 是 word 传输的,而 Cache 到主存是以块传输的,一块大约 64Byte 。 现有 SOC 中的 Cache 一般组成如下。 1.3 Cache 的分类Cache按照不同标准分类可以分为若干类。
2、Cache的工作原理要讲清楚 Cache 的工作原理,需要回答 4 个问题:
2.1 数据如何放置这个问题也好解决。我们举个简单的栗子来说明问题。 假设我们主存中有 32 个块,而我们的 Cache 一共有 8 个 Cache 行( 一个 Cache 行放一行数据)。 假设我们要把主存中的块 12 放到 Cache 里。 那么应该放到 Cache 里什么位置呢? 三种方法:
可以看到,全相连和直接映射是Cache组相连的两种极端情况。 不同的放置方式主要影响有两点: 1、组相连组数越大,比较电路就越大,但Cache利用率更高,Cache miss发生的概率小。2、组相连数目变小,Cache经常发生替换,但是比较电路比较小。 这也好理解,内存中的块在Cache中可放置的位置多,自然找起来就麻烦。 2.2 如何在Cache中找数据其实找数据就是一个比对过程,如下图所示。 我们地址都以 Byte 为单位的。 但主存于Cache之间的数据交换单位都是块(block,现代Cache一般一个block大约64Byte)。所以地址对最后几位是block offset。 由于我们采用了组相连,则还有几个比特代表的是存储到了哪个组。 组内放着若干数据,我们需要比较Tag, 如果组内有Tag出现,则说明我们访问的数据在缓存中,可以开心的使用了。 比如举个 2 路组相连的例子,如下图所示。 T表示Tag。直接比较Tag,就能得知是不是命中了。如果命中了,则根据index(组号)将对应的块取出来即可。 如上图所示。用index选出位于组相连的哪个组。然后并行的比较Tag, 判断最后是不是在Cache中。上图是2路组相连,也就是说两组并行比较。 那如果不在缓存中呢?这就涉及到另一个问题。 不在缓存中如何替换 Cache ? 2.3 如何替换Cache中的数据Cache中的数据如何被替换的?这个就比较简单直接。
实际上第一个不怎么使用,LRU 和 FIFO 根据实际情况选择即可。 Cache 在什么时候数据会被替换内?也有几种策略。
2.4 如果发生了写操作怎么办Cache毕竟是个临时缓存。 如果发生了写操作,会造成Cache和主存中的数据不一致。如何保证写数据操作正确呢? 也有三种策略。
3、Cache一致性Cache 一致性是 Cache 中遇到的比较坑的一个问题。 什么原因需要 Cache 处理一致性呢? 主要是多核系统中,假如core 0读了主存储的数据,写了数据。core 1也读了主从的数据。这个时候core 1并不知道数据已经被改动了,也就是说,core 1 Cache中的数据过时了,会产生错误。 Cache一致性的保证就是让多核访问不出错。 Cache一致性主要有两种策略。 策略一:基于监听的一致性策略这种策略是所有Cache均监听各Cache的写操作,如果一个Cache中的数据被写了,有两种处理办法。 写更新协议:某个Cache发生写了,就索性把所有Cache都给更新了。 写失效协议:某个Cache发生写了,就把其他Cache中的该数据块置为无效。 策略 1 由于监听起来成本比较大,所以只应用于极简单的系统中。 策略二:基于目录的一致性策略这种策略是在主存处维护一张表。记录各数据块都被写到了哪些Cache, 从而更新相应的状态。一般来讲这种策略采用的比较多。又分为下面几个常用的策略。
我们着重讲讲 MESI。图中黑线:CPU的访问。红线:总线的访问,其他Cache的访问。 当前状态时I状态时,如果发生处理器读操作 prrd。
当前状态为S态。
当前状态E态
当前状态M态
4、总结Cache 在计算机体系架构中有非常重要的地位,本文讲了 Cache中最主要的内容,具体细节可以再根据某个点深入研究。 --- EOF --- |
|
来自: wkggsddu > 《计算机与编程基本原理》