第1个回答 2007-08-21
内存革命：全缓冲内存模组FB-DIMM技术简介
一、内存带宽已经成为制约系统性能的瓶颈
近年来，CPU的运算性能呈几何级提升，内存带宽成为系统越来越大的瓶颈。目前处于主流DDR技术已经发展到极至，受其架构的限制，DIMM体系内存的速度已经很难再有所提升，可以说目前内存子系统遇到更大的挑战。未来的计算运算应用将需容量更大、速度更快的内存系统予以支持，而目前的内存子系统显然还达不到这种要求。
也许有些朋友会这样问“为什么我们不能在现有的双通道内存系统的基础之上推出四通道或八通道系统来提升内存子系统性能呢？”虽说采用多路并行的内存架构设计可以极有效地提升内存带宽，但受目前SDRAM、DDR、DDR2内存自身架构的制约，要实现类似四路并行设计是有相当难度的。
因为目前的内存主要是采用传统的64位并行设计，即北桥芯片的内存控制器与内存模块之间均通过64位的并行总线来数据交换，但此类并行总线设计有一个最大的缺点：就是相邻线路很容易受到干扰。这是因为目前的DIMM采用一种“短线连接”(Stub-bus)的拓扑结构。
在这种结构中，每个芯片与内存控制器的数据总线都有一个短小的线路相连，这样会造成电阻抗的不连续性，从而影响信号的稳定与完整，频率越高或芯片颗粒越多，影响也就越大。这也是目前基于此类并行体系的内存如DDR频率低下的原因。
而且对主板设计而言，设计内存系统的并行线路也非易事。因为在内存控制系统之间要保持各路产生的传输信号同步，这就要求各条线路的长度必须保持严格一致，这意味着如果采用4通道设计的话，每块主板上的针对内存的数据线路到达了256条(4X64)，这将占用很大的面积，无疑会大大增加主板的生产成本。
鉴于以上情况，业界推出了“减小位宽，高频率和多路并行”相结合的解决方案。而这个理念，Rambus在其下一代内存技术—XDR内存中已经实现：总线位宽只有16bit的XDR内存，凭借高达4GHz的工作频率可以提供8GB/S的带宽，如果采用八通道设计的话，则可以提供64GB/S的带宽，而主板上的线路也仅仅只有128条(16X8)，相当于目前的双通道DDR主板。也正是基于以上设计理念，英特尔也发布了针对未来企业级运算平台的新一代内存体系：FB-DIMM(Fully Buffered-DIMM)！
二、FB-DIMM技术特性
FB-DIMM英文全称为“Fully Buffered-DIMM”，又称为全缓冲双列内存模组。FB-DIMM是在普通DDR2内存的基础之上改进而来的，但其与普通DDR内存却有了很大的变化。
1、以串行的方式进行数据传输
首先，与目前的DIMM采用的是一种“短线连接”(Stub-bus)的拓扑结构不同，FB-DIMM与内存控制器之间的数据与命令传输不再是传统的并行线路，而采用了类似于PCI-Express的串行接口多路并联的设计，以串行的方式进行数据传输。
“点对点连接(右)”
“短线连接 (左)”
在FB-DIMM架构中，每个DIMM上的缓冲区是相互串联的，之间为点对点的连接方式，数据会在经过第一个缓冲区后传向下一个缓冲区，这样，第一个缓冲区与内存控制器之间的连接阻抗就能始终保持稳定，从而有助于容量与频率的提升。
不过，FB-DIMM的串行总线也有其独到之处：数据的上行线路由于14组线路对构成，一个周期可传输14bit数据，而下行线路却只有10组线路对，一个周期传输10bit数据。
这种不对等设计其实完全是根据实际需要出发，因为不管在任何时候，系统从内存中读取的数据往往比写入内存的数据要多，因此对上行线路的带宽要求也要比下行线路要高，这样不对等设计刚好起到平衡作用，在一定程度上使得读取与写入数据同步。
同时FB-DIMM所采用的串行接口多路并联的设计还有一个优点，那就是大大增加了抗干扰能力。FB-DIMM所使用的串行总线使用差分信号技术，通过一对线路来表达一下信号，即信号是由“0”或“1”两条线路的电压差来决定，这有点类似于PCI EXPRESS总线。因此此类设计的抗干扰能力要远优于传统的单线传输信号技术，毕竟两条线路之间的电压差是保持在一个相对稳定的水准。
因此FB-DIMM的总线可以工作在很高的频率之上：以FB-DIMM1.0版标准为例，它可以提供3.2GHz、4GHz 和4.8GHz三种数据传输率，这意味着即使是单通道FB-DIMM系统的也可以提供9.6GB/S、12GB/S和14.4GB/S的惊人带宽。
注意：由于采用读取与写入不对称设计，因此FB-DIMM的理论读取数据带宽分别为5.6GB/S、7GB/S和8.4GB/S，而写入数据带宽则为4GB/S、5GB/S和6GB/S。
这仅仅是单通道的情况，实际上FB-DIMM可能构建双通道、四通道或八通道架构，这时所提供的内存带宽是目前的内存所不能比似：最高带宽可以达到86.4GB/S。值注意的是，这些数值并非代表FB-DIMM内存的真正读写效能，因为FB-DIMM所采用的总线是与FB-DIMM模块上的缓冲芯片直接连接的，而不是直接与北桥芯片中的内存控制器相连接。这也意味着FB-DIMM内存模块的芯片的数据传输频率不是与总线频率一致。
注：目前的DDR内存模块的芯片的数据传输频率是与总线频率一致的，总线频率即是内存真正的读定频率。
2、功能独特的AMB缓冲芯片
FB-DIMM另一特点是增加了一块称为“Advanced Memory Buffer，简称AMB”的缓冲芯片。这款AMB芯片是集数据传输控制、并—串数据互换和芯片而FB-DIMM实行串行通讯呈多路并行主要靠AMB芯片来实现。
在FB-DIMM系统中，有两种类型的串行线路：一条是负责数据写入的串行线路(称为Southbound，南区)，一条是负责数据读取的串行线路(称为Northbound，北区)。这两条串行线路各由AMB芯片中的“pass-through”和“pass-through & Merging”控制逻辑负责。
其中南、北区中传输的数据流都是采用串行格式，但AMB芯片与内存芯片仍然通过64bit(注意：位宽并不是固定不变的)并行总线进行数据交据，因此数据之间的串-并格式转换则由AMB中的转换逻辑来实现。同时在AMB中有一个数据总线接口，用来与内存芯片的连接。
利用AMB芯片，这意味着FB-DIMM并不需要对现有的DRAM芯片作出改动，内存制造商可以直接使用成本低廉的DDR2芯片。尽管采用新型缓冲芯片会增加一些成本，但是这比起制造全新的RAM芯片来说代价要小得多。
基本上可以这么说，除了时钟信号与系统管理总线的访问(主要与SPD打交道)，其他的命令与数据的I/O都要经过位于DIMM上的内存缓冲器的中转。这也许是FB-DIMM为什么叫“全缓冲双列内存模组”的原因。
3、引脚大减，布线更简单
另外，因为采用了串行传输的设计，使得FB-DIMM的引脚数大为减少！这样改进有什么意义呢
首先，FB-DIMM的针脚数量大幅度减少了。单通道FB-DIMM只有69个针脚，其中有20个用于数据，28个用于DIMM，6个用于供电，12个用于接地，还有3个用于时钟和其他用途。和单通道DDR2内存架构的240个针脚相比，FB-DIMM的69个针脚更利于PCB版图设计和布线。在下面的图片中，左边是单通道DDR2,右边是双通道FB-DIMM，可以看出FB-DIMM的PCB版图设计和布线更易于实现。
而且FB-DIMM还能够使用长度不相等的线路，这一特性同样可以简化电路板设计。内存控制器和缓冲可以对线路长度不相等造成的信号传输时差进行补偿，电路设计师们不用为了实现线路长度相等而采用奇怪的布线方式了。
在初始化时，内存控制器会测量每个针脚上的信号计时，通过延迟最快的信号来实现和最慢的信号之间的同步。最主要的一点是双通道的FB-DIMM配置可以在两层PCB上实现，包括电源线路在内。而单通道的DDR2需要3层PCB板来实现同样的事情。
更多的PCB层数意味着更高的成本。FB-DIMM能够以更少的PCB层数实现相同的带宽，或者以相同的PCB层数实现高得多的带宽。但不要忘记，内存能够支持的最大容量也是一个很重要的指标。
对于服务器来说，内存容量往往比成本更为重要。而现在每个FB内存通道可以支持8个DIMM插槽，从英特尔在IDF上发布的数据来看，一款6通道、针脚数420针的FB-DIMM内存系统可以实现了4倍于DDR2-800的带宽(40GBps对10GBps)，并且能够达到48倍于DDR2的最高容量。
FB-DIMM与DDR2之间的比较
480针金手指的双通道DDR2解决方案和420针6通道FB-DIMM方案，后者明显更具有吸引力，要知道FB-DIMM采用的内存芯片和DDR2-800是完全一样的。
4、可靠性更强
FB-DIMM相对目前的内存其运行可靠得到很大增加。英特尔甚至宣称它们已经做到让FB-DIMM在100年内出现少于一次的silent data error(无记载数据错误)。
在高容量模组上，内存芯片数量很多，而且在需要大容量内存的工作场合，内存模组的安插数量也是很多的，这使命令与寻址信号的稳定性受到了严峻考验。为此服务器内存(Reg-DIMM)往往需要加入一个ECC功能：通过增加额外的寄存器来稳定命令/地址信号，隔离外部干扰，从而增加运行的稳定性。
在工作时，命令地址信号会先送入寄存器进行“净化”并进入锁存状态，然后再发送至内存芯片，芯片中的数据则不经过寄存器而直接传向北桥。不过ECC功能有一个缺点：由于要经过中继传输，所以内存操作的时序也会因此而增加一个时钟周期。而以上问题在FB-DIMM中得到了完善解决。
在FB-DIMM中，指令和数据都进行完全的CRC循环冗余校验，远比目前的ECC纠错方法要先进。而且英特尔在FB-DIMM架构引入了的“Bit Lane Fail Over Correction”功能，利用此功能，当一个位宽的通道出现故障后，它就会被从系统中排除掉，即让出现故障的内存通道停止运行。此时内存控制器然后会调整CRC设置以相应降低所使用的内存带宽，这样即使一块芯片，一个DIMM插槽甚至是一条内存通道出现故障并不会造成死机，甚至不会降低内存带宽。这无疑大大增加了内存子系统的稳定性。
5、美中不足：高延迟！
不过FB-DIMM也有美中不足之处：延迟较高。？通过Intel的模拟分析表明，FB-DIMM在低带宽应用时，潜伏期会比DDR2系统长。FB-DIMM延迟的数量为3—9纳秒，每增加一个节点还会另外增加2～6纳秒。FB-DIMM延迟之所以之要由于两方面造成的：
一方面是由于采用串行的方式进行数据传输，存在串/并转换的过程需要占用一定的时钟周期，这也被称为“串行延迟”。总体上来说，串行延迟是FB-DIMM架构采用的数据传输方式所特有的，是不可避免的，无论如何都会出现。在FB-DIMM架构中，理论上可以通过提高工作频率来减少串行延迟的时间，而DDR2、DDR3内存的延迟时间却是随着频率提升而增加的。而且从XDR架构来看，这种串行延迟也不会对实际性能造成很大的影响！
另一方面是由于一块AMB缓冲芯片，信号必须先被缓冲读取，然后再被执行或者传递。这就带来一个缓冲延迟的问题。针对这一缺点，英特尔给出的解决办法是“信号无需存储，立即转发”。数据将在缓冲内部通过特殊的快速通道进行传输。这将在很大程度上减小存储/转发信号带来的延迟。
此外，FB-DIMM还能够在不同的通道上对内存进行读写，能够实现标准的共享总线架构所不能实现的一些操作。各个内存插槽可以独立运作，一部分用于读取，另一部分用于写入，这样就没有因为切换读取和写入动作所造成的延迟了。最后一点是在FB-DIMM架构中，DRAM和内存通道是同步运行的。当内存和内存通道不同步运行时，延迟也会增加，事情也会变得更为复杂。这样的复杂性会为厂商带来难题，并且会降低内存的性能。
FB-DIMM架FB-DIMM与DDR的延迟/带宽坐标图：带宽越高，FB-DIMM的延迟越低
虽然FB-DIMM延迟较高，但是这些延迟都可以通过技术手段从架构上得到解决。而且随着容量与带宽需求的增加，高延迟反倒渐渐成为了FB-DIMM的优势，而且带宽越大，这就优势也就越明显：在同时进行读取和写入操作时，两条双通道DDR2一次只能做一个操作，而两条FB-DIMM内存至少可以组成4个通道，这意味者带宽将增加一倍，而且FB-DIMM内存可以在一个时间周期内执行8个操作，例如4个读取操作和4个写入操作。
而且当单条模组的带宽达到4GB/S时，DDR2内存的延迟时间与FB-DIMM是一样的，此后随着带宽的增加，DDR2的延迟会渐渐增加，而FB-DIMM的延迟却呈下降的趋势。这也从别一方面证明FB-DIMM非常适合用于高端系统的内存体系。
除以上特点外，FB-DIMM规格中还加进了对直立主板的支持。需要在服务器中将主板竖置的用户将会对此有所需要。尽管这一支持被加入到规格中，但由于FB-DIMM架构支持的布线长度大为增加，用户很可能可以避免将主板竖置。FB-DIMM规格中还具有逻辑分析界面，用户可以看到内存通道的详细情况而不用中断其操作，这个特性对于调试主板非常有用。
FB-DIMM内存模块
结语：
从设计上看，FB-DIMM的确具备很大优势：除了技术性能之外，FB-DIMM的出现让在低成本下制造高性能、高容量内存模块成为了可能。因为FB-DIMM只是一种连接技术，它并不涉及到内存的核心技术的改变。就如QBM内存模组一样，它们都利用了现有的DRAM芯片。这无疑极具成本优势，而且英特尔在业界的影响力是无人可比的。
FB-DIMM的发展蓝图
不过，FB-DIMM目前仅被定位于“下一代服务器”内存，但它的最大意义是在技术上---内存架构如何从并行双路平滑过渡到串行多路模式，它对未来内存架构发展将产生不可忽略的影响。在2004年春季IDF论坛上，英特尔宣布成立MIF(Memory Implementers Forum)内存技术规范联盟，就是为了力推FB-DIMM规格的实行。
按计划，FB-DIMM在2005年正式应用到服务器领域、步入商业化运作。不过，FB-DIMM仅限于对服务器领域，至于普通平台，未来仍将是DDR2的时代………
为了适应计算机技术的飞速发展，提高内存子系统的发展空间，在今年的春季IDF上，英特尔公布了一种全新的内存体系—FB-DIMM（Fully Buffered DIMM，全缓冲内存模组），以解决普通的DDR 与 Registered DDR内存发展的局限性。
那么，FB-DIMM内存技术的实现原理是什么，它将会给我们带来怎样的性能？对于这些问题，本文将提供给你一个答案。
FB-DIMM内存技术实现原理
首先需要说明的是，FB-DIMM是Intel开发的一种内存模组技术，并不是一种新的内存芯片技术，但这一技术改变了内存子系统的体系架构。该系统架构如图所示，类似于PCI Express的信号总线是与传统DIMM的最大不同。
FB-DIMM内存和目前市场上的DDR内存相似，唯一的区别是中间的方形芯片。但实际上，两者有着截然不同的运作机理。首先，DIMM与内存控制器之间的数据与命令传输不再是传统的并行线路，而采用了类似于PCI-Express的串行接口多路并联的设计，以串行的方式进行数据传输。
FB-DIMM在这一方面与PCI-Express有很大的相似点：
第一点，两者均使用差分信号技术，通过一对线路来表达一个信号，即信号是“0”或“1”由这两条线路的电压差来决定。即便有严重的干扰使这对线路传输信号的电压差发生较大范围的波动，它们的电压差仍可保持相对固定，抗干扰能力大大强于单线传输信号的传统技术。
第二点，二者都采用了点对点的传输结构。在内存控制器与FB-DIMM缓冲芯片内都有专门的发送和接收控制单元，数据读出和写入操作可以在一个周期内同时进行，相互不干扰，这相当于将内存系统的延迟时间缩短了一半，对性能提升有着不可低估的作用。
其次，在FB-DIMM内存上增加了一枚缓冲芯片，它的正式名称为“Advanced Memory Buffer(高级内存缓存，简称AMB)。实际上，AMB并非只是一枚简单的缓冲芯片，它主要承担三方面的功能：一是与北桥芯片中的内存控制器连接，令数据在内存缓冲与控制器之间传送；二是负责并-串数据的转换和读写控制；三是具备相互通讯的职能，因为它要始终承担着数据传输和读写的中介工作，不同的FB-DIMM内存模组必须通过这枚芯片才能够交换信息。
从上面的介绍中，我们知道每个DRAM芯片不再直接与内存控制器进行数据交换。事实上，除了时钟信号与系统管理总线（SMBus）的访问，其他的命令与数据的I/O都要经过位于DIMM上的AMB（图下面中间的方形芯片）的中转，从而解决了传统DIMM模组 “短线连接”的拓扑结构带来的弊端，如下图所示。
这一点与我们所知的各类内存模组都有很大差异。由于采用串行连接，可以用更少的引脚建立更多的内存通道，也是由于串行连接，还可以使通道内的芯片容量大幅度增加，从而扩大了内存子系统的容量。
作为新型的内存架构，FB-DIMM并不需要对现有的DRAM芯片做出改动，内存制造商可以直接使用成本低廉的DDR2芯片。尽管采用新型缓冲芯片会增加一些成本，但是这比起制造全新的RAM芯片来说代价要小得多。
FB-DIMM内存的技术参数
1.数据传输率
根据FB-DIMM 1.0版标准，单通道的FB-DIMM分别可以达到9.6GB/s、12GB/s和14.4GB/s的接口带宽。这三种规格的FB-DIMM的读数据带宽分别为5.6GB/s、7GB/s和8.4GB/s，写数据带宽则为4GB/s、5GB/s和6GB/s。
2.最大DIMM模组数
在单通道情况下，FB-DIMM内存最多可以连接8条DIMM模组。但实际上，FB-DIMM支持双通道、四通道和六通道，因而，FB-DIMM内存可以实现48条FB-DIMM模组的连接能力，内存最大容量将达到192GB。
3.物理尺寸
FB-DIMM内存的规格为133.5mm×30.5mm，金手指数量为240个，尽管不会完全利用，主要是考虑升级的需要。FB-DIMM上可容纳9、18或36颗内存芯片，标准方案为18颗：背面为10颗，正面8颗；AMB缓冲芯片位于正面中间，尺寸大小为24.5mm×19.5mm×21.5mm。
4.电压和功耗
FB-DIMM内存的供电将比传统的内存供电系统复杂些，它需要三种电压：驱动DDR2内存芯片需要1.8V、终结内存“命令/地址”需要0.9V，AMB缓冲芯片需要1.5V。与此同时，不同位置的FB-DIMM模组功耗有所不同：通道的第一条FB-DIMM模组功耗为3.4W，随着距离的增加，模组功耗呈下降趋势，最后一条模组的功耗只有2.4W。
FB-DIMM内存的技术优势
1.优化电路板设计
首先，FB-DIMM的针脚数量会大幅度减少。单通道FB-DIMM只有69根针脚，其中有48根用于数据，12根用于接地，6根用于供电，还有3根用于时钟和其他用途。和单通道DDR2内存架构的240根针脚相比，FB-DIMM的69根针脚更利于PCB板的设计和布线。
我们知道，为了达到同步的信号传输，在电路板的设计中，电路工程师们为了实现线路长度相等，需要采用一些特别的、复杂的布线方式。但在FB-DIMM内存中，这一切不再需要了。 FB-DIMM支持长度不相等的线路，内存控制器和缓冲可以对线路长度不相等造成的信号传输时差进行补偿，在初始化时，内存控制器会测量每针脚上的信号计时，通过延迟最快的信号来实现和最慢的信号之间的同步，从而简化电路板的设计。
另外，双通道的FB-DIMM配置可以在两层PCB上实现，包括电源线路在内。而DDR2需要3层PCB板才能做到。更多的PCB层数意味着更高的成本。
2.高容量
内存能够支持的最大容量是一个很重要的指标。对于服务器来说，内存容量往往比成本更为重要。由于串行连接，可以用更少的引脚建立更多的内存通道，也是由于串行连接，还可以使通道内的芯片容量得以大幅度的增加，从而扩大了内存子系统的容量。FB-DIMM系统的最大容量达到192GB，是DDR2（8GB）的24倍。
3.灵活的架构
FB-DIMM灵活的架构可以让内存控制器保持不变。如果需要，可将内存颗粒从DDR2升级到DDR3，内存制造商只需要对缓冲芯片做出一定的改动，并不需要更改其它架构。根据目前的展示来看，FB-DIMM至少可以采用从DDR2-533到DDR3-1600范围内的不同内存颗粒。
理论上用户可以将DDR2颗粒直接插入一条DDR3内存模组，只要这种DDR3内存模组的缓冲芯片支持以前的信号规格，它就能够正常工作，（芯片组或处理器集成的）内存控制器根本不会受到这种变化的影响。FB-DIMM的这种特性将使得内存架构的转变过程更容易实现，需要的时间也会更短。它在不需要增加太多延迟的情况下，有效地减少了内存控制器和内存架构之间的逻辑电路，这确实是非常不错的特点。
4.高可靠性
FB-DIMM从设计开始，就加强对可靠性方面的研究。英特尔宣称FB-DIMM的设计目标是100年内出现少于一次的Silent Data Error（无记载数据错误）。所谓的无记载数据错误就是未被发现，但是会逐步扩散的数据错误。
FB-DIMM架构，通过采用以下方法来达到100年内出现少于一次的无记载错误：首先是对指令和数据都进行完全的CRC循环冗余校验，这比目前普遍使用的纠错方法要先进得多。其次是，FB-DIMM架构提供了一种被称为“Bit Lane Fail Over Correction”功能，该功能可以让出现故障的内存通道停止运行。这种功能给内存子系统提供了更进一层的保护，一块芯片，一个DIMM插槽甚至是一条内存通道出现故障并不会造成死机，甚至不会降低内存带宽。
FB－DIMM内存技术的未来发展
就像文章一开始我们就提到的，FB-DIMM只是一种连接技术，它并不涉及内存的核心技术的改变。它与Kentron公司的QBM内存模组技术一样，都利用了现有的DRAM芯片，只是在系统架构与互联方式上进行了新的尝试，所以相对于内存芯片的更新换代，FB-DIMM进入市场的阻力要小得多。在Intel的设想中，FB-DIMM将以DDR2内存为起点，日后的DDR3内存也将利用FB-DIMM来更好地进入高端应用市场。
虽然，Intel将FB-DIMM目标设定为服务器内存，但FB-DIMM全新的设计理念毕将会给未来的台式PC带来深刻影响。而且我们深信，伴随着FB-DIMM内存在服务器中的使用，普通PC用户也将会使用到这种全新的串行内存技术。