老本行：QLC将SSD容量推上新高峰
前段时间我们测试了Solidigm D5-P5430，是*四代第**QLC NAND的首款产品，介质堆叠到了192层。但是，P5430的定位是主流市场，用相对较好的容量价格比优势蚕食TLC SSD的市场，并没有在容量上下太多的工夫，其最大容量与144层的P5316持平。
而强调新一代QLC容量优势的，则是P5316的继任者——D5-P5336。D5-P5336的最大容量倍增到61.44TB。要实现60TB以上的容量，需要采用U.2或者E1.L外形。尤其是后者，在高密度全闪方案中的接受度正在迅速提升。目前P5336首批在国内上市的产品采用了E1.L外形，这也说明Solidigm对这款产品的早期应用场景想定是新锐的1U高密度存储服务器。
说到外形，这也不由得想起几年前，曾有厂商展示过60TB（2016年）甚至100TB容量的SSD（2018年）的样机，但当时采用的是3.5英寸外形。这般往事，也让人不由得想到，最近几年，控制器和介质的进步其实相当的大，让SSD的内涵发生了翻天覆地的变化。这次我们测试的P5336，是U.2接口，标准的2.5英寸外形，15mm厚度。
“大”而“全”的足够耐用性
以前说过，Solidigm正在拓展QLC SSD的应用领域，譬如D5-P5430的容量点前所未有的丰富，并提升了性能上限，试图挑战主流的TLC SSD。在D5-P5336，也提供了4个容量点，而且起始容量点下探到了7.68TB！而前任的P5316只有15.36和30.72TB两个容量点，只考虑了大容量的需求，也拉高了部署的门槛。
我们认为Solidigm是希望用7.68TB容量点的D5-P5336去满足对容量需求位于主流，但重视成本的用户。这种应用场景应该包括多数的企业服务器，典型如超融合等业务，甚至可以包括视频工作站等。越来越多用户已经清醒地认识到：绝大多数SSD在生命周期内的写入寿命是严重过剩的，0.5DWPD的写入强度其实依旧绰绰有余。另外，D5-P5336标称的PBW其实相对P5316又有了进一步提升——后者已经用2年时间证明了能担大任。
Solidigm对新一代的QLC SSD提出了“必要耐用性”（基本耐用性）和“足够耐用性”（超值耐用性）的概念。D5-P5336属于后者。怎么理解这个“够”呢？一方面，当然是因为容量大，可以让总写入量相应大增。另一方面，它依然可以承受较高强度的写入（0.5左右的DWPD）。我们可以假设一种极端情况，对SSD寿命最不友好的随机写行为。以61.44TB规格的标称值为例：16KB随机写IOPS为43K，如果按这个吞吐量持续写入，一天约60TB，达到65PBW耐用度也要大约1100天，需要连续满负荷写3年。
但实际应用中，不会出现全部负载为写入的情况。如果写入比例占30%，那可以用10年；如果10%，就是30年……
适中的UI设定
熟悉Solidigm/Intel SSD命名规则的人还应该知道，型号中的最后一位数字代表了其他特性，“0”为普通产品，“6”代表了大容量IU（Indirection Unit，间接存储单元）。
多数SSD的IU是4KB，随着容量增加，缓存容量水涨船高，如果容量太大，DRAM成本不容小觑。因此大容量SSD会使用较大的IU，节约缓存成本，譬如D5-5316的IU为64KB，D5-P4326和D5-P5336的IU为16KB。QLC SSD的介质成本优势，叠加较低容量缓存的成本优势，D5-P5336可以用更有竞争力的价格吸引主流用户对QLC SSD产生更大的兴趣。
当然，较大的IU也会带来随机写IOPS的损失。譬如D5-P5316的IU达到了64KB，其随机写带宽其实还可以，但折算为IOPS就只有8千的量级，需要额外注意写入操作的优化。经过写整形之类的操作，将QLC SSD的随机写尽量转化为顺序写，效率会有数量级的提升。
Solidigm D5-P5336将IU调整为相对适中的16KB，既控制了成本，也明显提升了随机访问的效率。另外，Solidigm对于低于16KB的写入操作，有“写入修正”功能，减少了写入过程当中的性能影响。简而言之，对于缺乏优化的应用环境，D5-P5336具有更好的适应性。
介质容量、数量双提升
Solidigm D5-P5336的外观非常的简洁，外壳两面均很平整。由于是工程样品，暂时也没有正式的标签信息。
我们先让大家看看这块盘如何实现61.44TB容量的。
主控方面，与同代的SSD并没有变化。介质方面，肯定是需要更多的数量，用的是柔性折叠的双层PCB以增加面积，总共安排了32颗NAND。
NAND介质为192层3D NAND，QLC模式下的容量为1.33Tb，相比上一代的144层正好提升了三分之一。颗粒有两种，分别封装了8或16个die。如果全部使用16 die封装的颗粒，其实Solidigm是有能力量产80TB等级的产品的。就61.44TB这个容量点而言，实际的die数量为384个（8×16=128；16×16=256；128+256=384）。
NAND颗粒之间还有一种尺寸略小的芯片，在SSD中并不常见。这种芯片被称为NAND Hub或EnHub。主控能够直连的CE数量有限，管理更多的die需要Hub的帮助。
缓存DRAM方面，样品使用了10颗DRAM，容量为20GB——与我们前段时间测试的15.36TB的D5-P5430相同。这是因为P5336的IU为16KB，减少了DRAM开销。常见4KB IU的SSD如果需要达到60TB等级的容量，那就需要60~80GB的DRAM，成本还是相当可观的。
实测验证：随机性能大增
我们以宝德PR2715W3服务器为基础构建了Solidigm D5-P5430的测试平台。具体配置为：
处理器： 双路英特尔至强金牌5318Y处理器（2.10GHz/36MB/24C/48T/165W） 内 存： 32×32GB/DDR4/2933MHz/ECC/REG 系 统： CentOS Stream release 8（内核5.4.197-1.el8.elrepo.x86_64） Windows Server 2019
由于采用相同的主控和介质，Solidigm D5-P5336的顺序读写性能与D5-P5430应该是相同的量级。从实测值看，61.44TB的P5336的128KB顺序读超过7400MB/s，顺序写的超过3300MB/s。与我们测试过的15.36TB的P5430相比，顺序读性能相同，顺序写略高一些，符合官网标称的数值。
随机性能方面，我们优先考察16KB数据包的性能，以吻合P5336的IU设定。其16KB的随机读在128队列深度下可以达到45.2万IOPS，在更高的队列（256、512）有相同的IOPS表现。45万的IOPS相当于超过7200MB/s的读带宽，基本上可以看做是跑满了PCIe 4.0接口主控的潜能了。
16KB写在各个队列深度下都在5.2万IOPS量级。折算的写带宽大致是850MB/s左右的水平，比上一代介质P5316的写带宽提升了60%以上。值得重点说一下的是：其实我们对于这个量级的IOPS是有一些疑虑的。根据Solidigm官网已经公开的15.36TB容量点P5336的16KB写指标是35K IOPS，折算为560MB/s——这就与P5316差不多了。另外，P5430的4KB随机写带宽也是大约560MB/s。我们目前掌握的技术资料没有提及新一代QLC介质在随机写入性能方面有特别优化，我们对61.44TB容量P5336的随机写性能的提升幅度感到比较意外。
当然，我们也知道，容量的优势可以体现在有机会进行更有效的垃圾回收操作。为了彻底杜绝测试间歇当中回收操作的影响，我们特意对P5316进行了一次持续长达40小时的16KB写操作，累计写入了超过124TB的数据，期间平均写入为527k IOPS、864MB/s。紧接着就是5轮各2小时的正式测试。
复盘这50小时的数据，我们可以发现，在前面150秒内，P5336的16KB写入会短暂达到20万左右的IOPS，大致相当于顺序写的性能，这意味着经过空闲时的垃圾回收，确实提供了一些空白块；150秒后的IOPS就很稳定，基本上都在5万以上。
经过这个插曲，我们不但确信61.44TB容量P5336的随机写带宽确实明显高于P5316和P5430，也见证了其持续写入操作中的出色稳定性。我们未来会继续与Solidigm工程师保持沟通，以了解NAND Hub中的缓冲对写入操作是否有所助益。
我们也考察了4KB数据包在P5336上的表现：4KB随机读达到98.3万IOPS，非常接近百万大关了；4KB随机写仅为4.8万IOPS，显得很“吃亏”，跟做16KB的写入差不多。这也说明大IU的SSD需要更注意写操作的优化。顺便说一下，我们也在P5336上进行了近80小时的持续4KB写操作和5轮各两小时的测试。
混合读写方面，重点考察的是16KB数据包下的9读1写比例。在典型的64队列深度下，P5336的混合平均读时延只有207微秒，256队列深度的读时延也仅为400微秒出头，这让我们印象深刻。4KB混合读写的时延会略小一些，整体趋势与16KB相同。
在混合读写的尾时延方面，我们发现队列深度在64以内，P5336的表现非常好，P99.99最大时延也不到1ms，甚至短于不少TLC SSD。
结语
机器学习、数据挖掘的数据规模正在指数级增长，CDN、对象存储等应用对存储成本也非常敏感，“传统”的QLC SSD在这几个领域已经获得认可。这些领域的负载具有读取密集型的特点，适合“足够（超值）耐用性”定位的QLC SSD发挥优势。在目标容量或者目标吞吐量可以满足的前提下，QLC SSD的密度优势决定其只需要部署较少的驱动器数量，可以节约空间、接口，也包括能耗。而更高的存储密度的介质、更高的耐久度保证，进一步增加了Solidigm D5-P5336的TCO优势。
Solidigm D5-P5336提供了接近PCIe 4.0接口极限的读性能，以及比较充足的顺序写入性能，并将最大容量点进一步推进到60TB等级，再一次与市场主流SSD拉开了差距。随着它进入市场，标准服务器便可进入PB时代，甚至，通过E1.L外形可以在1U空间内实现约2PB的容量。这些容量和性能上的特点对包括大数据、大模型在内超大规模数据应用场景展现了巨大的吸引力。而且，P5336还提供了多种容量点和外形选择，对于数据密集型的工作场景有灵活的适应能力和良好的扩展性。
尤其值得一提的是，P5336的16KB IU设定相对上一代产品（P5316）的64KB IU要显得更为均衡，缓存成本适中，但在随机写IOPS方面有了数倍的增长，明显提高了P5336的适应性——即使不刻意做写优化，也是堪用的。
整体而言，Solidigm D5-P5336巩固了Solidigm在高密度存储中的领导地位，而且，进一步拓展了QLC SSD的适用范围。充分利用QLC的优势不再是技术实力雄厚的大型数据中心才拥有的技能，普通企业也可以在服务器甚至工作站中考虑部署QLC SSD。