[机柜]英特尔资深技术专家陈小波解读傲腾数据中心级持久内存

来源: 作者: 发布时间:2022-05-13 10:18:45

内存技术在不停地发展,应用在追求更大的容量和带宽,数据在不断增长,内存更要跟得上增长。近日,英特尔资深技术专家陈小波在2019中国数据与存储峰会上以英特尔傲腾数据中心级持久内存为主题展开主题探讨。当前内存技术的扩展趋势有哪些?内存随着数据的激增在快速增长,傲腾如何突破内存瓶颈?傲腾技术有哪些应用场景?

00

陈晓波:我大约在2012年去了英特尔,2012年第一次来到这个论坛。当时,我们可以看到外面的大部分都是传统的存储制造商,现在我们出去看看,绝大多数外面的制造商都变成了分布式存储。给我最令人震惊的两点,几乎在2010年,我还在EMC。2010年,ORACLE首次宣布了软件定义存储和分布式存储的到来,微软于2012年出现,到2015年,特别是SUN超级集成形式。所有这些软件的形式都依赖于一个基本的硬件形式,即SSD闪存。传统的介质存储设计、软件和硬件匹配,基本上达到了相对的极限或极端,很难有人超越它们。为什么现在有这么多的分布式存储和这么多的软件定义存储?这是因为闪存给了软件更多的想象力。与传统的机械硬盘相比,RANDOM的性能是RAND,它提供了更多的性能。应用存储需求的第一个瓶颈点通常是IOPS为了解决这个问题,我们可以谈论以下新的瓶颈点CPU、内存等。

内存技术的扩展趋势

闪存和闪存开发的各种新的硬件技术与内部技能相似。软件只是一种动作。无论动作有多好,都没有内部技能,也就是说,三岁的孩子打太极拳是没有用的。如果你有很强的内力,剩下的问题就是如何使用好的软件来充分发挥内力并提供给上述应用程序。

今天我要谈谈傲腾的持久内存。你可以看到,传统的机械硬盘,磁带容量很大,现在机械硬盘至少是10TB,磁带容量更大,但速度很慢。一个NVME磁盘可能可以提供,例如,傲腾554000KB的阅读,与550000的写作性能相同。内存必须比NVME磁盘快3个数量级,延迟更低,吞吐量更大。在这两者之间,传统的内存DD24,主屏幕越来越高。去年仍在使用2666个内存,今年的2999年还不够,都需要使用3200级的内存,主屏幕越高,吞吐性能越快,并在不断进步。这两者之间是否有一个更持久,更多的数据可以进入内存,传统的内存增长也很快,但所有的物理事物,无论是性能的极限还是容量的极限,在传统的架构上都有一定的增长极限。

大约1993年,当我买第一个386时,我第一次配备了4兆的内存。当时,我感觉好多了。当我即将毕业时,我在1997年改变了主板486,变成了16兆B的内存。当时,我觉得它太大了。快2GB的硬盘不需要更大的。我可以存很多东西。到目前为止,它只能作为一件古董放在书柜里。就内存和硬盘的容量而言,人们对更好生活的追求总是无限的。我们必须储存很多东西,包括视频和音频。许多以前没有储存的东西也会储存下来。例如,在过去,工厂的生产线需要依靠工人大师或经验丰富的工程师来判断这些产品存在什么问题。现在,高清摄像头直接在架子上拍照和录像。根据捕获的视频文件或图片,用人工智能计算这批生产可能存在什么问题。它可以给制造业所有者或工厂所有者带来巨大的好处,提高交货时间。问题是拍摄的照片和录像,但以前从来没有储过的东西。在新计算的指导下,计算突破,推动存储和网络突破。在过去,当这些不存储的东西被保存下来时,它们仍然是大量的数据。这不是我们之前所说的GB和TB。我们必须跑到EB级。例如,一家国内汽车制造商计划从事自动驾驶。首先,有50个PB。如果是10K,来到ATA库存。当时,它计算出1.8万台机械硬盘,这是一个巨大的数量。它增长迅速。这属于它的黄金时代,几年内翻了一番。大约两年前,最常用的内存是8g左右。现在是16g。从今年开始,它将逐渐进入32g。内存容量越来越大,这不仅是一件好事,也是一件麻烦的事情。

第二,这么大的内存,从性能的角度来看,在认知许多应用之前,需要更大的内存,但实际上运行CPU,或运行高分,你可能会认为内存简单,这么小,内存技术不断发展,应用于追求更大的容量和带宽。在未来,在16G和32G继续发展之后,一个CPU有点难以确保容量,需要更新技术来解决这些问题,要确保内存在数据增长时跟上增长。

傲腾突破内存瓶颈

以前翻倍速度没那么快,但是数据在拼命增长,内存一定要增长。很多时候,这是核心瓶颈。我该怎么办?英特尔采用PERSISTEN技术,提供EMORY这一概念从一开始就相对流行。为了满足更大的容量,英特尔的趋势推出了持久内存。第一个容量更大,内存条约为16G和32G。这并不意味着32G比16G翻了一番,是略低。它更贵,64G也是如此。这与它的生产过程有关。当生产过程还没有到来时,当最适合或市场主流的必须是它的生产线时,它的过程决定了这是最具成本效益的产品。如果你想追求更大的容量,你只能支付更多,而不是根据容量翻转,但OPTNE不同于传统的技术。不同于传统的3,它的容量很大,8GB匹配容量不是问题,高性能,高可靠,插入内存,可以用作内存,也可以用作磁盘,或磁盘类型的内存。

所谓内存模式插入内存槽,可作为内存使用,性能良好。首先,它仍然需要插入传统的DD24,而不是原始的。插入后,DD24在操作系统层面上看不到该内存容量。每个人都把这个东西当作内存,插入服务器,系统看到,可以直接访问和使用,没有问题。

第二,应用直接访问模式,是该行业的真正发展方向和追求目标。在许多应用程序中,如果应用持久内存,它可以达到一些新数据的安全水平和保证,它可以确保数据仍然存在,电源不怕,下一个启动数据仍然存在,加载非常快。如果内存达到1.5TB水平,数据传输是一个非常繁忙的过程,追求一定的性能。它插入了内存,操作系统可以看作是一个磁盘,但不能访问它。应用程序可以准确地定位,此时你看到的是两个内存,一个是DD24内存,如192G,是一个更快的内存。此外,1.5T的中央持久内存是4个内存。此时,可以通过PMDK等API来控制和定义哪些数据放在DD24和傲腾。

奥腾完整的模块系统:从理论上讲,所有这些都存在于控制器、芯片和信号的验证中。最重要的是直接插入内存条。奥腾的磁盘是相同的介质。同一介质放置在不同的数据总线上,CPU访问时间不同。接口类型有时是控制性能的因素之一。NVME的协议和接口打破了SATA的限制。OPTANE的接口和协议是内存通道,无需通过PCIE通道转移,使其性能良好。

记住两点,它是内存,可以作为内存使用。同时,它也可以比内存做更多的工作。它可以作为一个磁盘,也可以通过操作系统,但应用程序部分,它作为一个内存。

持久性对硬件的影响

CPU有缓冲,内存本质上是磁盘上海量数据和计算CPU之间的中介和桥梁。缓存和临时存储数据的空间。如果内存不够怎么办?重新刷回硬盘。有了持久的内存,就有可能通过使用PM将其屏蔽到0。如果PM之间没有直接存储PI,则可以识别大量数据,以确定它是在易失性D24还是非易失性。在过去的20年里,磁盘的容量越来越大,磁密度也越来越高。单位间旋转的磁密度增加,磁盘顺序读取的性能将增加,但RANDOM的性能始终没有提高。大约在2005年,在15000转之后,它已经达到了物理极限。它的角速度相同,线速度也不同。当15000转时,磁盘延伸的线速度已接近物理极限。因此,在2000转之后,它将在未来增加6200转和40转的性能。在添加持久性内存后,传统的文件系统需要进行改造,工作量也很大。在转换过程中,跳过传统的限制,确保数据更快、更方便地访问,这是持久性对硬件的影响,以及对软件的影响,如何更好地调动数据持久性不怕丢失的概念。

内存级介质的寿命

每个人都最关心的是,SSD有一个可插入存储寿命的概念,OPTANE不怕这个,OPTANE这个特别好,做一个骄傲的持久内存更好。我谈到了它和传统SSD技术的一个小区别,传统的SSD是用配置来插入存储数据,一个字节,也必须插入一个,改变A,改变B,改变B,不会大面积影响其寿命。有些磁盘很贵,在哪里很贵?除了它的能力,它也很贵。首先,大多数人都不愿意改变磁盘,必须承认,商业硬件必须有坏的可能性。硬件制造商试图确保它不坏,或者告诉用户我有不同等级的产品,你愿意花多少钱,以换取什么等级。软件制造商使用各种分布式,各种技术来确保磁盘坏了,不影响系统,尽快恢复。对于SSD介质,有一个类似的指标,你愿意花多少钱,以换取什么等级。软件制造商使用各种分布式,各种技术来确保磁盘坏了,不影响系统,尽快恢复。对于SSD介质,或者说,有一个类似的指标,拿到一块硬盘,拿到一块硬盘,拿到一块硬盘,拿到一块,拿到一块硬盘,可以保多长时间插入和打开。

说了很长时间硬件有多好,红花也想要绿叶,英特尔是绿叶。绿叶应该匹配每一朵大红花,这么快的硬件,只是说它很快,没用,用户看到我在我的应用程序,我使用ORACLE,SPARK和其他东西,你比我快多少,你的成本性能是否满足我的需求。因为它很快,我们认为在数据库领域,我们的追求是不同的,国内外软件,我们正在进行大量的适应和应用,性能有很大的提高。

其他制造商,国内制造商生态,从基础设施操作系统水平、主要数据库、大数据应用软件、国内CSP,基本上各种互联网供应商,包括公共云、手机或计算机软件、OEM制造商,确保从硬件到基础设施,到软件,到主流CSP可以提供这种访问服务。

在过去的5个互联网视频中,互联网视频发展得非常快,抖音就是其中之一。快手。快手,也有用户级别。短视频的挑战是数据量太大,数据量在一定程度上,会由量变引起质变。传统的结构是由企业级设计的,无法支持大量数据的飞行。快手使用RTEDIS来提高性能,整体CTOO下降,因为不需要这么多的机器来满足它的传统架构,现在更少的机器更贵,虽然更贵,虽然单机很大,但单机更大,但更少。但整个机器更大,但整个机器更少,更多的机器更多,更多的机器可以使用10,假设现在更少的机器更贵,虽然更多的机器更贵,虽然单机器更大,但单机器更多,但更多的单机器更多,但整个机器更多,更多的单机器更多,更多的单机器更多,更多的单机器更多,更多的单机器更多,更多的单机器更多的单机器更多,更多的单机器更多,更多的单机器更多的单机器更多,更多的单机器更多,更多的单机器更多的单机器更多,更多的单机器更多的单机器更多,更多的单机器更多的单机器更机器更多的单机器更多,更多的单机器更多的单机器更多,更多的单机器更多的单机器更多的单机器更多的单机器更多,更机器更多的单机器更多,更多的单机器更多的单机器更多的单机器更多,更多的单机器更多,更多的单机器更多的单机器更多的单机器更多,更多,更多的单机器更多,更多的单机器更多,更多的单机器更多,更多的单机器更多的单机器更多,更多,更多的单机器更多的单机器更多的单机器更多,更多的单机器更多,更多,更多