Dell EMC NVDIMM-N 永久性内存 用户指南 February 2021 Rev.
注意、小心和警告 注: “注意”表示帮助您更好地使用该产品的重要信息。 小心: “小心”表示可能会损坏硬件或导致数据丢失，并告诉您如何避免此类问题。 警告: “警告”表示可能会导致财产损失、人身伤害甚至死亡。 © 2017 - 2021 Dell Inc. 或其子公司。保留所有权利。Dell、EMC 和其他商标是 Dell Inc.
目录 章 1: 简介........................................................................................................................................ 5 章 2: 更改列表................................................................................................................................. 6 章 3: NVDIMM-N 概览...................................................................................................................... 7 正常运行.................................................................................
块模式.............................................................................................................................................................................33 DAX 模式........................................................................................................................................................................ 33 存储空间支持.....................................................................................................................................................
1 简介 DellEMC 的 NVDIMM-N 永久内存是一种颠覆性的存储级内存技术，它在传统存储技术的基础上，进行了前所未有的性能改进。每个 NVDIMM-N 都提供 16 GB 的非易失性内存，且具有与标准 288 针 DDR4 DIMM 相同的外形规格。NVDIMM-N 安装于标准 CPU 内存 插槽中，使数据更靠近处理器。由于 NVDIMM-N 能够以 2666MT/s DDR4 的数据率运行，因此可以充分利用内存总线所特有的高带 宽和极低延迟优势。下表提供了 DDR4 与其他服务器存储介质相比的近似数据访问时间。 表.
2 更改列表 表. 2: 更改列表 Version（版本） 更改 A00 原始版本 A01 添加了 ESXi 6.7 支持信息。卸下了不再适用的 Linux 勘误表。编辑了文档的其余部分以表 达清楚。 A02 添加了特定于模块化服务器的信息，支持 R840、R940xa，对 BBU LED 行为进行更改， 并编辑其余部分以表达清楚。 在 RHEL 7.5 上支持 NVDIMM-N A03 添加了最低支持的平台固件版本 支持 Windows 2019、RHEL 7.6 和 ESXi 6.7 U1。 Windows 2019 新功能和 NVDIMM-N RO 行为 RHEL 7.6 功能部件和错误修复 A04 更新了 Linux 勘误表 NVDIMM-N 配置不支持节点交叉存取 (RDIMM) A09 更新了 Windows 勘误表 A10 添加了一般勘误 A11 修复了 RHEL 7.
3 NVDIMM-N 概览 下图是 NVDIMM-N 的概览，其中显示了主要组件和系统接口。NVDIMM-N 的核心是 DDR4 DRAM 设备，这些设备支持 NVDIMM-N 作为 RDIMM 运行。支持 NVDIMM-N 存留数据的组件是控制器、闪存和调压器，这些组件也集成在 DIMM 上。 图 1: NVDIMM-N 概览 主题： • • • 正常运行 备份到闪存 从闪存恢复 正常运行 NVDIMM-N 安装在服务器内存插槽中。从硬件角度来看，NVDIMM-N 好像是作为标准 DDR4 RDIMM 的处理器。它们会在 BIOS 开机 自测期间进行初始化，并且 CPU 可以使用标准 DDR4 内存载入/存储事务访问 NVDIMM-N 上的 DRAM 数据。 NVDIMM-N 概览 7
图 2: NVDIMM-N 正常运行 备份到闪存 在服务器关闭、冷重新引导或断电的情况下，会将保存信号发送至 NVDIMM-N 控制器，然后触发 NVDIMM-N 控制器将所有 DRAM 内容备份到其板载闪存存储。只要服务器即将断电并且 NVDIMM-N 的电源中断，就会触发 NVDIMM-N 保存事件。完成此备份过程 大约需要 1 分钟。此持续时间独立于服务器中安装的 NVDIMM-N 数量，因为保存过程跨所有 NVDIMM-N 并行执行。 电池将为 NVDIMM-N 提供备用电源，以便即使在断电后也可以完成备份操作。保存操作完成后，电池将停用，以允许服务器和 NVDIMM-N 完全关闭电源。 图 3: 保存操作 8 NVDIMM-N 概览
从闪存恢复 在服务器开机时，BIOS 将初始化 NVDIMM-N 上的 DRAM。BIOS 使用 SMBus 管理接口来命令 NVDIMM-N 控制器从闪存恢复其 DRAM 内容。完成此恢复过程大约需要 1 分钟。此持续时间独立于服务器中安装的 NVDIMM-N 数量，因为恢复过程跨所有 NVDIMM-N 并行执行。之后，BIOS 会将 NVDIMM-N 呈现给服务器操作系统以作为永久内存。请注意，永久内存与正常操作系统操 作所需的系统内存截然不同。有关永久内存的操作系统支持的详情，请参阅相应的操作系统部分。 图 4: 恢复操作 NVDIMM-N 概览 9
4 硬件 主题： 服务器硬件配置 模块化机箱硬件配置 NVDIMM-N 模块详细信息 电池 最低平台固件版本 • • • • • 服务器硬件配置 NVDIMM-N 目前在 T640、R640、R740/R740XD、R840、R940、R940xa、MX740c 和 MX840c PowerEdge 服务器中均受支持。每 个服务器最多支持 1 个到最多 12 个 16 GB 的 NVDIMM-N （192 GB 的总永久性内存容量）。下面的表 1 提供了已验证的 NVDIMM-N 配置，并且完全支持双插槽服务器配置。对于 R840、R940、R940xa 和 MX840c PowerEdge 服务器中的 4 插槽配置，NVDIMM-N 仅 在 CPU 1 和 CPU 2 内存插槽中受支持。下面的表 2 提供了已验证的 NVDIMM-N 配置，并且完全支持 R840、R940、R940xa 和 MX840c 四插槽配置。 请参阅图 5 了解作为示例的 R740/R740XD CPU 和 DIMM 插槽位置。有关内存安装原则，请参阅相应服务器的安装和服务手册。 图 5: R740/R740XD 内存布局
表.
图 6: MX740c 内存布局 表.
表.
2.
电池 需要电池才能将内容从 DRAM 复制到闪存。虽然基于 JEDEC 的 NVDIMM-N 可以使用超级电容器作为备份电源，但 DellEMC 的电池 是一种集中式电源解决方案，可提供更小巧、可靠且集成的电源。供电集成到系统板中，并且不需要单独的线缆连接到每个 NVDIMM-N，这是基于超级电容器的解决方案。 在首次检测到断电时，服务器将激活电池并触发 NVDIMM-N 以将其 DRAM 内容保存到闪存中。保存过程大约需要一分钟才能在 T640、R640、R740/R740XD、R840、R940 和 R940xa 服务器中完成，并且在 MX740c 和 MX840c 服务器中需要 140 秒完成。在这 段时间内，需要电池来为备份提供电力。电池仅能为必须处于通电状态的服务器子系统提供电力，以完成保存。所有其他子系统均 已关闭或置于低功耗状态，以节省电池寿命。保存完成后，电池将处于停用状态，并允许服务器完全关闭电源。在模块化机箱中， 电池还为系统风扇提供电力，以便在发生断电事件后在 NVDIMM 保存期间提供冷却。 表.
注: 每台服务器的连接器位置将有所不同。有关详细信息，请参阅您的特定服务器的安装和服务手册。 图 9: R740 电池安装说明 注: 每台服务器的电池安装位置将有所不同。有关说明，请参阅您的特定服务器的安装和服务手册。 最低平台固件版本 要使 NVDIMM-N 模块在 PowerEdge 服务器上正常工作，需要的最低平台固件版本如下所示： ● BIOS：1.1.7 ● iDRAC：3.00.00.
5 BIOS 主题： • • NVDIMM-N 的 BIOS 配置设置 BIOS 错误消息 NVDIMM-N 的 BIOS 配置设置 本部分仅重点介绍影响 NVDIMM-N 操作的 BIOS 设置选项。有关所有设置选项的说明，请参阅每个服务器的安装和服务手册。进入 BIOS 系统设置可配置永久性内存 BIOS 设置。显示如下 BIOS 屏幕时，按下 F2 键即可进入 BIOS 系统设置。 图 10: BIOS 屏幕 选择 System BIOS > Memory Settings 以查看以下选项： BIOS 17
图 11: 内存设置 节点交叉存取 指定是否支持非一体化内存体系结构 (NUMA)。如果此字段为“已启用”，则在安装对称内存配置的情况下 支持内存交叉存取。如果为“已禁用”，则系统支持 NUMA（非对称）内存配置。该选项默认设置为“已禁 用”。当系统中存在 NVDMM-N 时，不支持节点交叉存取。 警告: 如果在“永久性内存系统设置”页面中启用了“永久性内存交叉存取”，则该设置也适用于永久性 内存交叉存取。 选择“永久性内存”以配置 NVDIMM-N 设置选项： 永久性内存清理 设置永久性内存清理模式。 自动：检测到多个错误时，系统在 POST 期间自动清理永久性内存。 一次性：系统将在 POST 期间在整个永久性内存范围清理永久性内存一次。下一次引导时，系统将返回为 “自动”永久性内存清理模式。 启用：系统将在每一次引导时在 POST 期间在整个永久性内存范围清理永久性内存。 注: 在系统开机自检期间，清理整个永久性内存可能需要花费 60 分钟以上（因系统内存填充而异）。 18 BIOS
图 12: 永久性内存屏幕 下表介绍了 BIOS 设置屏幕中可用的每个选项。 表.
表. 7: BIOS 设置屏幕 （续） 选项 说明 NVDIMM-N 在 NVDIMM-N 上启用或禁用交叉存取。启用后，NVDIMM-N 交叉存取将遵循适用于 RDIMM 的相 同交叉存取策略。易失性 RDIMM 交叉存取策略不受此选项影响。RDIMM 系统内存和 NVDIMM-N 永久性内存将始终作为两个不同的内存区域。 交叉存取 此选项默认设置为“禁用”。 电池状态 指示 NVDIMM-N 电池是否已就绪。“电池状态”可以显示以下状态之一： ● 存在且已就绪 ● 存在且脱机 ● 不存在 以下设置适用于服务器中的每个 NVDIMM-N 表.
图 13: 系统 BIOS 设置屏幕 BIOS 错误消息 当 BIOS 在开机自测过程中检测到与 NVDIMM-N 相关的错误时，BIOS 会显示 F1/F2 提示符以及相应的错误信息。当检测到多个错误 时，将显示多条信息。BIOS 还将在服务器系统事件日志 (SEL) 和生命周期日志 (LCL) 中针对每个错误记录事件。有关每个与 NVDIMM-N 相关的故障的详情，请参考 JEDEC JESD245B 规格。NVDIMM-N [位置] 是内存插槽位置，如图 5 中所示。 UEFI0302* NVDIMM-N 未就绪或位于 [位置] 处的 NVDIMM-N 没有响应。 此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0302* 在位于 [位置] 处的 NVDIMM-N 上发生保存错误。 此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0302* 在位
此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0302 在位于 [位置] 处的 NVDIMM-N 上发生设置能源策略错误。 此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0302 在位于 [位置] 处的 NVDIMM-N 上发生固件操作错误。 此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0302* 在位于 [位置] 处的 NVDIMM-N 上发生永久性丢失错误。 此 NVDIMM-N 模块将设置为只读模式。断开系统输入电源，重新拔插 NVDIMM-N 模块，然后重新启动服务器。如果问题仍然存 在，则更换消息中标识的故障内存模块。 UEFI0303 [位置] 上的 NVDIMM-N 的寿命百分比 <= 5%。标识的 NV
6 iDRAC NVDIMM-N 管理 主题： • • • iDRAC 图形用户界面 远程管理 NVDIMM-N 错误报告 iDRAC 图形用户界面 下图显示了远程管理服务器时的 iDRAC Web GUI 仪表板。 图 14: iDRAC 图形用户界面 NVDIMM-N 状态 选择仪表板上的“内存”链接可获得有关内存运行状况的详情。 iDRAC NVDIMM-N 管理 23
图 15: NVDIMM-N 状态 注: 1. 所有 NVDIMM-N 错误将报告给操作系统并记录在服务器的系统事件日志中。NVDIMM-N 运行状况当前仅反映有关 NVDIMM-N 的“超出可纠正错误阈值”和“不可纠正错误”状态。其他错误也会报告给操作系统并进行记录，但不会反映在 iDRAC/OM NVDIMM-N 运行状况中。 2.
登录消息传送勘误表 以下勘误表会影响系统事件日志中的消息传送： ● 在生命周期控制器日志中记录 UEFI0340 时，系统事件日志和生命周期控制器日志中可能包含具有以下消息的条目：“出现不受 支持的事件”。此消息可忽略，应当会在未来的 iDRAC 版本中修复。 ● 在生命周期控制器日志中针对擦除错误记录 UEFI0302 时，系统事件日志和生命周期控制器日志中可能包含具有以下消息的条 目：“出现不受支持的事件”。此消息可忽略，应当会在未来的 iDRAC 版本中修复。 远程管理 当安装了 NVDIMM-N 的服务器关机时，该服务器将启动保存操作以将 NVDIMM-N DRAM 数据备份到其板载闪存。使用 16 GB NVDIMM-N 时，保存操作大约需要 1 分钟时间完成。在此过程中，该服务器将处于重置状态，任何来自 iDRAC 的远程开机请求将在 保存操作完成后按顺序执行。在执行 NVDIMM-N 保存时，远程开机请求可能无响应。 NVDIMM-N 错误报告 下表提供了可记录到服务器系统事件日志中的可能错误事件的列表。下表还提供了每个错误的建议操作。 表.
表.
7 安装 NVDIMM-N 后的服务器行为 在安装 NVDIMM-N 后，服务器的行为略有变化。本部分介绍了在服务器关机并引导时可观察到的差异，还将介绍服务器将自动关机 以确保将 NVDIMM-N DRAM 数据安全存储到闪存的情形。 主题： • • • 关机 引导 自动关机并保存 关机 为了使 NVDIMM-N 数据在服务器电源周期中存留，NVDIMM-N 必须将其 DRAM 数据保存到板载闪存。保存由将导致 NVDIMM-N 断 电的事件触发。在 MX7000 中，整个机箱在断电时关闭，并且至少有一个安装了 NVDIMM-N 的服务器处于开启状态，并且在断电时 仍配备。在保存过程中，服务器会保持对 NVDIMM-N 供电，而电池将用作备用电源，以防发生电源断电。服务器将保持在低功率重 置状态，服务器前控制面板上的电源按钮将每秒闪烁一次绿光，表明正在进行保存。使用 16 GB NVDIMM-N DIMM 时，保存操作大 约需要 1 分钟时间完成（对于 MX740c 和 MX840c 服务器为 140 秒）。 图 17: R740 控制面板 保存完成后，服务器将继续执行常规关闭序列。如果在进行保存的过
如果 BIOS 检测到任何问题，BIOS 将在屏幕上显示 F1/F2 错误消息，并以只读模式锁定 NVDIMM-N。操作系统现在仍能读取 NVDIMM-N 数据，但任何更改都将被丢弃。要将 NVDIMM-N 恢复到正常运行状态，用户必须纠正问题，然后重新引导服务器。有关 更多详细信息，请参阅 BIOS 错误消息 4.
8 DIMM 配置更改 Dell EMC 建议在对服务器内存配置进行任何更改之前，将 NVDIMM-N 数据内容备份到外部存储。这适用于 NVDIMM-N 和 RDIMM。 由于内存错误纠正 (ECC) 算法对于每个内存插槽和内存配置都是唯一的，因此 NVDIMM-N 在内存配置更改后可能会生成错误。如果 服务器 DIMM 配置更改，建议在使用之前擦除 NVDIMM-N 并在 BIOS 设置中重设为出厂默认设置。 在必须移动 DIMM（RDIMM 和 NVDIMM-N）或必须更换系统板的情况下，必须在与原始服务器中完全相同的插槽中重新填充所有 DIMM。唯一支持的迁移方案是在系统板之间更换插槽。Dell EMC 还建议相同的 BIOS NVDIMM 设置。 DIMM 配置更改 29
9 Windows 主题： • • • • • • BIOS 要求 设置 Windows 驱动程序 Windows Server 2016 中的存储级内存 Windows Server 2019 中的存储级内存 Windows 勘误 BIOS 要求 Windows 2016 和 2019 均要求最低 BIOS 版本为 1.6.
图 18: Windows NVDIMM-N root 设备和 NVDIMM-N 磁盘实例的设备管理器视图 识别正确的 NVDIMM-N 磁盘 设备管理器中的 Windows PowerShell 和 NVDIMM-N 磁盘属性 GUI 提供了可用于以独特方式识别物理 NVDIMM-N 模块的信息。 使用 PowerShell： 图 19: 识别正确的 NVDIMM-N 磁盘 每个 NVDIMM-N 的序列号都是唯一的，可以使用下表将 PowerShell 中的物理位置值映射到丝网层。 表.
表.
表. 12: DIMM 插槽位置 位置 DIMM 插槽位置 1 A7 17 A8 33 A9 49 A10 65 A11 81 A12 257 B7 273 B8 289 B9 305 B10 321 B11 337 B12 NVDIMM-N 的运行状况和属性 可以使用以下 PowerShell 命令查询 NVDIMM-N 的运行状况。 图 21: NVDIMM-N 的运行状况和属性 Windows 原生驱动程序可以处理不同的运行状况事件。有关不同运行状况的详情，请参阅 Windows 说明文件 (https:// docs.microsoft.
图 22: DAX 模式 存储空间支持 Windows Server 2016 支持 NVDIMM-N 设备，允许极快的输入/输出 (I/O) 操作。使用此类设备的一种有吸引力的方法是可实现较低 写入延迟的回写高速缓存。Microsoft 博客介绍了如何使用镜像的 NVDIMM-N 回写高速缓存将镜像存储空间设置为虚拟驱动器。要设 置 NVDIMM-N 上的存储空间配置，请参阅使用 NVDIMM-N 回写高速缓存配置存储空间。 运行和诊断记录信息 NVDIMM-N 总线驱动程序 scmbus.sys 将其日志写入到 Microsoft-Windows-Scmbus 提供程序。要查看日志，请打开事件查看器并导 航到 Applications and Services Logs（应用程序和服务日志）-> Microsoft -> Windows -> Scmbus NVDIMM-N 磁盘驱动程序 scmdisk0101.
Windows Server 2019 中的存储级内存 NVDIMM-N 固件要求 Windows Server 2019 要求 NVDIMM-N 设备支持标签，以便操作系统配置命名空间。NVDIMM-N 固件 8860 没有标签空间功能，并 且无法通过 Windows Server 2019 配置具有此固件的设备。 NVDIMM-N 固件必须更新为固件 9324 或更高版本，以便可成功配置设备并在 Windows Server 2019 中使用。 此外，建议您在计划的更新中更新 BIOS、iDRAC 和操作系统。 驱动程序体系结构概览 在 Windows Server 中有两种类型的设备对象，物理 NVDIMM 和逻辑永久性内存磁盘（物理驱动程序）。 在设备管理器中，物理 NVDIMM 显示在“内存设备”下，而逻辑磁盘在“永久性内存磁盘”下。 图 25: 设备管理器 所有 NVDIMM-N 设备均由 nvdimm.sys 驱动程序控制，而逻辑磁盘由 pmem.sys 驱动程序控制。两种类型的设备对象均由 scmbus.
图 26: 可用的 PMEM PowerShell Cmdlet 示例： 图 27: 列出 PMEM 未使用的区域、PMEM 物理设备和 PMEM 磁盘 36 Windows
图 28: 列出/移除 PMEM 磁盘 PowerShell Cmdlet #Get-PmemDisk ● 返回一个或多个逻辑永久性内存磁盘。 ● 返回的对象具有关于大小、原子类型、运行状态和基础物理设备的信息。 #Get-PmemPhysicalDevice ● 返回一个或多个物理永久性内存设备 (NVDIMM)。 ● 返回的对象包含关于大小、RFIC、设备位置以及运行状况/运行状态的信息。 #New-PmemDisk ● 从指定的未使用区域创建新磁盘。 ● 写出标签以创建命名空间，然后重建 SCM 堆栈以公开新的逻辑设备。 ● 可选参数： ○ FriendlyName 为永久性内存磁盘提供易于识别的名称。默认值为“PmemDisk” ○ AtomicityType 允许您设置 BTT。默认值为“无”。 #Remove-PmemDisk ● 删除给定的永久性内存磁盘。它接受 Get-PmemDisk 的输出。 ● 删除命名空间的标签，然后重建 SCM 堆栈以删除逻辑设备。 ● 需要用户确认，可使用 -Force 进行覆盖。 #Get-PmemUnusedRegion ● 返回可用于调配逻辑设备的聚合
● 需要用户确认，可使用 -Force 进行覆盖。 ● 此 cmdlet 旨在作为强力恢复机制。正常情况下建议不要使用此功能。 NVDIMM-N 交叉存取 WindowsServer 2019 支持 NVDIMM-N 交叉存取，可以在各种应用程序之间进一步增强系统性能。此选项可以通过 BIOS 设置菜单配 置。 在操作系统中，这将在该插槽中的多个物理设备上作为单个逻辑设备进行显示。如果两个插槽中均插入了 NVDIMM-N 模块，则应该 可以看到两个交叉存取的永久性内存磁盘（设备管理器中的每个插槽各一个）。 图 29: 在设备管理器中交叉存取的永久性内存磁盘 图 30: PowerShell 中的可见性 为 Hyper-V 虚拟机配置 NVDIMM-N 此处的文章用于为 Hyper-V VM 配置永久性内存设备的 Cmdlet 可提供关于使用兼容 JEDEC 的 NVDIMM-N 配置 Hyper-V VM 的详 情。 38 Windows
NVDIMM-N RO 行为 Windows Server 2019 按照设计，Windows Server 2019 管理 NVDIMM-N 的方式与 Windows Server 2016 不同。在 Windows Server 2016 中，如果处于读/写 模式的 NVDIMM-N 断电，它将进入只读模式。 但是，在 Windows Server 2019 中，如果处于读/写模式的 NVDIMM-N 断电，它将继续在读/写模式下运行。 同样，如果将 NVDIMM-N 模块强制为通过 BIOS 设置菜单或任何模块相关故障进行读取，则这些设备仍可在 Windows Server 2019 下 进行读/写访问。 要使 Windows Server 2019 管理 NVDIMM-N 的方式与 Windows Server 2016 RTM 相同，需要修改注册表项。 有关详细信息，请参阅 https://support.microsoft.
10 Linux NVDIMM-N 硬件在版本 7.3、7.4、7.5 和 7.6 版本的 RHEL 上受支持。 主题： 识别并配置 PMEM — 永久性内存设备 安装 验证现有文件系统 只读模式下的 NVDIMM-N 交叉存取 管理公用程序 RHEL 7.6 功能 Linux 勘误表 • • • • • • • • 识别并配置 PMEM — 永久性内存设备 当操作系统正在运行时，请验证 NVDIMM-N 是否正确填充。 进入 root 用户 $ su 识别 NVDIMM-N 是否显示为 /dev/pmem0, /dev/pmem1, ../dev/pmemN，其中 N 为自然数。 # ls /dev/pmem* 检查 /dev/pmem0 到 /dev/pmemN 的 NVDIMM-N 设备的大小 # lsblk 为所有 pmemN 设备创建 xfs 文件系统 # mkfs.
安装 通过 dd 命令将 RHEL ISO 转储到 USB 闪存盘。 # dd if=/home/dell/RHEL7.3.iso of=/dev/sdb bs=4M conv=noerror,sync BIOS 从 USB 引导 Linux 内核。 按照屏幕上的步骤完成 RHEL 安装。 完成安装后，重新引导服务器。 有关详细的安装说明，请参阅 https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/ Installation_Guide/index.
安装 RHEL 或启动操作系统（如果已安装） 当操作系统正在运行时， $ su CPU0 的 6 个 NVDIMM-N 显示为 /dev/pmem0，CPU1 的 6 个 NVDIMM-N 显示为 /dev/pmem1。 # ls /dev/pmem* 查看 /dev/pmem0 和 /dev/pmem1 的大小，每个应大约为 6*16 GB = 96 GB，因为每个 NVDIMM-N 为 16 GB。 # lsblk 为 /dev/pmem0 和/dev/pmem1 创建 xfs 文件系统 # mkfs.
装载 /dev/pmem0 和 /dev/pmem1 # mount -t xfs -o dax /dev/pmem0 /mnt/nvdimm0 要查看它在 /dev/pmem0 和 /dev/pmem1 上是否可写入 # touch /mnt/nvdimm0/write.txt # shutdown 管理公用程序 管理公用程序 ‘ndctl’ && mdadm 1. 按服务器上的“开机”按钮。 2. 请按照第 4 节中的指南设置 BIOS。 3. 启用“永久性内存”，禁用“NVDIMM 交叉存取”，禁用“NVDIMM 只读”。 4. 安装 RHEL 或启动操作系统（如果已安装）。 ndctl 安装 ndctl — 开发人员选项 当操作系统正在运行时，启用以太网并获取 IP 地址 $ $ $ $ $ $ # ifconfig –a git clone https://github.com/pmem/ndctl.git cd ndctl ./autogen.sh .
mdadm 在 NVDIMM-N 上创建软件 RAID。 假设有 6 个设备，/dev/pmem0.../dev/pmem5。 创建目录 /mnt/md0 /mnt/md1 /mnt/md2 /mnt/md5 /mnt/md6。 $ mkdir -p /mnt/md0 创建 RAID 0 $ mdadm --create --verbose /dev/md0 --level=0 --raid-devices=6 /dev/pmem0 /dev/pmem1 /dev/ pmem2 /dev/pmem3 /dev/pmem4 /dev/pmem5 $ cat /proc/mdstat $ mkfs.
● $ ndctl create-namespace 有关如何使用 ndctl 公用程序的详细信息，请参阅此处的用户指南 https://docs.pmem.io/ndctl-users-guide Linux 勘误表 以下勘误影响 RHEL 7.6： ● 可从此处 https://access.redhat.com/solutions/3920221 下载用于使 ndctl 公用程序正常工作的修补程序 ● 从 NVDIMM-N 固件版本 8860 更新到 9234 或更高版本后，Red Hat Enterprise Linux 7.6 或更高版本可能无法访问其 NVDIMM-N 内存模块上的数据。要恢复对数据的访问，请在 Red Hat Enterprise Linux 7.6 命令行界面中，登录根用户并运行以下 命令： 注: 确保已安装 RHEL 7.6 创建命名空间修补程序或更高版本。 1. 2. 3. 4. 5. 6. 7.
11 ESXi 主题： 设置 存储 受支持的来宾 OS 和 NVDIMM 支持 整体运行状况状态 运行和诊断记录信息 NVDIMM-N 错误 ESXi 勘误表 • • • • • • • 设置 从 ESXi 6.7 版开始，支持 NVDIMM-N 硬件。NVDIMM-N 设备将在启动时使用自动生成的命名空间进行检测。所有 NVDIMM-N 设备 将容量合并到一个单独的逻辑内存阵列，以通过 ESXi 虚拟机进行访问。 在 ESXi 6.7 U1 上现在支持 NVDIMM-N 硬件。特性和功能应与 ESXi 6.7 相同 固件要求： 表. 13: 固件要求 固件 最低要求版本 T640、R640、R740、R740XD、 R940 R840、R940xa MX740c、MX840c iDRAC 3.15.15.15 3.19.19.19 3.20.20.20 BIOS 1.3.7 1.1.1 1.0.0 NVDIMM-N 9324 9324 9324 请在 support.dell.
ID 与主机系统中的物理 NVDIMM-N 之间的转换关系如下所示。 表.
图 32: 交叉存取已禁用时的交叉存取集 如果在 BIOS F2 设置程序中已启用交叉存取，则总的 NVDIMM-N 容量将根据 CPU 插槽分割为池。将显示两个交叉存取集的总容 量，并且 CPU 插槽的汇总容量将作为一个交叉存取集显示。 图 33: 交叉存取已启用时的交叉存取集 数据存储 这是数据存储区域，其中包含关于 ESXi 和永久性内存数据存储可访问的传统存储的信息。 注: ESXi 在系统中检测到 NVDIMM-N 后，将在第一次系统引导时创建 PMEM 数据存储。此数据存储此时是固定的，如果在之后 添加其他 NVDIMM-N 模块，将无法进一步扩展。 要扩展数据存储区，请执行以下操作： 1. 2. 3. 4. 5.
图 34: 数据存储 受支持的来宾 OS 和 NVDIMM 支持 ● ● ● ● ● ● ● Windows Server 2016 Build 14393 和更高版本 Windows 10 周年更新版 1607 和更高版本 RedHat Enterprise Linux 7.4 和更高版本 SUSE Linux Enterprise 12 SP2 和更高版本 Photon OS 1.0 Revision 2 和更高版本 CentOS 7.4 和更高版本 Ubuntu 17.04 和更高版本 整体运行状况状态 NVDIMM-N 模块的运行状况状态在 ESXi 界面中“模块和命名空间”部分的表格列中显示。请按照下表所示执行更正操作。 冗余表： 表. 15: NVDIMM-N 模块的运行状况状态 状态 操作 正常 无 所需维护 请查看 ESXi、SEL 和生命周期日志，了解故障排除 NVDIMM-N 状态的说明。 如果电源丢失则所有数据丢失 1. 请勿关闭系统。尽快将数据从 NVDIMM-N 迁移到另一个位置。 2.
过时的固件 ESXi 需要 NVDIMM-N 模块具有最低 9324 固件映像。如果它们具有较旧的固件，则无法正确运行。 如果内存上出现过时的固件（低于 9324），则系统将引导至 ESX Hypervisor 并且 DIMM 将在 UI 中可见。不会填充命名空间并且 DIMM 无法安装到 VM 来宾 OS。由于较低版本的固件不受支持，则不会测试整体运行状况状态、地址范围清理和 UI 错误报告等其他 错误行为并且无法正确运行，直到 DIMM 固件更新到最新版本。 尽管不受支持，但存储->模块和存储->交叉存取集似乎会显示正确信息。 混合使用 9324 和 8860 FW 版本的 NVDIMM 时，在 Web GUI 中，9324 版本的 NVDIMM 将显示为“Normal”（正常），8860 FW 版 本的 NVDIMM 则显示为“Maintenance Needed”（需要维护）。 当 NVDIMM-N 固件更新失败时，DIMM 将不使用备份固件运行。对于在 2017 和 2018 年发货的 NVDIMM-N 模块，此备份固件预计 为版本 8860。除非 NVDIMM 更新到版本 9324，否则将无法在
图 37: NVDIMM-N 错误 如果出现以下错误，则参阅下表，以了解 ESXi Web Client 上显示的整体运行状况状态消息： 表.
12 一般勘误 NVDIMM-N 不支持 14G 产品上的 PPR，并且可纠正的错误日志记录代码不区分 RDIMM 和 NVDIMM-N。因此，将显示错误消息 "MEM0802 -The memory health monitor feature has detected a degradation in the DIMM installed in DIMM.
