Mémoire permanente Dell EMC NVDIMM-N Guide de l’utilisateur February 2021 Rév.
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre produit. PRÉCAUTION : ATTENTION vous avertit d’un risque de dommage matériel ou de perte de données et vous indique comment éviter le problème. AVERTISSEMENT : un AVERTISSEMENT signale un risque d’endommagement du matériel, de blessure corporelle, voire de décès. © 2017 - 2021 Dell Inc. ou ses filiales. Tous droits réservés.
Table des matières Chapitre 1: Introduction.................................................................................................................. 5 Chapitre 2: Liste des modifications.................................................................................................. 6 Chapitre 3: Présentation des barrettes NVDIMM-N............................................................................7 Fonctionnement normal......................................................................
Mode blocs..................................................................................................................................................................... 36 Mode accès direct (DAX).............................................................................................................................................36 Support d’espaces de stockage...................................................................................................................................
1 Introduction La mémoire persistante NVDIMM-N a été conçue par Dell EMC avec une nouvelle technologie de mémoire de classe stockage qui permet des performances bien supérieures aux technologies de stockage antérieures. Chaque barrette NVDIMM-N comporte 16 Go de mémoire rémanente dans le même format compact qu’une barrette DIMM DDR4 standard à 288 broches. La barrette NVDIMM-N est insérée dans un logement de mémoire processeur standard, les données sont ainsi proches du processeur.
2 Liste des modifications Tableau 2. Liste des modifications Version Modifications A00 Version d’origine A01 Ajout d’informations sur la prise en charge de l’outil ESXi 6.7. Retrait d’errata Linux obsolètes. Permet de modifier le reste du document pour plus de clarté. A02 Ajout d’informations spécifiques au serveur modulaire, prise en charge de R840, R940xa, modifications apportées au fonctionnement des voyants de la batterie de secours (BBU) et modification du reste du document pour plus de clarté.
3 Présentation des barrettes NVDIMM-N La figure ci-dessous représente les principaux composants et les interfaces système d’une barrette NVDIMM-N. Les unités DRAM DDR4 sont essentielles dans la barrette NVDIMM-N car elles lui permettent de fonctionner comme une mémoire RDIMM. Les composants qui permettent à la barrette NVDIMM-N de conserver les données sont : le contrôleur, la mémoire Flash et les régulateurs de tension d’alimentation qui sont également intégrés à la barrette DIMM. Figure 1.
Figure 2. Fonctionnement normal des barrettes NVDIMM-N Sauvegarde sur mémoire Flash En cas d’arrêt du serveur, de redémarrage à froid ou d’une coupure de courant, le signal Save (Enregistrement) est envoyé au contrôleur NVDIMM-N, lequel déclenche la sauvegarde de tout le contenu DRAM sur la mémoire Flash intégrée. L’événement d’enregistrement des données NVDIMM-N est déclenché chaque fois que le serveur est sur le point de s’arrêter et qu’une coupure de courant de la mémoire NVDIMM-N est imminente.
Restauration à partir de la mémoire Flash Lors du démarrage du serveur, le BIOS réinitialise la mémoire DRAM de la barrette NVDIMM-N. Le BIOS commande au contrôleur NVDIMM-N, via l’interface de gestion SMBus, de restaurer le contenu de la mémoire DRAM sur la mémoire Flash. La restauration dure environ une minute. Cette durée ne dépend pas du nombre de barrettes NVDIMM-N installées sur le serveur car la restauration se fait en parallèle sur l’ensemble des barrettes NVDIMM-N.
4 Matériel Sujets : • • • • • Configuration matérielle du serveur Configuration matérielle d’un châssis modulaire Informations sur les modules NVDIMM-N Batterie Versions minimales du firmware selon la plate-forme Configuration matérielle du serveur Les modules NVDIMM-N sont actuellement pris en charge par les serveurs PowerEdge T640, R640, R740/R740XD, R840, R940, R940xa, MX740c et MX840c.
Tableau 3.
Tableau 3.
Tableau 4.
Tableau 4.
● Capteur de température I2C intégré avec EEPROM SPD intégrée Figure 7. NVDIMM-N Tableau 5.
Tableau 6.
Figure 9. Instructions d’installation de la batterie R740 REMARQUE : L’emplacement de la batterie peut varier selon le serveur. Consultez le guide d’installation et de maintenance du serveur pour obtenir des instructions. Versions minimales du firmware selon la plate-forme Pour que les modules NVDIMM-N soient fonctionnels sur des serveurs PowerEdge, les versions minimales du firmware de la plate-forme sont les suivantes : ● BIOS : 1.1.7 ● iDRAC : 3.00.00.
5 BIOS Sujets : • • Paramètres de configuration des barrettes NVDIMM-N dans le BIOS Messages d’erreur du BIOS Paramètres de configuration des barrettes NVDIMM-N dans le BIOS Cette section décrit les options de configuration du BIOS relatives au fonctionnement des barrettes NVDIMM-N. Pour obtenir la description de toutes les options de configuration, consultez le guide d’installation et de maintenance du serveur.
Figure 11. Paramètres de mémoire Entrelacement de nœuds Spécifie si l’architecture de mémoire non uniforme (NUMA) est prise en charge. Si ce champ est réglé sur Activé, l’entrelacement de mémoire est pris en charge si une configuration de mémoire symétrique est installée. Si le champ est réglé sur Désactivé, le système prend en charge les configurations de mémoire NUMA (asymétrique). Par défaut, cette option est définie sur Désactivé.
Figure 12. Écran Persistent Memory (Mémoire permanente) Le tableau suivant décrit les options disponibles dans l’écran de configuration du BIOS. Tableau 7. Écran de configuration du BIOS Option Description Entrelacement de nœuds Spécifie si l’architecture de mémoire non uniforme (NUMA) est prise en charge. Si ce champ est réglé sur Activé, l’entrelacement de mémoire est pris en charge si une configuration de mémoire symétrique est installée.
Tableau 7. Écran de configuration du BIOS (suite) Option Description NVDIMM-N Permet de réinitialiser les barrettes NVDIMM-N sur les valeurs d’usine par défaut et d’effacer leurs données. Si l’option est définie sur Activer, toutes les données du module NVDIMM-N sont perdues. Cette option n’efface pas les informations d’intégrité des barrettes NVDIMM, et elle doit être utilisée pour supprimer les données des barrettes NVDIMM-N et/ou les réaffecter.
Figure 13. Écran des paramètres du BIOS du système Messages d’erreur du BIOS Lorsque le BIOS détecte une erreur liée à la mémoire NVDIMM-N durant l’auto-test de démarrage POST, il affiche une invite F1/F2 et le message d’erreur correspondant. Plusieurs messages s’affichent si plusieurs erreurs sont détectées. Le BIOS consigne également un événement pour chaque erreur dans le journal système du serveur (SEL) et dans le journal LifeCycle (LCL).
Ce module NVDIMM-N sera défini sur le mode Lecture seule. Coupez l’alimentation du système, réinstallez le module NVDIMM-N, puis redémarrez le serveur. Si le problème persiste, remplacez le module de mémoire défectueux identifié dans le message. UEFI0302 Erreur de configuration des règles d’alimentation électrique sur le module NVDIMM-N situé dans [emplacement] Ce module NVDIMM-N sera défini sur le mode Lecture seule.
6 Gestion de barrettes NVDIMM-N dans l’iDRAC Sujets : • • • Interface graphique de l’iDRAC Gestion à distance Consignation des erreurs liées à la mémoire NVDIMM-N Interface graphique de l’iDRAC L’image ci-dessous représente le tableau de bord de l’interface graphique Web de l’iDRAC dans le cas de la gestion à distance du serveur. Figure 14.
Figure 15. État de la mémoire NVDIMM-N REMARQUE : 1. Toutes les erreurs relatives à la mémoire NVDIMM-N sont signalées au système d’exploitation et consignées dans le journal des événements système. Actuellement, l’état d’intégrité de la mémoire NVDIMM-N indique uniquement les informations suivantes : Correctable Error Threshold Exceeded (Erreur corrigible de dépassement de seuil) et Uncorrectable Error status on the NVDIMMN (Erreur non corrigible sur la barrette NVDIMM-N).
Figure 16. État de la batterie de secours (BBU) Correctif d’erreurs des messages du journal Les correctifs d’erreurs suivants ont une incidence sur les messages du journal d’événements système : ● Si UEFI0340 est journalisé dans le journal Lifecycle Controller, le journal des événements système et les journaux Lifecycle Controller peuvent contenir des entrées avec un message indiquant qu’un événement non pris en charge s’est produit.
Tableau 10. Consignation des erreurs liées à la mémoire NVDIMM-N (suite) ID (Nº) Message d’événement Action recommandée des modules NVDIMM, voir le manuel du propriétaire du système sur le site de support technique. MEM9030 Le module NVDIMM dans le logement [emplacement] ne répond pas, et il est désactivé. Retirez et réinstallez le périphérique NVDIMM (Non-Volatile Dual In-line Memory Module). Si le problème persiste, contactez votre prestataire de services.
Tableau 10. Consignation des erreurs liées à la mémoire NVDIMM-N (suite) ID (Nº) Message d’événement Action recommandée l’alimentation nécessaire à l’enregistrement des données en cas de coupure de courant. Consultez la documentation pour obtenir des détails sur la façon d’afficher le journal. MEM9037 Le module NVDIMM dans le logement [emplacement] a atteint la fin de sa durée de vie, elle est placée en mode protection en écriture.
7 Fonctionnement du serveur avec des barrettes NVDIMM-N Le fonctionnement du serveur varie légèrement lorsque des barrettes NVDIMM-N sont installées. Cette section décrit les différences qui peuvent être observées lors de l’arrêt et du démarrage du serveur. Cette section décrit également les scénarios où l’arrêt du serveur est automatiquement exécuté pour assurer la sauvegarde des données DRAM de la barrette NVDIMM-N sur la mémoire flash.
Boot (Amorçage) Durant le démarrage, le BIOS du serveur restaure les données DRAM du module NVDIMM-N à partir de la mémoire Flash intégrée. Le BIOS vérifie que la batterie NVDIMM-N est installée et qu’elle est suffisamment chargée pour permettre un enregistrement en cas de coupure de courant. Le BIOS vérifie également que les blocs d’alimentation du serveur sont installés et que leur capacité est suffisante pour la configuration du serveur.
8 Modifications de la configuration DIMM Dell EMC recommande de sauvegarder les données de la mémoire NVDIMM-N sur un dispositif de stockage externe avant de modifier la configuration de la mémoire du serveur. Cela s’applique à la fois aux modules NVDIMM-N et RDIMM. Comme les algorithmes de correction d’erreur mémoire (ECC) sont uniques pour chaque logement et configuration de mémoire, les modules NVDIMM-N peuvent générer des erreurs après la modification de la configuration de la mémoire.
9 Windows Sujets : • • • • • • Configuration requise du BIOS Configuration Pilotes Windows Mémoire de classe stockage dans Windows Server 2016 Mémoire de classe stockage dans Windows Server 2019 Correctif d’erreur Windows Configuration requise du BIOS Windows 2016 et 2019 nécessitent au moins la version BIOS 1.6.13 pour que les modules NVDIMM-N puissent être utilisés sans problème.
Gestionnaire de périphériques L’image ci-dessous représente les instances de l’unité racine NVDIMM-N et des disques NVDIMM-N dans le gestionnaire de périphériques Windows Server 2016. Figure 18. Instances de l’unité racine NVDIMM-N et des disques NVDIMM-N dans le gestionnaire de périphériques Windows.
Tableau 11.
Figure 20. Dans l’interface graphique du gestionnaire de périphériques Les informations d’emplacement ci-dessus peuvent être converties en numéro d’emplacement physique à l’aide du tableau suivant Tableau 12.
Tableau 12. Emplacement des logements DIMM (suite) Emplacement Emplacement du logement DIMM 337 B12 État d’intégrité et propriétés des barrettes NVDIMM-N La commande PowerShell suivante permet d’obtenir l’état d’intégrité des barrettes NVDIMM-N. Figure 21. État d’intégrité et propriétés des barrettes NVDIMM-N Le pilote natif Windows peut gérer différents événements d’intégrité. Pour plus d’informations sur les différents états d’intégrité, voir la documentation Windows (https://docs.microsoft.
Support d’espaces de stockage Windows Server 2016 prend en charge les modules NVDIMM-N qui permettent l’exécution extrêmement rapide des opérations d’E/S (entrée/sortie). Ces modules peuvent servir par exemple de mémoire cache à écriture différée pour obtenir des temps de latence très faibles pour l’écriture. Le blog Microsoft explique comment configurer un espace de stockage en miroir en utilisant une mémoire cache NVDIMM-N à écriture différée mise en miroir sous forme de disque virtuel.
Présentation de l’architecture des pilotes Deux types d’objets physiques sont associés à la mémoire permanente dans Windows Server : les modules de mémoire NVDIMM et les disques de mémoire permanente logique sur la partie supérieure du pilote physique. Dans le gestionnaire de périphériques, les modules NVDIMM physiques s’affichent dans la liste des dispositifs de mémoire, tandis que les disques logiques s’affichent dans la liste des disques de mémoire permanente. Figure 25.
Figure 27. Liste des régions non utilisées de PMEM, des dispositifs PMEM physiques et des disques PMEM Figure 28.
Applets de commande PowerShell #Get-PmemDisk ● Renvoie un ou plusieurs disques de mémoire permanente logique. ● L’objet renvoyé contient des informations sur la taille, le type d’atomicité, l’état d’intégrité et les appareils physiques sous-jacents. #Get-PmemPhysicalDevice ● Renvoie un ou plusieurs appareils de mémoire permanente physique (NVDIMM). ● L’objet renvoyé contient des informations sur la taille, le circuit RFIC, l’emplacement de l’appareil et l’état d’intégrité/opérationnel.
Figure 30. Visibilité dans PowerShell Configuration de NVDIMM-N pour les machines Hyper-V L’article référencé ici, les applets de commande pour la configuration des périphériques de mémoire permanente pour les machines virtuelles Hyper-V, fournit des détails sur la configuration des machines virtuelles Hyper-V avec la mémoire NVDIMM-N compatible avec JEDEC.
● Lors de la création d’un espace de nommage dans Windows serveur 2019 (WS2019), le message enregistré suivant s’affiche "The driver for persistent memory disk encounters internal error". L’erreur est attendue et peut se produire au cours du test du périphérique de mémoire de classe stockage (SCM). Cela signifie que l’espace de nommage est créé et on considère qu’il fonctionne comme prévu pour WS2019. Solution de contournement : aucune.
10 Linux Le matériel NVDIMM-N est pris en charge dans les versions 7,3, 7,4, 7,5 et 7,6 de RHEL. Sujets : • • • • • • • • Identifier et configurer une unité de mémoire permanente (PMEM) Installation Vérifier le système de fichiers existant NVDIMM-N en mode lecture seule Entrelacement Utilitaire de gestion Caractéristiques de RHEL version 7.
Installation Sauvegardez l’image ISO de RHEL sur la clé USB en utilisant la commande dd # dd if=/home/dell/RHEL7.3.iso of=/dev/sdb bs=4M conv=noerror,sync Le BIOS démarre le noyau Linux à partir de la clé USB. Suivez les indications à l’écran pour terminer l’installation de RHEL. À la fin de l’installation, redémarrez le serveur. Pour obtenir les instructions d’installation détaillées, voir https://access.redhat.com/documentation/en-US/ Red_Hat_Enterprise_Linux/7/html/Installation_Guide/index.
Installez RHEL ou démarrez le système d’exploitation s’il est déjà installé. Lorsque le système d’exploitation est en cours d’exécution, $ su Le module NVDIMM-N 6 dans le logement CPU0 s’affiche sous la forme /dev/pmem0, le module NVDIMM-N 6 dans le logement CPU1 s’affiche sous la forme /dev/pmem1. # ls /dev/pmem* Consultez la taille de la mémoire /dev/pmem0 et /dev/pmem1, chacune doit être de 6*16 Go = 96 Go, car la capacité de chaque module NVDIMM-N est de 16 Go.
Lorsque le système d’exploitation est en cours d’exécution : $ su Montez /dev/pmem0 et /dev/pmem1 # mount -t xfs -o dax /dev/pmem0 /mnt/nvdimm0 Pour déterminer si la mémoire est accessible en écriture sur /dev/pmem0 et /dev/pmem1 # touch /mnt/nvdimm0/write.txt # shutdown Utilitaire de gestion Utilitaires de gestion ndctl et mdadm 1. Appuyez sur le bouton de mise sous tension du serveur. 2. Suivez la procédure de la section 4 pour configurer le BIOS. 3.
mdadm Créer un RAID logiciel sur des barrettes NVDIMM-N Par exemple, vous avez 6 unités, /dev/pmem0 à /dev/pmem5. Créez les répertoires /mnt/md0 /mnt/md1 /mnt/md2 /mnt/md5 /mnt/md6. $ mkdir -p /mnt/md0 Créez le volume RAID 0 $ mdadm --create --verbose /dev/md0 --level=0 --raid-devices=6 /dev/pmem0 /dev/pmem1 /dev/ pmem2 /dev/pmem3 /dev/pmem4 /dev/pmem5 $ cat /proc/mdstat $ mkfs.
Exécutez la commande ci-dessous pour créer des espaces de nommage. Cette commande, si elle est utilisée par défaut, crée des unités /dev/pmem. Afin de créer des espaces de nommage dans d’autres modes, consultez le lien https://www.mankier.com/1/ndctlCreate-namespace Cette commande doit être exécutée autant de fois que le nombre de modules NVDIMM-N connectés au système.
11 ESXi Sujets : • • • • • • • Configuration Stockage Systèmes d’exploitation invités pris en charge avec prise en charge NVDIMM État d’intégrité globale Informations de journalisation des opérations et des diagnostics Erreurs NVDIMM-N Correctif d’erreur ESXi Configuration A partir de la version ESXi 6.7, le matériel NVDIMM-N est pris en charge. Les modules NVDIMM-N sont détectés au démarrage avec des espaces de nommage générés automatiquement.
NVDIMM-N de façon unique, dans le cas où les informations sont requises pour résoudre des problèmes. La colonne suivante indique l’espace disponible et doit mentionner « 0 B » pour tous les appareils NVDIMM-N entièrement mappés et fonctionnant correctement. L’intégrité doit indiquer Normal. Une explication détaillée de la section Intégrité est disponible dans la section « État d’intégrité globale » ci-dessous. La traduction d’un ID en NVDIMM-N physique dans un système hôte est visible ci-dessous.
Ensembles d’entrelacements Si l’entrelacement est Désactivé dans les paramètres du BIOS F2, chaque appareil NVDIMM-N se trouvera dans un ensemble d’entrelacements individuel, comme montré dans l’interface graphique ci-dessous. Figure 32. Ensembles d’entrelacements lorsque l’entrelacement est Désactivé Si l’entrelacement est Activé dans les paramètres du BIOS F2, la capacité totale de NVDIMM-N sera divisée en pools en fonction du support du processeur.
Figure 34. Banques de données Systèmes d’exploitation invités pris en charge avec prise en charge NVDIMM ● ● ● ● ● ● ● Windows Server 2016 Build 14393 et version ultérieure Windows 10 version Mise à jour anniversaire 1607 et version ultérieure RedHat Enterprise Linux 7.4 et version ultérieure SUSE Linux Enterprise 12 SP2 et version ultérieure Système d’exploitation Photons 1.0 Revision 2 et version ultérieure CentOS 7.4 et version ultérieure Ubuntu 17.
Informations de journalisation des opérations et des diagnostics ESXi dispose de nombreux journaux pour diagnostiquer le comportement système dans la section « Surveillance » de l’interface utilisateur. Vous pouvez aussi créer une offre de support complet ici afin de regrouper tous les journaux en un simple lien de téléchargement. Micrologiciels obsolètes ESXi nécessite des modules NVDIMM-N avec une image micrologicielle 9324 minimum.
Erreurs NVDIMM-N Dans la plupart des cas où les modules NVDIMM-N rencontrent une erreur, le comportement au niveau du système mettra le « mauvais » module NVDIMM-N dans un état Lecture seule. De fait, toutes les machines virtuelles mappées à TOUT module NVDIMM-N ne pourront pas démarrer, y compris les machines virtuelles qui ne sont pas mappées au « mauvais » module NVDIMM-N.
12 Errata généraux NVDIMM-N ne prend pas en charge PPR sur les produits 14G et le code de consignation des erreurs corrigeables ne fait pas la distinction entre RDIMM et NVDIMM-N. Par conséquent, le message d’erreur "MEM0802 -The memory health monitor feature has detected a degradation in the DIMM installed in DIMM.
