Mémoire permanente Dell EMC NVDIMM-N Guide de l’utilisateur Dec 2020 Rév.
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre produit. PRÉCAUTION : ATTENTION vous avertit d’un risque de dommage matériel ou de perte de données et vous indique comment éviter le problème. AVERTISSEMENT : un AVERTISSEMENT signale un risque d’endommagement du matériel, de blessure corporelle, voire de décès. © 2017 - 2020 Dell Inc. ou ses filiales. Tous droits réservés.
Table des matières Chapitre 1: Introduction.................................................................................................................. 5 Chapitre 2: Liste des modifications.................................................................................................. 6 Chapitre 3: Présentation des barrettes NVDIMM-N............................................................................7 Fonctionnement normal......................................................................
Mode blocs..................................................................................................................................................................... 36 Mode accès direct (DAX).............................................................................................................................................36 Support d’espaces de stockage...................................................................................................................................
1 Introduction La mémoire persistante NVDIMM-N a été conçue par Dell EMC avec une nouvelle technologie de mémoire de classe stockage qui permet des performances bien supérieures aux technologies de stockage antérieures. Chaque barrette NVDIMM-N comporte 16 Go de mémoire rémanente dans le même format compact qu’une barrette DIMM DDR4 standard à 288 broches. La barrette NVDIMM-N est insérée dans un logement de mémoire processeur standard, les données sont ainsi proches du processeur.
2 Liste des modifications Tableau 2. Liste des modifications Version Modifications A00 Version d’origine A01 Ajout d’informations sur la prise en charge de l’outil ESXi 6.7. Retrait d’errata Linux obsolètes. Permet de modifier le reste du document pour plus de clarté. A02 Ajout d’informations spécifiques au serveur modulaire, prise en charge de R840, R940xa, modifications apportées au fonctionnement des voyants de la batterie de secours (BBU) et modification du reste du document pour plus de clarté.
3 Présentation des barrettes NVDIMM-N La figure ci-dessous représente les principaux composants et les interfaces système d’une barrette NVDIMM-N. Les unités DRAM DDR4 sont essentielles dans la barrette NVDIMM-N car elles lui permettent de fonctionner comme une mémoire RDIMM. Les composants qui permettent à la barrette NVDIMM-N de conserver les données sont : le contrôleur, la mémoire Flash et les régulateurs de tension d’alimentation qui sont également intégrés à la barrette DIMM. Figure 1.
Figure 2. Fonctionnement normal des barrettes NVDIMM-N Sauvegarde sur mémoire Flash En cas d’arrêt du serveur, de redémarrage à froid ou d’une coupure de courant, le signal Save (Enregistrement) est envoyé au contrôleur NVDIMM-N, lequel déclenche la sauvegarde de tout le contenu DRAM sur la mémoire Flash intégrée. L’événement d’enregistrement des données NVDIMM-N est déclenché chaque fois que le serveur est sur le point de s’arrêter et qu’une coupure de courant de la mémoire NVDIMM-N est imminente.
Restauration à partir de la mémoire Flash Lors du démarrage du serveur, le BIOS réinitialise la mémoire DRAM de la barrette NVDIMM-N. Le BIOS commande au contrôleur NVDIMM-N, via l’interface de gestion SMBus, de restaurer le contenu de la mémoire DRAM sur la mémoire Flash. La restauration dure environ une minute. Cette durée ne dépend pas du nombre de barrettes NVDIMM-N installées sur le serveur car la restauration se fait en parallèle sur l’ensemble des barrettes NVDIMM-N.
4 Matériel Sujets : • • • • • Configuration matérielle du serveur Configuration matérielle d’un châssis modulaire Informations sur les modules NVDIMM-N Batterie Versions minimales du firmware selon la plate-forme Configuration matérielle du serveur Les modules NVDIMM-N sont actuellement pris en charge par les serveurs PowerEdge T640, R640, R740/R740XD, R840, R940, R940xa, MX740c et MX840c.
Tableau 3.
Tableau 3.
Tableau 4.
Tableau 4.
● Surveillance de l’intégrité du système et alertes ● Capteur de température I2C intégré avec EEPROM SPD intégrée Figure 7. NVDIMM-N Tableau 5.
Tableau 6.
Figure 9. Instructions d’installation de la batterie R740 REMARQUE : L’emplacement de la batterie peut varier selon le serveur. Consultez le guide d’installation et de maintenance du serveur pour obtenir des instructions. Versions minimales du firmware selon la plate-forme Pour que les modules NVDIMM-N soient fonctionnels sur des serveurs PowerEdge, les versions minimales du firmware de la plate-forme sont les suivantes : ● BIOS : 1.1.7 ● iDRAC : 3.00.00.
5 BIOS Sujets : • • Paramètres de configuration des barrettes NVDIMM-N dans le BIOS Messages d’erreur du BIOS Paramètres de configuration des barrettes NVDIMM-N dans le BIOS Cette section décrit les options de configuration du BIOS relatives au fonctionnement des barrettes NVDIMM-N. Pour obtenir la description de toutes les options de configuration, consultez le guide d’installation et de maintenance du serveur.
Figure 11. Paramètres de mémoire Entrelacement de nœuds Spécifie si l’architecture de mémoire non uniforme (NUMA) est prise en charge. Si ce champ est réglé sur Activé, l’entrelacement de mémoire est pris en charge si une configuration de mémoire symétrique est installée. Si le champ est réglé sur Désactivé, le système prend en charge les configurations de mémoire NUMA (asymétrique). Par défaut, cette option est définie sur Désactivé.
Figure 12. Écran Persistent Memory (Mémoire permanente) Le tableau suivant décrit les options disponibles dans l’écran de configuration du BIOS. Tableau 7. Écran de configuration du BIOS Option Description Entrelacement de nœuds Spécifie si l’architecture de mémoire non uniforme (NUMA) est prise en charge. Si ce champ est réglé sur Activé, l’entrelacement de mémoire est pris en charge si une configuration de mémoire symétrique est installée.
Tableau 7. Écran de configuration du BIOS (suite) Option Description NVDIMM-N Permet de réinitialiser les barrettes NVDIMM-N sur les valeurs d’usine par défaut et d’effacer leurs données. Si l’option est définie sur Activer, toutes les données du module NVDIMM-N sont perdues. Cette option n’efface pas les informations d’intégrité des barrettes NVDIMM, et elle doit être utilisée pour supprimer les données des barrettes NVDIMM-N et/ou les réaffecter.
Figure 13. Écran des paramètres du BIOS du système Messages d’erreur du BIOS Lorsque le BIOS détecte une erreur liée à la mémoire NVDIMM-N durant l’auto-test de démarrage POST, il affiche une invite F1/F2 et le message d’erreur correspondant. Plusieurs messages s’affichent si plusieurs erreurs sont détectées. Le BIOS consigne également un événement pour chaque erreur dans le journal système du serveur (SEL) et dans le journal LifeCycle (LCL).
Ce module NVDIMM-N sera défini sur le mode Lecture seule. Coupez l’alimentation du système, réinstallez le module NVDIMM-N, puis redémarrez le serveur. Si le problème persiste, remplacez le module de mémoire défectueux identifié dans le message. UEFI0302 Erreur de configuration des règles d’alimentation électrique sur le module NVDIMM-N situé dans [emplacement] Ce module NVDIMM-N sera défini sur le mode Lecture seule.
6 Gestion de barrettes NVDIMM-N dans l’iDRAC Sujets : • • • Interface graphique de l’iDRAC Gestion à distance Consignation des erreurs liées à la mémoire NVDIMM-N Interface graphique de l’iDRAC L’image ci-dessous représente le tableau de bord de l’interface graphique Web de l’iDRAC dans le cas de la gestion à distance du serveur. Figure 14.
Figure 15. État de la mémoire NVDIMM-N REMARQUE : 1. Toutes les erreurs relatives à la mémoire NVDIMM-N sont signalées au système d’exploitation et consignées dans le journal des événements système. Actuellement, l’état d’intégrité de la mémoire NVDIMM-N indique uniquement les informations suivantes : Correctable Error Threshold Exceeded (Erreur corrigible de dépassement de seuil) et Uncorrectable Error status on the NVDIMMN (Erreur non corrigible sur la barrette NVDIMM-N).
Figure 16. État de la batterie de secours (BBU) Correctif d’erreurs des messages du journal Les correctifs d’erreurs suivants ont une incidence sur les messages du journal d’événements système : ● Si UEFI0340 est journalisé dans le journal Lifecycle Controller, le journal des événements système et les journaux Lifecycle Controller peuvent contenir des entrées avec un message indiquant qu’un événement non pris en charge s’est produit.
Tableau 10. Consignation des erreurs liées à la mémoire NVDIMM-N (suite) ID (Nº) Message d’événement Action recommandée plus d’informations sur l’utilisation des modules NVDIMM, voir le manuel du propriétaire du système sur le site de support technique. MEM9030 Le module NVDIMM dans le logement [emplacement] ne répond pas, et il est désactivé. Retirez et réinstallez le périphérique NVDIMM (Non-Volatile Dual In-line Memory Module). Si le problème persiste, contactez votre prestataire de services.
Tableau 10. Consignation des erreurs liées à la mémoire NVDIMM-N (suite) ID (Nº) Message d’événement Action recommandée l’alimentation nécessaire à l’enregistrement des données en cas de coupure de courant. Consultez la documentation pour obtenir des détails sur la façon d’afficher le journal. MEM9037 Le module NVDIMM dans le logement [emplacement] a atteint la fin de sa durée de vie, elle est placée en mode protection en écriture.
7 Fonctionnement du serveur avec des barrettes NVDIMM-N Le fonctionnement du serveur varie légèrement lorsque des barrettes NVDIMM-N sont installées. Cette section décrit les différences qui peuvent être observées lors de l’arrêt et du démarrage du serveur. Cette section décrit également les scénarios où l’arrêt du serveur est automatiquement exécuté pour assurer la sauvegarde des données DRAM de la barrette NVDIMM-N sur la mémoire flash.
Boot (Amorçage) Durant le démarrage, le BIOS du serveur restaure les données DRAM du module NVDIMM-N à partir de la mémoire Flash intégrée. Le BIOS vérifie que la batterie NVDIMM-N est installée et qu’elle est suffisamment chargée pour permettre un enregistrement en cas de coupure de courant. Le BIOS vérifie également que les blocs d’alimentation du serveur sont installés et que leur capacité est suffisante pour la configuration du serveur.
8 Modifications de la configuration DIMM Dell EMC recommande de sauvegarder les données de la mémoire NVDIMM-N sur un dispositif de stockage externe avant de modifier la configuration de la mémoire du serveur. Cela s’applique à la fois aux modules NVDIMM-N et RDIMM. Comme les algorithmes de correction d’erreur mémoire (ECC) sont uniques pour chaque logement et configuration de mémoire, les modules NVDIMM-N peuvent générer des erreurs après la modification de la configuration de la mémoire.
9 Windows Sujets : • • • • • • Configuration requise du BIOS Configuration Pilotes Windows Mémoire de classe stockage dans Windows Server 2016 Mémoire de classe stockage dans Windows Server 2019 Correctif d’erreur Windows Configuration requise du BIOS Windows 2016 et 2019 nécessitent au moins la version BIOS 1.6.13 pour que les modules NVDIMM-N puissent être utilisés sans problème.
Gestionnaire de périphériques L’image ci-dessous représente les instances de l’unité racine NVDIMM-N et des disques NVDIMM-N dans le gestionnaire de périphériques Windows Server 2016. Figure 18. Instances de l’unité racine NVDIMM-N et des disques NVDIMM-N dans le gestionnaire de périphériques Windows.
Tableau 11.
Figure 20. Dans l’interface graphique du gestionnaire de périphériques Les informations d’emplacement ci-dessus peuvent être converties en numéro d’emplacement physique à l’aide du tableau suivant Tableau 12.
Tableau 12. Emplacement des logements DIMM (suite) Emplacement Emplacement du logement DIMM 337 B12 État d’intégrité et propriétés des barrettes NVDIMM-N La commande PowerShell suivante permet d’obtenir l’état d’intégrité des barrettes NVDIMM-N. Figure 21. État d’intégrité et propriétés des barrettes NVDIMM-N Le pilote natif Windows peut gérer différents événements d’intégrité. Pour plus d’informations sur les différents états d’intégrité, voir la documentation Windows (https://docs.microsoft.
Support d’espaces de stockage Windows Server 2016 prend en charge les modules NVDIMM-N qui permettent l’exécution extrêmement rapide des opérations d’E/S (entrée/sortie). Ces modules peuvent servir par exemple de mémoire cache à écriture différée pour obtenir des temps de latence très faibles pour l’écriture. Le blog Microsoft explique comment configurer un espace de stockage en miroir en utilisant une mémoire cache NVDIMM-N à écriture différée mise en miroir sous forme de disque virtuel.
Présentation de l’architecture des pilotes Deux types d’objets physiques sont associés à la mémoire permanente dans Windows Server : les modules de mémoire NVDIMM et les disques de mémoire permanente logique sur la partie supérieure du pilote physique. Dans le gestionnaire de périphériques, les modules NVDIMM physiques s’affichent dans la liste des dispositifs de mémoire, tandis que les disques logiques s’affichent dans la liste des disques de mémoire permanente. Figure 25.
Figure 27. Liste des régions non utilisées de PMEM, des dispositifs PMEM physiques et des disques PMEM Figure 28.
Applets de commande PowerShell #Get-PmemDisk ● Renvoie un ou plusieurs disques de mémoire permanente logique. ● L’objet renvoyé contient des informations sur la taille, le type d’atomicité, l’état d’intégrité et les appareils physiques sous-jacents. #Get-PmemPhysicalDevice ● Renvoie un ou plusieurs appareils de mémoire permanente physique (NVDIMM). ● L’objet renvoyé contient des informations sur la taille, le circuit RFIC, l’emplacement de l’appareil et l’état d’intégrité/opérationnel.
Figure 29. Disque de mémoire permanente entrelacé dans le Gestionnaire de périphériques Figure 30. Visibilité dans PowerShell Configuration de NVDIMM-N pour les machines Hyper-V L’article référencé ici, les applets de commande pour la configuration des périphériques de mémoire permanente pour les machines virtuelles Hyper-V, fournit des détails sur la configuration des machines virtuelles Hyper-V avec la mémoire NVDIMM-N compatible avec JEDEC.
De même, si les modules NVDIMM-N doivent être lus uniquement par le biais du menu de configuration du BIOS ou par le biais de défaillances liées aux modules, ces dispositifs restent accessibles en lecture/écriture sous Windows Server 2019. Pour gérer la mémoire NVDIMM-N avec Windows Server 2019 comme avec Windows Server 2016 RTM, une entrée de registre doit être modifiée. Pour plus d’informations, consultez https://support.Microsoft.
10 Linux Le matériel NVDIMM-N est pris en charge dans les versions 7,3, 7,4, 7,5 et 7,6 de RHEL. Sujets : • • • • • • • • Identifier et configurer une unité de mémoire permanente (PMEM) Installation Vérifier le système de fichiers existant NVDIMM-N en mode lecture seule Entrelacement Utilitaire de gestion Caractéristiques de RHEL version 7.
Installation Sauvegardez l’image ISO de RHEL sur la clé USB en utilisant la commande dd # dd if=/home/dell/RHEL7.3.iso of=/dev/sdb bs=4M conv=noerror,sync Le BIOS démarre le noyau Linux à partir de la clé USB. Suivez les indications à l’écran pour terminer l’installation de RHEL. À la fin de l’installation, redémarrez le serveur. Pour obtenir les instructions d’installation détaillées, voir https://access.redhat.com/documentation/en-US/ Red_Hat_Enterprise_Linux/7/html/Installation_Guide/index.
Installez RHEL ou démarrez le système d’exploitation s’il est déjà installé. Lorsque le système d’exploitation est en cours d’exécution, $ su Le module NVDIMM-N 6 dans le logement CPU0 s’affiche sous la forme /dev/pmem0, le module NVDIMM-N 6 dans le logement CPU1 s’affiche sous la forme /dev/pmem1. # ls /dev/pmem* Consultez la taille de la mémoire /dev/pmem0 et /dev/pmem1, chacune doit être de 6*16 Go = 96 Go, car la capacité de chaque module NVDIMM-N est de 16 Go.
Lorsque le système d’exploitation est en cours d’exécution : $ su Montez /dev/pmem0 et /dev/pmem1 # mount -t xfs -o dax /dev/pmem0 /mnt/nvdimm0 Pour déterminer si la mémoire est accessible en écriture sur /dev/pmem0 et /dev/pmem1 # touch /mnt/nvdimm0/write.txt # shutdown Utilitaire de gestion Utilitaires de gestion ndctl et mdadm 1. 2. 3. 4. Appuyez sur le bouton de mise sous tension du serveur. Suivez la procédure de la section 4 pour configurer le BIOS.
mdadm Créer un RAID logiciel sur des barrettes NVDIMM-N Par exemple, vous avez 6 unités, /dev/pmem0 à /dev/pmem5. Créez les répertoires /mnt/md0 /mnt/md1 /mnt/md2 /mnt/md5 /mnt/md6. $ mkdir -p /mnt/md0 Créez le volume RAID 0 $ mdadm --create --verbose /dev/md0 --level=0 --raid-devices=6 /dev/pmem0 /dev/pmem1 /dev/ pmem2 /dev/pmem3 /dev/pmem4 /dev/pmem5 $ cat /proc/mdstat $ mkfs.
Exécutez la commande ci-dessous pour créer des espaces de nommage. Cette commande, si elle est utilisée par défaut, crée des unités /dev/pmem. Afin de créer des espaces de nommage dans d’autres modes, consultez le lien https://www.mankier.com/1/ndctlCreate-namespace Cette commande doit être exécutée autant de fois que le nombre de modules NVDIMM-N connectés au système.
11 ESXi Sujets : • • • • • • • Configuration Stockage Systèmes d’exploitation invités pris en charge avec prise en charge NVDIMM État d’intégrité globale Informations de journalisation des opérations et des diagnostics Erreurs NVDIMM-N Correctif d’erreur ESXi Configuration A partir de la version ESXi 6.7, le matériel NVDIMM-N est pris en charge. Les modules NVDIMM-N sont détectés au démarrage avec des espaces de nommage générés automatiquement.
Stockage Modules L’image ci-dessous montre comment les appareils NVDIMM-N apparaîtront dans l’onglet Persistent Memory (Mémoire persistante), sous l’en-tête Storage (Stockage) dans la barre de menu gauche. La première colonne représente un ID permettant d’identifier l’appareil NVDIMM-N de façon unique, dans le cas où les informations sont requises pour résoudre des problèmes.
Figure 31. Namespaces (Espaces de noms) Ensembles d’entrelacements Si l’entrelacement est Désactivé dans les paramètres du BIOS F2, chaque appareil NVDIMM-N se trouvera dans un ensemble d’entrelacements individuel, comme montré dans l’interface graphique ci-dessous. Figure 32. Ensembles d’entrelacements lorsque l’entrelacement est Désactivé Si l’entrelacement est Activé dans les paramètres du BIOS F2, la capacité totale de NVDIMM-N sera divisée en pools en fonction du support du processeur.
Magasin de données Ce magasin de données comprend des informations sur le stockage traditionnel accessible par ESXi et le magasin de données de la mémoire permanente. REMARQUE : Le magasin de données PMEM est créé lors du premier démarrage système, une fois que les modules NVDIMM-N ont été détectés dans un système par ESXi. Ce magasin de données est fixé à ce moment là et ne sera pas étendu si des modules NVDIMM-N supplémentaires sont ajoutés ultérieurement. Pour développer le magasin de données : 1. 2. 3.
Tableau 15. État d’intégrité des modules NVDIMM-N État Action Normal Aucun Maintenance nécessaire Consultez ESXi, les journaux d’événements système et de cycle de vie pour obtenir les instructions à suivre pour résoudre les problèmes d’état des modules NVDIMM-N. Perte de toutes les données en cas de coupure de courant 1. N’éteignez pas le système. Migrez les données du module NVDIMM-N vers un autre emplacement dès que possible. 2.
Les espaces de noms NVDIMM ne sont pas créés lorsque les appareils NVDIMM-N exécutent des révisions du micrologiciel 8860. Figure 36. Espaces de noms NVDIMM Erreurs NVDIMM-N Dans la plupart des cas où les modules NVDIMM-N rencontrent une erreur, le comportement au niveau du système mettra le « mauvais » module NVDIMM-N dans un état Lecture seule.
Tableau 16. Message d’état d’intégrité globale affiché sur ESXi Web Client (suite) État Errors (Erreurs) Batterie du module NVDIMM-N défectueuse lors de l’exécution du système d’exploitation Perte de toutes les données Batterie du module NVDIMM-N défectueuse - démarrage pré- Maintenance nécessaire SE Tous les messages ci-dessus sont aussi accompagnés de messages équivalents dans le journal d’événements système et Lifecycle Controller, comme décrit dans les sections 5 et 6 de ce guide d’utilisation.
12 Errata généraux NVDIMM-N ne prend pas en charge PPR sur les produits 14G et le code de consignation des erreurs corrigeables ne fait pas la distinction entre RDIMM et NVDIMM-N. Par conséquent, le message d’erreur "MEM0802 -The memory health monitor feature has detected a degradation in the DIMM installed in DIMM.
