Dell EMC NVDIMM-N 영구 메모리 User Guide(사용 설명서) Dec 2020 개정 A10
참고, 주의 및 경고 노트: 참고"는 제품을 보다 효율적으로 사용하는 데 도움이 되는 중요 정보를 제공합니다. 주의: 주의사항은 하드웨어의 손상 또는 데이터 유실 위험을 설명하며, 이러한 문제를 방지할 수 있는 방법을 알려줍니다. 경고: 경고는 재산 손실, 신체적 상해 또는 사망 위험이 있음을 알려줍니다. © 2017 - 2020 Dell Inc. or its subsidiaries. All rights reserved. Dell, EMC 및 기타 상표는 Dell Inc. 또는 그 자회사의 상표입니다. 다른 상표는 해당 소유자 의 상표일 수 있습니다.
목차 장 1: 소개........................................................................................................................................ 5 장 2: 변경 목록................................................................................................................................ 6 장 3: NVDIMM-N 개요...................................................................................................................... 7 정상 작동................................................................................
블록 모드........................................................................................................................................................................36 DAX 모드........................................................................................................................................................................ 36 스토리지 공간 지원....................................................................................................................................................
1 소개 DellEMC의 NVDIMM-N 지속성 메모리는 레거시 스토리지 기술보다 전례 없는 성능 개선을 실현한 중단적 스토리지 클래스 메모리 기 술입니다. 각 NVDIMM-N은 16GB의 비휘발성 메모리를 제공하고 표준 288핀 DDR4 DIMM과 폼팩터가 동일합니다. NVDIMM-N은 표 준 CPU 메모리 슬롯에 상주하면서 프로세서와 가깝게 데이터를 배치합니다. 2666MT/s DDR4 데이터 전송률로 작동할 수 있는 NVDIMM-N은 메모리 버스에 특징적인 고대역폭과 매우 낮은 지연을 충분히 활용합니다. 비교를 위해 아래 표는 DDR4에 대한 대략적 인 데이터 액세스 시간을 다른 서버 스토리지 매체와 비교하여 제공하고 있습니다. 표 1.
2 변경 목록 표 2. 변경 목록 버전 변경 사항 A00 원래 버전 A01 ESXi 6.7 지원 정보가 추가됨. 더 이상 적용되지 않는 Linux 오류가 제거됨. 명확성을 위해 문서의 나머지 부분 편집. A02 모듈형 서버 특정 정보, R840, R940xa에 대한 지원, BBU LED 동작 변경 및 명확성을 위한 문서의 나머지 부분의 편집이 추가됨. NVDIMM-N은 RHEL 7.5에서 지원됨 A03 최소 지원 플랫폼 펌웨어 버전 추가 Windows 2019, RHEL 7.6 및 ESXi 6.7 U1에 대한 지원. Windows 2019 새로운 기능 및 NVDIMM-N RO 동작 RHEL 7.
3 NVDIMM-N 개요 아래 그림은 기본 구성 요소 및 시스템 인터페이스를 보여 주는 NVDIMM-N에 대한 개요입니다. NVDIMM-N의 핵심은 NVDIMM-N이 RDIMM으로 작동할 수 있게 해주는 DDR4 DRAM 장치입니다. NVDIMM-N의 데이터 지속성을 지원하는 구성 요소는 컨트롤러, 플래시 그리고 DIMM에도 통합되어 있는 전압 조정기입니다. 그림 1 . NVDIMM-N 개요 주제: • • • 정상 작동 플래시로 백업 플래시에서 복원 정상 작동 NVDIMM-N이 서버 메모리 슬롯에 설치되어 있습니다. 하드웨어 관점에서 NVDIMM-N은 프로세서에 표준 DDR4 RDIMM으로 나타납 니다. BIOS POST 중에 초기화되며 CPU는 표준 DDR4 메모리 로드/저장 트랜잭션을 사용하여 NVDIMM-N의 DRAM 데이터에 액세스 할 수 있습니다.
그림 2 . NVDIMM-N 정상 작동 플래시로 백업 서버 종료, 콜드 재부팅 또는 정전 발생 시 저장 신호가 NVDIMM-N 컨트롤러로 전송되면 DRAM의 모든 콘텐츠를 온보드 플래시 스토 리지로 백업하도록 NVDIMM-N 컨트롤러를 트리거합니다. NVDIMM-N 저장 이벤트는 서버의 전원이 꺼지려고 하거나 NVDIMM-N의 정전이 임박할 때마다 트리거됩니다. 백업 프로세스를 완료하는 데 대략 1분이 소요됩니다. 저장이 모든 NVDIMM-N에서 병렬적으로 발생하므로 이 기간은 서버에 설치된 NVDIMM-N의 개수와는 독립적입니다. 배터리는 정전 후에도 백업 작업이 완료될 수 있도록 NVDIMM-N에 백업 전원을 제공합니다. 저장 작업이 완료되면 배터리는 비활성 화되어 서버와 NVDIMM-N이 완전히 전원을 종료할 수 있습니다. 그림 3 .
플래시에서 복원 서버 전원 켜기 시 BIOS는 NVDIMM-N에서 DRAM을 다시 초기화합니다. BIOS는 NVDIMM-N 컨트롤러에 SMBus 관리 인터페이스를 사용하여 플래시에서 DRAM 콘텐츠를 복원하도록 명령합니다. 복원 프로세스를 완료하는 데 대략 1분이 소요됩니다. 복원이 모든 NVDIMM-N에서 병렬적으로 발생하므로 이 기간은 서버에 설치된 NVDIMM-N의 개수와는 독립적입니다. 그런 다음, BIOS는 NVDIMM-N을 Server OS에 지속성 메모리로 표시합니다. 지속성 메모리는 정상적인 OS 작동에 필요한 시스템 메모리와는 구분됩니 다. 지속성 메모리의 OS 지원에 대한 자세한 내용은 해당 OS 섹션을 참조하십시오. 그림 4 .
4 하드웨어 주제: 서버 하드웨어 구성 모듈형 섀시 하드웨어 구성 NVDIMM-N 모듈 세부 정보 배터리 최소 플랫폼 펌웨어 버전 • • • • • 서버 하드웨어 구성 NVDIMM-N은 현재 T640, R640, R740/R740XD, R840, R940, R940xa, MX740c 및 MX840c PowerEdge 서버에서 지원됩니다. 각 서버 는 192GB의 총 최대 영구 메모리 용량으로 1개에서 최대 12개의 16GB NVDIMM-N을 지원합니다. 아래 표 1은 유효성이 검증되었으며 2소켓 서버 구성에 대해 완전히 지원되는 NVDIMM-N 구성을 제공합니다. R840, R940, R940xa 및 MX840c PowerEdge 서버에서 4소 켓 구성의 경우, NVDIMM-N은 CPU 1 및 CPU 2 메모리 슬롯에서만 지원됩니다. 아래의 표 2에서는 유효성이 검증되었으며 R840, R940, R940xa 및 MX840c 4소켓 구성에서 완전히 지원되는 NVDIMM-N 구성을 제공합니다.
표 3.
그림 6 . MX740c 메모리 레이아웃 표 4.
표 4.
2. 다른 구성에서 작동할 수 있지만, 완전히 유효성이 검증되지 않았으며 DellEMC에서 현재 지원되지 않습니다. 모듈형 섀시 하드웨어 구성 MX7000 모듈형 섀시는 현재 NVDIMM-N: MX740c(2소켓) 및 MX840c(4소켓)를 지원하는 두 개의 서로 다른 서버를 제공합니다. 전원 공급 중단 상태를 탐지하기 위해 섀시에는 최소한 하나의 관리 모듈이 설치되어 있어야 합니다. NVDIMM-N 지원에 대한 요구 사항은 아니지만, 이중 관리 모듈은 NVDIMM-N 솔루션에 추가적인 이중화와 견고성을 제공합니다. 사용자가 NVDIMM-N이 장착된 서버에서 섀시를 작동하고 관리 모듈 펌웨어 업데이트를 수행하면 섀시에 2개의 관리 모듈을 장착하 는 것이 좋습니다. 섀시에 단일 관리 모듈이 있는 경우 관리 모듈 업그레이드 중에 서버의 NVDIMM-N이 읽기 전용 모드로 전환될 수 있습니다.
배터리 DRAM에서 플래시로 콘텐츠를 복사하기 위해 백업용 전원을 제공하려면 배터리가 필요합니다. JEDEC 기반 NVDIMM-N가 백업용 전 원으로 Super CAP을 활용할 수 있지만, DellEMC의 배터리는 더 콤팩트하고 안정적이며 통합된 전원을 제공하는 중앙 집중식 전원 솔 루션입니다. 전원 공급이 시스템 보드에 통합되어 있으며 Super CAP 기반 솔루션에 일반적인 각 NVDIMM-N에 개별 케이블이 필요하 지 않습니다. 정전을 처음 탐지했을 때, 서버는 배터리를 활성화하고 NVDIMM-N이 DRAM 콘텐츠를 플래시에 저장하도록 트리거합니다. T640, R640, R740/R740XD, R840, R940 및 R940xa 서버에서 저장 프로세스가 완료되는 데 약 1분이 소요되며 MX740c 및 MX840c 서버에 서는 140초가 소요됩니다. 이 시간 동안에는 백업을 위한 전원을 공급하는 데 배터리가 필요합니다.
그림 8 . R740/R740XD 시스템 보드 연결 노트: 각 서버의 커넥터 위치는 서로 다릅니다. 자세한 내용은 특정 서버의 설치 및 서비스 매뉴얼을 참조하십시오. 그림 9 . R740 배터리 설치 지침 노트: 배터리 설치 위치는 서버마다 다릅니다. 자세한 내용은 특정 서버의 설치 및 서비스 매뉴얼을 참조하십시오.
최소 플랫폼 펌웨어 버전 PowerEdge 서버에서 NVDIMM-N 모듈이 작동하려면 최소 플랫폼 펌웨어 버전이 다음과 같아야 합니다. ● BIOS: 1.1.7 ● iDRAC: 3.00.00.00 노트: 특정 운영 체제에는 특정 최소 버전의 BIOS, NVDIMM-N 및/또는 iDRAC 펌웨어가 필요합니다. 자세한 내용은 운영 체제의 개별 섹션을 참조하십시오.
5 BIOS 주제: • • NVDIMM-N에 대한 BIOS 구성 설정 BIOS 오류 메시지 NVDIMM-N에 대한 BIOS 구성 설정 이 섹션에서는 NVDIMM-N 작업에 영향을 미치는 BIOS 설정 옵션에 대해서만 중점적으로 다룹니다. 모든 설정 옵션에 대한 설명은 각 서버의 설치 및 서비스 매뉴얼을 참조하십시오. 영구 메모리 BIOS 설정은 BIOS 시스템 설정으로 이동하여 구성 가능합니다. 아래의 BIOS 화면에서 F2 키를 눌러 BIOS 시스템 설정으로 들어갑니다. 그림 10 . BIOS 화면 다음 옵션을 보려면 System BIOS > Memory Settings을 선택합니다.
그림 11 . 메모리 설정 Node Interleaving NUMA(Non-Uniform Memory Architecture) 지원 여부를 지정합니다. 이 필드를 Enabled로 설정하는 경우 대칭 메모리 구성이 설치되어 있으면 메모리 인터리빙이 지원됩니다. Disabled로 설정된 경우 시스템에서 NUMA(비대칭)메모리 구성을 지원합니다. 이 옵션은 기본적으로 Disabled로 설정됩니다. NVDMM-N이 시스템 에 있는 경우에는 노드 인터리빙이 지원되지 않습니다. 경고: Persistent Memory Interleaving이 Persistent Memory System Setup 페이지에서 활성화되어 있는 경우 노드 인터리빙 설정은 Persistent Memory Interleaving에도 적용됩니다. Persistent Memory를 선택하여 NVDIMM-N 설정 옵션을 구성합니다.
그림 12 . Persistent Memory(영구 메모리) 화면 다음 표는 BIOS Setup(BIOS 설정) 화면에서 사용 가능한 각 옵션에 대해 설명합니다. 표 7. BIOS Setup(BIOS 설정) 화면 옵션 설명 Node Interleaving NUMA(Non-Uniform Memory Architecture) 지원 여부를 지정합니다. 이 필드를 Enabled로 설정하는 경우 대칭 메모리 구성이 설치되어 있으면 메모리 인터리빙이 지원됩니다. Disabled로 설정된 경우 시스템에서 NUMA(비대칭)메모리 구성을 지원합니다. 이 옵션은 기본적으로 Disabled로 설정됩니 다. NVDMM-N이 시스템에 있는 경우에는 노드 인터리빙이 지원되지 않습니다.
표 7. BIOS Setup(BIOS 설정) 화면 (계속) 옵션 설명 NVDIMM-N NVDIMM-N에서 인터리빙을 활성화하거나 비활성화합니다 활성화로 설정된 경우 NVDIMM-N 인터 리빙은 RDIMM에 적용되는 것과 같은 인터리빙 정책을 따릅니다. 휘발성 RDIMM 인터리빙 정책은 이 옵션의 영향을 받지 않습니다. RDIMM 시스템 메모리 및 NVDIMM-N 영구 메모리는 2개의 별도 메모리 영역으로 유지됩니다. Interleave 기본적으로 이 옵션은 비활성화로 설정됩니다. Battery Status NVDIMM-N 배터리의 대기 상태를 나타냅니다. Battery Status(배터리 상태)는 다음 상태 중 하나 를 표시할 수 있습니다. ● Present-Ready(있음-대기) ● Present-Offline(있음-오프라인) ● Not-Present(없음) 다음 설정은 서버에 있는 각 NVDIMM-N에 적용 가능합니다. 표 8.
그림 13 . 시스템 BIOS 설정 화면 BIOS 오류 메시지 BIOS가 POST 중에 NVDIMM-N 관련 오류를 탐지하면 BIOS는 F1/F2 프롬프트와 해당 오류 메시지를 표시합니다. 여러 개의 오류가 탐지되면 여러 개의 메시지가 나타납니다. 또한, BIOS는 서버 시스템 이벤트 로그(SEL) 및 라이프 사이클 로그(LCL)에서 각 오류에 대한 이벤트를 로깅합니다. 각 NVDIMM-N 관련 오류에 대한 자세한 내용은 JEDEC JESD245B 사양을 참조하십시오. NVDIMM-N [위 치]는 그림 5와 같은 메모리 슬롯 위치입니다. UEFI0302* NVDIMM-N 준비 안 됨 또는 [위치]에 있는 NVDIMM-N에서 응답 안 함 이 NVDIMM-N 모듈은 읽기 전용 모드로 설정됩니다. 시스템에 대한 입력 전원을 제거하고 NVDIMM-N 모듈을 재장착하며 서버를 재 시작합니다. 문제가 계속되면 메시지에서 확인된 오류가 있는 메모리 모듈을 교체하십시오.
이 NVDIMM-N 모듈은 읽기 전용 모드로 설정됩니다. 시스템에 대한 입력 전원을 제거하고 NVDIMM-N 모듈을 재장착하며 서버를 재 시작합니다. 문제가 계속되면 메시지에서 확인된 오류가 있는 메모리 모듈을 교체하십시오. UEFI0302 [위치]에 있는 NVDIMM-N에서 에너지 소스 정책 설정 오류. 이 NVDIMM-N 모듈은 읽기 전용 모드로 설정됩니다. 시스템에 대한 입력 전원을 제거하고 NVDIMM-N 모듈을 재장착하며 서버를 재 시작합니다. 문제가 계속되면 메시지에서 확인된 오류가 있는 메모리 모듈을 교체하십시오. UEFI0302 [위치]에 있는 NVDIMM-N에서 펌웨어 작동 오류. 이 NVDIMM-N 모듈은 읽기 전용 모드로 설정됩니다. 시스템에 대한 입력 전원을 제거하고 NVDIMM-N 모듈을 재장착하며 서버를 재 시작합니다. 문제가 계속되면 메시지에서 확인된 오류가 있는 메모리 모듈을 교체하십시오. UEFI0302* [위치]에 있는 NVDIMM-N에서 지속성 손실 오류.
6 iDRAC NVDIMM-N 관리 주제: • • • iDRAC 그래픽 사용자 인터페이스 원격 관리 NVDIMM-N 오류 보고 iDRAC 그래픽 사용자 인터페이스 아래 그림은 원격으로 서버 관리 시 iDRAC 웹 GUI 대시보드를 보여줍니다. 그림 14 . iDRAC 그래픽 사용자 인터페이스 NVDIMM-N 상태 메모리 상태에 대한 자세한 정보를 확인하려면 대시보드의 메모리 링크를 선택하십시오.
그림 15 . NVDIMM-N 상태 노트: 1. 모든 NVDIMM-N 오류는 OS로 보고되고 서버의 시스템 이벤트 로그에 로깅됩니다. NVDIMM-N 상태는 NVDIMM-N에서 Correctable Error Threshold Exceeded(임계값을 초과한 수정 가능한 오류)와 Uncorrectable Error(수정할 수 없는 오류) 상태만 반영합니다. 다른 오류가 OS로 보고되어 로깅되지만, iDRAC/OM NVDIMM-N 상태에는 반영되지 않습니다. 2. NVDIMM-N DIMM은 메모리 세부 정보 페이지에서 DDR4 16GB 단일 랭크 2666 DIMM으로 현재 보고되어 있습니다. DellEMC 표준 DDR4 16GB RDIMM은 DDR4 16GB 이중 랭크 2666 DIMM으로 보고되어 있습니다. BBU 상태 NVDIMM-N 배터리 상태에 대한 자세한 정보를 확인하려면 대시보드의 배터리 링크를 선택하십시오.
로그 메시지 오류 다음 오류는 시스템 이벤트 로그의 메시지에 영향을 미칩니다. ● UEFI0340이 Lifecycle Controller 로그에 기록되면 시스템 이벤트 로그 및 Lifecycle Controller 로그에 "지원되지 않는 이벤트가 발생 했습니다."라는 메시지를 포함하는 항목이 있을 수 있습니다. 이 메시지는 무시해도 괜찮고 향후 iDRAC 릴리스에서 수정됩니다. ● UEFI0302가 Lifecycle Controller 로그의 지우기 오류에 대해 기록되면 시스템 이벤트 로그 및 Lifecycle Controller 로그에 "지원되지 않는 이벤트가 발생했습니다."라는 메시지를 포함하는 항목이 있을 수 있습니다. 이 메시지는 무시해도 괜찮고 향후 iDRAC 릴리 스에서 수정됩니다. 원격 관리 NVDIMM-N이 설치된 서버의 전원이 꺼지면 서버는 NVDIMM-N DRAM 데이터를 온보드 플래시로 백업하기 위해 저장을 시작합니다.
표 10. NVDIMM-N 오류 보고 (계속) ID 이벤트 메시지 권장 작업 MEM9034 슬롯 [위치]의 NVDIMM(Non-Volatile Dual NVDIMM(Non-Volatile Dual In-line Memory In-line Memory Module) 디바이스가 응답하 Module) 디바이스를 분리하고 다시 설치합 지 않습니다. 니다. 문제가 지속되면 서비스 공급업체에 문의하십시오. NVDIMM 제거 및 재설치 방 법에 대한 자세한 내용은 지원 사이트의 시스템 소유자 매뉴얼을 참조하십시오. MEM9035 NVDIMM의 문제로 인해 정전 중에 데이터 를 저장하도록 슬롯 [위치]의 NVDIMM(Non-Volatile Dual In-line Memory Module) 디바이스를 구성할 수 없습니다. NVDIMM(Non-Volatile Dual In-line Memory Module) 디바이스를 분리하고 다시 설치합 니다. 문제가 지속되면 서비스 공급업체에 문의하십시오.
표 10. NVDIMM-N 오류 보고 (계속) 이벤트 메시지 ID 권장 작업 방법에 대한 자세한 내용은 지원 사이트의 시스템 소유자 매뉴얼을 참조하십시오.
7 NVDIMM-N의 서버 동작 NVDIMM-N이 설치되어 있는 경우 서버 동작이 약간 변경됩니다. 이 섹션에서는 서버 종료 및 부팅 시 관찰할 수 있는 차이에 대해 다 루며, NVDIMM-N DRAM 데이터가 플래시로 안전하게 저장될 수 있도록 서버가 자동 종료되는 시나리오에 대해서도 설명합니다. 주제: • • • 종료 Boot(부팅) 자동 종료 및 저장 종료 NVDIMM-N 데이터가 서버 전원 주기 전체에 걸쳐 유지되도록 하기 위해 NVDIMM-N은 DRAM 데이터를 보드 플래시에 저장해야 합 니다. 저장은 NVDIMM-N 정전을 유발할 수 있는 이벤트에 의해 트리거됩니다. MX7000에서 전원 공급이 중단될 경우 전체 섀시가 종 료되며 전원 공급 중단이 발생하면 최소한 하나의 NVDIMM-N 서버 전원이 켜지고 준비됩니다. 저장 중에 서버는 NVDIMM-N에 대한 전원 공급을 유지하며 정전 시 백업 전원 공급을 위해 배터리가 사용됩니다.
BIOS가 문제를 탐지하면 BIOS에서는 화면에 F1/F2 오류 메시지를 표시하고 NVDIMM-N을 읽기 전용 모드로 잠급니다. 이때 OS에서 여전히 NVDIMM-N 데이터를 읽을 수 있지만, 변경 사항은 무시됩니다. NVDIMM-N을 정상 운영으로 복원하려면 사용자는 이 문제를 해결하고 서버를 재부팅해야 합니다. 자세한 내용은 BIOS 오류 메시지 섹션, 4.2 BIOS 오류 메시지를 참조하십시오. 자동 종료 및 저장 DellEMC의 NVDIMM-N 영구 메모리 솔루션의 기본 목표는 고객 데이터를 보호하는 것입니다. 데이터 보호의 핵심 요소는 서버의 전 원 공급 장치입니다. PSU는 저장 프로세스를 시작하고 서버가 NVDIMM-N 백업 배터리로 전환할 수 있는 충분한 보유 전원이 있어야 합니다. 디바이스 추가/제거 또는 PSU 오류로 인해 서버 하드웨어 구성이 변경될 경우 서버 전원 할당 재평가가 발생합니다.
8 DIMM 구성 변경 Dell EMC는 서버 메모리 구성에 어떠한 변경 사항을 적용하기 전에 NVDIMM-N 데이터 콘텐츠를 외장형 스토리지에 백업할 것을 권 장하며, NVDIMM-N과 RDIMM에 모두 적용됩니다. 각 메모리 슬롯과 메모리 구성에 고유한 메모리 오류 수정(ECC) 알고리즘으로 인 해 NVDIMM-N은 메모리 구성 변경 후 오류가 발생할 수 있습니다. 서버 DIMM 구성이 변경될 경우, Dell EMC는 활용 전에 BIOS 설정 에서 NVDIMM-N을 삭제하고 공장 기본값으로 재설정하도록 권장합니다. DIMM(RDIMM 및 NVDIMM-N 모두)을 이동하거나 시스템 보드를 교체해야 하는 경우, 모든 DIMM을 원래 서버와 동일한 슬롯에 다시 장착해야 합니다. 지원되는 유일한 마이그레이션 시나리오는 시스템 보드 간 슬롯 대 슬롯 교체입니다. 또한, Dell EMC는 BIOS NVDIMM 설정이 동일할 것을 권장합니다.
9 Windows 주제: • • • • • • BIOS 요구 사항 설정 Windows 드라이버 Windows Server 2016의 스토리지 클래스 메모리 Windows Server 2019의 스토리지 클래스 메모리 Windows 오류 BIOS 요구 사항 Windows 2016 및 2019 모두에서 NVDIMM-N 모듈이 문제없이 사용될 수 있으려면 BIOS 버전이 최소한 1.6.13이어야 합니다. 설정 Windows Server 2016 및 2019는 메모리 버스에 있는 성능이 뛰어나고 낮은 레이턴시의 NVDIMM-N 디바이스에 대한 애플리케이션과 서비스 액세스를 허용하는 NVDIMM-N을 기본적으로 지원합니다. BIOS 설정에서, NVDIMM-N 디바이스를 연결하는 경우 기본 BIOS 설정이기도 한 영구 메모리 설정을 활성화합니다.
디바이스 관리자 아래 그림에서는 Windows Server 2016에서 Windows 디바이스 관리자에서 NVDIMM-N 루트 디바이스 및 NVDIMM-N 디스크 인스턴 스의 모습에 대해 설명합니다. 그림 18 . Windows 디바이스 관리자에서 NVDIMM-N 루트 디바이스 및 NVDIMM-N 디스크 인스턴스의 모습 오른쪽 NVDIMM-N 디스크 식별 장치 관리자의 Windows PowerShell 및 NVDIMM-N 디스크 속성 GUI는 물리적 NVDIMM-N 모듈을 고유하게 식별하기 위해 사용할 수 있는 정보를 제공합니다. PowerShell 사용: 그림 19 . 오른쪽 NVDIMM-N 디스크 식별 모든 NVDIMM-N의 일련 번호는 고유하며 PowerShell에서 물리적 위치 값은 다음 표를 사용하여 실크 화면에 매핑할 수 있습니다.
표 11.
그림 20 . 장치 관리자 GUI 사용 위의 위치 정보는 다음 표를 사용하여 물리적 실크 화면으로 변환할 수 있습니다. 표 12.
표 12. DIMM 슬롯 위치 (계속) 위치 DIMM 슬롯 위치 337 B12 NVDIMM-N 상태 및 속성 다음 PowerShell 명령을 사용하여 NVDIMM-N 상태를 쿼리할 수 있습니다. 그림 21 . NVDIMM-N 상태 및 속성 Windows 기본 드라이버는 다른 상태 이벤트를 처리할 수 있습니다. 다양한 상태 조건에 대한 자세한 내용은 Windows 설명서 (https://docs.microsoft.com/en-us/windows-server/storage/storage-spaces/storage-class-memory-health)를 참조하십시오. 블록 모드 애플리케이션은 Windows SCM 디스크 드라이버에서 제공하는 표준 ReadFile/WriteFile Block Interface API를 사용하여 NVDIMM-N에 액세스할 수 있습니다. 이를 통해 기존 애플리케이션은 어떠한 수정 사항 없이 NVDIMM-N의 고성능 및 낮은 지연을 즉시 활용할 수 있습니다.
스토리지 공간 지원 Windows Server 2016은 매우 빠른 입력/출력(I/O) 작업이 가능한 NVDIMM-N 디바이스를 지원합니다. 이러한 디바이스를 write-back 캐시로 사용하면 쓰기 지체를 줄일 수 있는 좋은 방법입니다. Microsoft 블로그에서는 가상 드라이브로 미러링된 NVDIMM-N writeback 캐시를 사용하여 미러링된 스토리지 공간을 설정하는 방법을 설명하고 있습니다. NVDIMM-N에서 스토리지 공간을 설정하려면 NVDIMM-N write-back 캐시로 스토리지 공간 구성을 참조하십시오. 작동 및 진단 로깅 정보 NVDIMM-N 버스 드라이버, scmbus.sys는 로그를 Microsoft-Windows-Scmbus 공급자에 기록합니다. 로그를 확인하려면 이벤트 뷰어 를 열고 Applications and Services Logs(애플리케이션 및 서비스 로그) -> Microsoft -> Windows -> Scmbus로 이동하십시오.
디바이스 관리자에서 논리적 디스크는 “영구 메모리 디스크” 아래에 표시되는 반면 물리적 NVDIMM은 “메모리 디바이스” 아래에 표 시됩니다. 그림 25 . 디바이스 관리자 모든 NVDIMM-N 디바이스는 nvdimm.sys 드라이버에 의해 제어되며 논리 디스크는 pmem.sys 드라이버에 의해 제어됩니다. 두 가지 유형의 디바이스 객체는 모두 영구 메모리용 버스 드라이버인 scmbus.sys에 의해 생성됩니다. 이 버스 드라이버 객체는 “시스템 디바 이스” 아래의 디바이스 관리자에서 찾을 수 있습니다. Windows Server 2019 레이블 지원 및 네임스페이스 관리의 새로운 기능 Windows Server 2019를 이용하면 OS에서 레이블 및 네임스페이스 관리를 지원합니다. NVDIMM-N 모듈이 OS에 처음으로 노출되었을 때나 공장 재설정/삭제 작업 후에는 네임스페이스가 자동으로 열거되지 않습니다. 사용자는 이를 스토리지 디바이스로 사용하기 전에 네임스페이스를 생성해야 합니다.
그림 27 . PMEM 미사용 영역, PMEM 물리적 디바이스 및 PMEM 디스크 나열 그림 28 .
PowerShell Cmdlet #Get-PmemDisk ● 하나 이상의 논리적 영구 메모리 디스크를 반환합니다. ● 반환되는 객체에는 크기, 원자가 유형, 상태 및 기본 물리적 디바이스에 대한 정보가 있습니다. #Get-PmemPhysicalDevice ● 하나 이상의 물리적 영구 메모리 디바이스(NVDIMM)를 반환합니다. ● 반환되는 객체에는 크기, RFIC, 디바이스 위치 및 상태/작동 상태에 대한 정보가 있습니다. #New-PmemDisk ● 지정된 사용하지 않은 리전에서 새 디스크를 생성합니다. ● 레이블을 작성하여 네임스페이스를 생성한 후 SCM 스택을 재구축하여 새 논리 디바이스를 노출시킵니다. ● 매개변수(옵션): ○ FriendlyName은 영구 메모리 디스크에 친숙한 이름을 제공합니다. 기본값은 “PmemDisk”입니다. ○ AtomicityType을 사용하여 BTT를 설정할 수 있습니다. 기본값은 "none"입니다.
그림 30 . PowerShell에서의 가시성 Hyper-V 가상 머신에 대한 NVDIMM-N 구성 여기서 언급한 Hyper-V VM에 대한 영구 메모리 디바이스를 구성하기 위한 cmdlet 문서에는 JEDEC 호환 NVDIMM-N을 통해 Hyper-V VM을 구성하는 것에 관한 세부 정보가 안내되어 있습니다. NVDIMM-N RO 동작 Windows Server 2019 설계에 따라 Windows Server 2019는 Windows Server 2016과 다른 방식으로 NVDIMM-N을 관리합니다. Windows Server 2016에서 읽 기/쓰기 모드에 있는 NVDIMM-N에 대한 전원 공급이 중단되면 읽기 전용 모드로 전환됩니다. 하지만, Windows Server 2019에서는 읽기/쓰기 모드에 있는 NVDIMM-N에 대한 전원 공급이 끊기면 계속 읽기/쓰기 모드로 작동합니 다.
해결 방법: 없음.
10 Linux NVDIMM-N 하드웨어는 RHEL 7.3, 7.4, 7.5 및 7.6 버전에서 지원됩니다. 주제: • • • • • • • • PMEM(영구 메모리 디바이스) 식별 및 구성 설치 기존 파일 시스템 확인 읽기 전용 모드 NVDIMM-N 인터리브 관리 유틸리티 RHEL 7.6 기능 Linux 오류 PMEM(영구 메모리 디바이스) 식별 및 구성 OS가 실행 중일 때 NVDIMM-N이 제대로 채워졌는지 확인하십시오. 루트 사용자로 이동합니다. $ su NVDIMM-N가 /dev/pmem0, /dev/pmem1, .. /dev/pmemN으로 나타나는지 확인합니다(여기서 N은 자연수입니다). # ls /dev/pmem* /Dev/pmem0에서 /dev/pmemN까지 NVDIMM-N 디바이스의 크기를 확인합니다. # lsblk 모든 pmemN 디바이스에 대한 xfs 파일 시스템을 만듭니다. # mkfs.xfs /dev/pmem0 모든 nvdimmN에서 디렉토리를 만듭니다.
dd 명령을 통해 RHEL ISO를 USB 스틱에 덤프합니다. # dd if=/home/dell/RHEL7.3.iso of=/dev/sdb bs=4M conv=noerror,sync BIOS가 USB에서 Linux 커널을 부팅합니다. 화면에 나타나는 단계에 따라 RHEL 설치를 완료합니다. 설치가 완료되면 서버를 재부팅합니다. 자세한 설치 지침은 https://access.redhat.com/documentation/en-US/Red_Hat_Enterprise_Linux/7/html/Installation_Guide/ index.html을 참조하십시오. 기존 파일 시스템 확인 서버에서 PowerOn 버튼을 누릅니다 OS가 실행 중일 때 $ su NVDIMM-N에 저장된 콘텐츠를 확인합니다. # cat /mnt/nvdimm0 # shutdown 읽기 전용 모드 NVDIMM-N 서버에서 PowerOn 버튼을 누릅니다 섹션 4의 지침에 따라 BIOS를 설정합니다.
OS가 실행 중일 때 $ su CPU0에 설치된 6개의 NVDIMM-N은 /dev/pmem0으로, CPU1에 설치된 6개의 NVDIMM-N은 /dev/pmem1로 표시됩니다. # ls /dev/pmem* /dev/pmem0 및 /dev/pmem1의 크기를 보면 각 NVDIMM-N이 16GB이므로 약 6*16 GB = 96Gb가 되어야 합니다. # lsblk /dev/pmem0 및 /dev/pmem1에 대한 xfs 파일 시스템을 만듭니다. # mkfs.xfs /dev/pmem0 /mnt/nvdimm0 and /mnt/nvdimm1 디렉토리를 만듭니다. # mkdir –p /mnt/nvdimm0 /dev/pmem0 및 /dev/pmem1을 마운트합니다. # mount –t xfs –o dax /dev/pmem0 /mnt/nvdimm0 다음 재부팅 때 디바이스가 마운팅되도록 마운트 지점과 옵션을 저장합니다.
/dev/pmem0 및 /dev/pmem1을 마운트합니다. # mount -t xfs -o dax /dev/pmem0 /mnt/nvdimm0 /dev/pmem0 및 /dev/pmem1에 쓰기 가능한지 확인하려면 다음을 수행합니다. # touch /mnt/nvdimm0/write.txt # shutdown 관리 유틸리티 관리 유틸리티 'ndctl' && mdadm 1. 2. 3. 4. 서버에서 PowerOn 버튼을 누릅니다. 섹션 4의 지침에 따라 BIOS를 설정합니다. 영구 메모리를 활성화하고 "NVDIMM Interleave"를 비활성화한 다음 "NVDIMM Read-Only"를 비활성화합니다. RHEL를 설치하거나 이미 설치되어 있는 경우 OS를 시작합니다. ndctl ndctl 설치 -- 개발자 옵션 OS가 실행 중일 때 Ethernet을 활성화하고 IP 주소를 가져옵니다. $ $ $ $ $ $ # ifconfig –a git clone https://github.com/pmem/ndctl.
mdadm NVDIMM-N에서 소프트웨어 RAID를 만듭니다. 6개의 장치, /dev/pmem0.. /dev/pmem5가 있다고 가정합니다. 디렉터리 /mnt/md0 /mnt/md1 /mnt/md2 /mnt/md5 /mnt/md6을 만듭니다. $ mkdir -p /mnt/md0 RAID 0을 만듭니다. $ mdadm --create --verbose /dev/md0 --level=0 --raid-devices=6 /dev/pmem0 /dev/pmem1 /dev/ pmem2 /dev/pmem3 /dev/pmem4 /dev/pmem5 $ cat /proc/mdstat $ mkfs.xfs /dev/md0 $ mount /dev/md0 /mnt/md0 $ lsblk 장치를 마운트 해제하기 전에 /mnt/md0으로 데이터 읽기/쓰기를 수행합니다.
● $ ndctl create-namespace ndctl 유틸리티를 사용하는 방법에 대한 자세한 내용은 여기(https://docs.pmem.io/ndctl-users-guide)에 있는 사용자 가이드를 참조하 십시오. Linux 오류 다음과 같은 오류는 RHEL 7.6에 영향을 미칩니다. ● ndctl 유틸리티를 작동하게 하는 패치는 여기(https://access.redhat.com/solutions/3920221)에서 다운로드할 수 있습니다. ● Red Hat Enterprise Linux 7.6 이상은 NVDIMM-N 펌웨어 버전 8860에서 9234 이상으로 업데이트 후에 NVDIMM-N 메모리 모 듈의 데이터에 액세스하지 못할 수 있습니다. 데이터에 대한 액세스를 복원하려면 Red Hat Enterprise Linux 7.6 명령줄 인터페이 스에서 루트 사용자에 로그인하고 다음 명령을 실행합니다. 노트: 위의 RHEL 7.6 create-namespace 패치가 설치되어 있는지 확인합니다.
11 ESXi 주제: • • • • • • • 설정 보관 시 NVDIMM 지원을 포함하는 지원되는 게스트 OS 전체 상태 작동 및 진단 로깅 정보 NVDIMM-N 오류 ESXi 오류 설정 ESXi 버전 6.7부터 NVDIMM-N 하드웨어가 지원됩니다. NVDIMM-N 디바이스가 자동 생성된 네임스페이스와 함께 시작 시에 탐지됩 니다. 모든 NVDIMM-N 디바이스는 ESXi 가상 머신의 액세스를 위해 단일 논리 메모리 어레이로 용량이 풀링됩니다. 이제 ESXi 6.7 U1에서 NVDIMM-N 하드웨어가 지원됩니다. 특징과 기능은 ESXi 6.7과 동일합니다. 펌웨어 요구 사항: 표 13. 펌웨어 요구 사항 펌웨어 최소 필수 버전 T640, R640, R740, R740XD, R940 R840, R940xa MX740c, MX840c iDRAC 3.15.15.15 3.19.19.19 3.20.20.20 BIOS 1.3.7 1.1.1 1.0.
호스트 시스템의 물리적 NVDIMM-N에 대한 ID의 변환은 아래에서 볼 수 있습니다. 표 14.
그림 32 . 인터리빙이 비활성화되어 있을 때 인터리브 세트 인터리빙이 BIOS F2 설정에서 활성화되어 있을 때 총 NVDIMM-N 용량은 CPU 소켓에 따라 풀로 분리됩니다. 총 2개의 인터리브 세트 가 CPU 소켓의 집게 용량과 함께 하나의 인터리브 세트로 표시됩니다. 그림 33 . 인터리빙이 활성화되어 있을 때 인터리브 세트 데이터스토어 이것은 ESXi 및 영구 메모리 데이터 저장소에 액세스할 수 있는 기존 스토리지에 대한 정보를 포함하는 데이터 저장소 영역입니다. 노트: PMEM 데이터 저장소는 ESXi가 시스템에서 NVDIMM-N을 탐지한 후 첫 번째 시스템 부팅에서 생성됩니다. 이 데이터 저장 소는 그때 수정되고 추가 NVDIMM-N 모듈이 그 이후 추가되는 경우 확장하지 않습니다. 데이터 저장소를 확장하려면 다음을 수행하십시오. 1. 2. 3. 4. 5. 데이터를 마이그레이션합니다. BIOS F2 설정으로 부팅합니다. 이 가이드의 섹션 5에 표시된 대로 영구 메모리를 선택합니다.
그림 34 . 데이터스토어 NVDIMM 지원을 포함하는 지원되는 게스트 OS ● ● ● ● ● ● ● Windows Server 2016 빌드 14393 이상 Windows 10 Anniversary Update 버전 1607 이상 RedHat Enterprise Linux 7.4 이상 SUSE Linux Enterprise 12 SP2 이상 Photon OS 1.0 개정 버전 2 이상 CentOS 7.4 이상 Ubuntu 17.04 이상 전체 상태 NVDIMM-N 모듈의 상태는 ESXi 인터페이스의 모듈 및 네임스페이스 섹션의 표 형식 열에 표시됩니다. 아래 표에 표시된 대로 수정 조 치를 수행하십시오. 중복 표: 표 15. NVDIMM-N 모듈의 상태 상태 조치 Normal(정상) 없음 유지 보수 필요 NVDIMM-N 상태 문제 해결에 대한 지침은 ESXi, SEL 및 수명주기 로그를 참조하십시 오. 전원 발생 시 모든 데이터 손실 1. 시스템을 끄지 마십시오.
오래된 펌웨어 ESXi는 NVDIMM-N 모둘에 최소 9324 펌웨어 이미지가 있어야 합니다. 오래된 펌웨어가 있으면 올바르게 작동되지 않습니다. 메모리에 오래된 펌웨어(9324 이하)가 있는 경우 시스템이 ESX 하이퍼바이저로 부팅하고 DIMM이 UI에 표시됩니다. 네임스페이스가 설치되지 않고 DIMM을 VM 게스트 OS에 탑재할 수 없습니다. 이 낮은 펌웨어는 지원되지 않기 때문에 전체 상태, 주소 범위 스크럽, UI 오류 보고와 같은 기타 오류 동작이 테스트되지 않고 DIMM 펌웨어가 최신 버전이 될 때까지 올바르게 기능하지 않습니다. 지원되지 않더라도 Storage(스토리지)->Modules and Storage(모듈 및 스토리지)->Interleave Sets(인터리브 세트)가 올바른 정보를 표 시하는 것으로 보입니다.
그림 37 . NVDIMM-N 오류 다음과 같은 오류가 발생한 경우에 ESXi 웹 클라이언트에 표시된 전체 상태 메시지에 대해서는 아래의 표를 참조하십시오. 표 16.
12 일반 정오표 NVDIMM-N은 14G 제품에서 PPR을 지원하지 않으며 수정 가능한 오류 로깅 코드는 RDIMM과 NVDIMM-N을 구분하지 않습니다. 따라 서 오류 메시지가 "MEM0802 -The memory health monitor feature has detected a degradation in the DIMM installed in DIMM. Reboot system to initiate self-heal process" 나타나고 다음에 부팅할 때 MRC PPR은 NVDIMM-N을 건너뜁니다. 해결 방법: 없음.
