Dell™ PowerEdge™ Systems Oracle Database 11g R1 on Microsoft® Windows Server® 2003 Storage and Networking Guide Version 1.0 Overview of Oracle Database 11G Documentation The documentation set for the Oracle Database 11g R1 on Red Hat® Enterprise Linux 5 Advanced Server x86-64 —or Oracle Database 11g R1 Enterprise or Standard Edition on Microsoft® Windows Server® 2003 R2 with SP2, Standard or Enterprise x64 Edition— has been reorganized into a series of modules.
Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. ____________________ Information in this document is subject to change without notice. © 2009 Dell Inc. All rights reserved. Reproduction in any manner whatsoever without the written permission of Dell Inc. is strictly forbidden.
Terminology Used in this Document This document uses the terms logical unit number (LUN) and virtual disk. These terms are synonymous and can be used interchangeably. The term LUN is commonly used in a Dell|EMC Fibre-Channel storage system environment and virtual disk is commonly used in a Direct-attached SAS (Dell MD3000/MD3000i and Dell MD3000/MD3000i with MD1000 expansion) storage environment.
Figure 1. Hardware Connections for a SAN-attached Fibre Channel Cluster Public network Gb Ethernet switches (private network) PowerEdge systems (Oracle database) Dell | EMC Fibre Channel switches (SAN) CAT 5e/6 (copper Gigabit NIC) CAT 5e/6 (copper Gigabit NIC) Fiber optic cables Additional fiber optic cables Dell | EMC AX4-5F, CX3-10c, CX3-20, CX3-20F, CX3-40, CX3-40F, CX3-80, CX4-120, CX4-240, CX4-480, or CX4-960 Fibre Channel storage systems Table 1.
Table 1. Fibre Channel Hardware Interconnections (continued) Cluster Component Connections Dell|EMC Fibre Channel storage system Two CAT 5e/6 cables connected to LAN (one from each storage processor) One to four optical connections to each Fibre Channel switch in a SAN-attached configuration See "Cabling Your Dell|EMC Fibre Channel Storage" on page 5 for more information.
Figure 2. Cabling in a Dell|EMC SAN-Attached Fibre Channel Cluster Cluster node 1 Cluster node 2 HBA ports (2) SP-B (Storage processor B) HBA ports (2) SP-A (Storage processor A) CX3-20 storage system Use the following procedure to configure your Oracle cluster storage system in a four-port, SAN-attached configuration. 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1.
Setting Up Your SAS Cluster with a PowerVault™ MD3000 To configure your PowerEdge Systems and PowerVault MD3000 hardware and software to function in an Oracle Real Application Cluster environment, verify the following hardware connections and the hardware and software configurations as described in this section using Figure 3, Table 2, and Figure 4. Figure 3. Cabling the SAS Cluster and PowerVault MD3000 Private Network PowerEdge Systems PowerVault MD3000 Storage System Table 2.
Table 2. SAS Cluster Hardware Interconnections (continued) Cluster Component Connections Dell PowerVault MD3000 Two CAT 5e/6 cables connected to a LAN (one from each storage processor module) Two SAS connections to each PowerEdge system node using a SAS 5/E controller.
Figure 4. Cabling in a Direct-attached SAS Cluster Dual-HBA Host Server Dual-HBA Host Server RAID Controller Module 0 RAID Controller Module 1 MD3000 RAID Enclosure MD1000 Expansion Enclosure MD1000 Expansion Enclosure iSCSI Cluster Setup with a PowerVault MD3000i and MD1000 Expansion Enclosures This section provides information and procedures to configure your PowerEdge Systems and PowerVault MD3000i hardware and software to function in a Oracle Real Application Cluster environment.
Table 3. iSCSI Hardware Interconnections Cluster Component Connections Each PowerEdge system node One CAT 5e/6 cable from public NIC to the local area network (LAN) One CAT 5e/6 cable from private Gigabit NIC to Gigabit Ethernet switch (private network) One CAT 5e/6 cable from redundant private Gigabit NIC to redundant Gigabit Ethernet switch (private network) For additional information on the MD3000i see your PowerVault MD3000i set-up documentation.
Setting Up iSCSI Cluster with PowerVault MD3000i Storage System and PowerVault MD1000 Expansion Enclosures Task 1: Hardware Setup Direct-attached iSCSI clusters are limited to two nodes only. Figure 5.
4 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 2 to the In-1 port of RAID controller 1 in the MD3000i storage enclosure. 5 (Optional) Connect two SAS cables from the two MD3000 out ports to the two In ports of the first MD1000 expansion enclosure. 6 (Optional) Connect two SAS cables from the two MD1000 out ports to the In-0 ports of the second MD1000 expansion enclosure.
To configure your nodes in a switched configuration see Figure 6, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1. 2 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 2. 3 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 1. 4 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 2.
Task 3: Verifying and Upgrading the Firmware • Discover the host server’s direct-attached storage using the Modular Disk Storage Manager software that is installed on the host server. • Verify that the firmware for the following storage components is at the minimum required version. Refer to the Solutions Deliverable List (SDL) for the firmware version requirements.
Cabling EqualLogic iSCSI Storage System Host servers can be attached to the Dell EqualLogic PS5000XV iSCSI array through an IP storage area network (SAN) industry-standard Gigabit Ethernet switch. Figure 7 shows the recommended network configuration for a dual control module PS5000XV array. This configuration includes two Dell PowerConnect 6200 Gigabit Ethernet switches, to provide highest network availability and maximum network bandwidth.
Figure 8. Sample Oracle RAC Configuration with three PS5000XV arrays As illustrated in Figure 8, the group named oracle-group includes three PS5000XV members: oracle-member01, oracle-member02, and oraclemember03. When a member is initialized, it can be configured with RAID 10, RAID 5, or RAID 50. For more information on how to initialize an EqualLogic array, consult the Dell EqualLogic User's Guide.
A PS Series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated. At any one time, a member can be assigned to only one pool. It is easy to assign a member to a pool and also to move a member between pools with no impact to data availability. Pools can be organized according to different criteria, such as disk types or speeds, RAID levels, application types.
Configuring iSCSI Networks Dell recommends configuring the host network interfaces for iSCSI traffic to use Flow Control and Jumbo frame for optimal performance. To set Flow Control and Jumbo frame, perform the following steps: 1 Select Start→Settings→Network Connections. 2 Highlight the iSCSI network interface, and right click Properties. 3 Click Configure. 4 Click Advanced. 5 Highlight Jumbo Packet, and set its value to 9014 Bytes. 6 Highlight Performance Options, then click Properties.
10 Once the server is back up, a Remote Setup Wizard window appears. 11 Select Configure MPIO settings for this computer, then click Next. 12 Move the iSCSI network subnets under Subnets included for MPIO. Move all other network subnets under Subnets excluded from MPIO. Check the box beside Load balance across paths. Click Finish. 13 Repeat steps 1-12 on all other hosts in the cluster. Installing Microsoft iSCSI Initiator 1 Start Add or Remove Programs. 2 Select Microsoft iSCSI Initiator, click Remove.
4 In the Log On to Target window, check the two boxes by Automatically restore this connection when the system boots, and Enable multi-path. Click Advanced. 5 In the Advanced Settings window General tab, perform the following configurations: a Choose Microsoft iSCSI Initiator by the Local adapter drop-down menu. b Choose an iSCSI initiator IP address by the Source IP drop-down menu. c Choose EqualLogic group IP address by the Target Portal drop-down menu. d Check the CHAP logon information checkbox.
iConfiguring Storage and Networking for Oracle 11g RAC This section provides the following information about network and storage configuration: • Configuring the public and private networks • Verifying the storage configuration • Configuring the shared storage for Oracle Clusterware and the Oracle Database NOTE: Oracle RAC 11g R1 is a complex database configuration that requires an ordered list of procedures.
Configuring and Teaming the Private Network Before you deploy the cluster, assign a private IP address and host name to each cluster node. This procedure ensures that the nodes can communicate with each other through the private interface. Table 6 provides an example of a network configuration for a two-node cluster. NOTE: This example assumes all the IP addresses are registered in the hosts file of all cluster nodes. NOTE: The two bonded NIC ports for a private network should be on separate PCI buses.
d Right-click the Intel NIC, which is identified for NIC teaming and select Properties. e Click the Teaming tab. f Select Team with other Adapters and then select New Team. g Specify a name for NIC team and click Next. h In the Select the adapters to include in this team box, select the remaining network adapters that you identified for NIC teaming and click Next. i In the Select a team mode list box, select Adaptive Load Balancing. j Click Finish to complete the teaming.
g Click Yes. h Click Next. i In the Designating Standby Member window, select Do not configure a Standby Member and click Next. j In the Configuring Live Link window, select No and click Next. k In the Creating/Modifying a VLAN window, select Skip Manage VLAN and click Next. l In the last window, click Preview to verify the NIC team and the adapters. Once verified, select Commit changes to system and exit the wizard. Click Finish. m In the information message window click Yes to proceed.
2 Configure the IP addresses. NOTE: You must set a default gateway for your public interface, otherwise, the Clusterware installation may fail. a Click Start→Settings→Control Panel→Network Connections→ Public→Properties. b Double-click Internet Protocol (TCP/IP). c Click Use the following IP address, enter the required IP address, default gateway address and the DNS server IP address, and click OK. d In the Public Properties window, select Show icon in notification area when connected.
4 On all nodes, add the public, private, and virtual IP addresses and host name to the %SystemRoot%\system32\drivers\etc\hosts file. NOTE: Add the public and virtual IP addresses to the hosts file only if they are not registered with the DNS server. For example, the following entries use the adapter IP and host name as shown in Table 6: IP AddressNode Name 155.16.170.1rac1 155.16.170.2rac2 10.10.10.1rac1-priv 10.10.10.2rac2-priv 155.16.170.201rac1-vip 155.16.170.
Installing the Host-Based Software Needed for Storage To install the EMC Naviagent software using the EMC software that came with your Dell|EMC system, follow the procedures in your Dell|EMC documentation. To install the necessary host-based storage software for the PowerVault MD3000 storage system, use the Dell PowerVault Resource CD software that came with your MD3000 storage system.
Installing Multi-Path Software for Storage Follow the documentation accompanying the storage device to install the appropriate multi-path software. NOTE: In the case of a SAS or iSCSI (MD3000/MD3000i storage system) cluster, the Multi-Path software should already be installed on your hosts as instructed in the section "Installing the Host-Based Software Needed for Storage" on page 27. Installing PowerPath for Dell|EMC Systems 1 On node 1, install EMC® PowerPath®.
Preparing the Disks for Oracle Clusterware This section provides information for creating the logical drives for the following disks: • Oracle Cluster Registry disk (OCR) — Contains the cluster configuration information • Voting disk — Provides arbitration between the cluster nodes when the private network or attached storage is unavailable to one or more nodes • Data and backup disks — Provide storage areas for creating the database (data disk) and saving the backup and log data (backup disk) During
Preparing the OCR and Voting Disks for Clusterware 1 On the desktop, right-click My Computer and select Manage. 2 Expand Storage and click Disk Management. The storage disk that you initialized in the "Verifying Multi-Path Driver Functionality" on page 28 appears as Unallocated. 3 Right-click the partition area of the first shared disks assigned to the cluster nodes and select New Partition. The Welcome to the New Partition Wizard appears. 4 Click Next.
10 Create a logical drive for the Voting Disk. a On the partition area of the disk identified for the OCR and voting disk (2 GB LUN/virtual disk), right-click the free space and select New Logical Drive. The Welcome to the New Partition Wizard appears. b Click Next. c In the Select Partition Type window, select Logical drive and click Next. d In the Specify Partition Size window, in the Partition size in MB field, type 50 and click Next.
1 On node 1, create one logical drive for the database. a Locate the disk that is assigned for the Oracle database. b On the disk partition area, right-click the free space and select New Logical Drive. The Welcome to the New Partition Wizard appears. c Click Next. d In the Select Partition Type window, select Logical drive and click Next. e In the Specify Partition Size window in the Partition size in MB field, type the appropriate size and click Next.
d In the Select Partition Type window, select Logical drive and click Next. e In the Specify Partition Size window, type the appropriate size in the Partition size in MB field and click Next. f In the Assign Drive Letter or Path window, select Do not assign a drive letter or drive path and click Next. g In the Format Partition window, select Do not format this partition and click Next. h Click Finish. 2 Create one logical drive for the Flash Recovery Area.
Getting Help Dell Support For detailed information about using your system, see the documentation that came with your system components. For white papers, Dell Supported Configurations, and general information, visit dell.com/oracle. For Dell technical support for your hardware and operating system software and to download the latest updates for your system, visit the Dell Support website at support.dell.com.
Dell™ PowerEdge™ 系统 Microsoft® Windows Server® 2003 上的 Oracle Database 11g R1 存储设备和网络指南 1.
注、小心和警告 注：“注”表示可以帮助您更好地使用计算机的重要信息。 小心：“小心”表示如果不遵循说明，就有可能损坏硬件或导致数据丢失。 ____________________ 本说明文件中的信息如有更改，恕不另行通知。 © 2009 Dell Inc. 版权所有，翻印必究。 未经 Dell Inc. 书面许可，严禁以任何形式进行复制。 本文件中使用的商标：Dell、DELL 徽标、PowerEdge 和 PowerVault 是 Dell Inc. 的商标； EMC 和 PowerPath 是 EMC Corporation 的注册商标； Intel 是 Intel Corporation 的注册商标； Microsoft、 Windows 和 Windows Server 是 Microsoft Corporation 在美国和 / 或其它国家和地区的商标或注册 商标。 本说明文件中述及的其它商标和产品名称是指拥有相应商标和产品名称的公司或其制造的产品。 Dell Inc.
本说明文件中使用的术语： 本说明文件中使用了术语逻辑单元号码 (LUN) 和虚拟磁盘。这两个术语是同义 词并可互换使用。术语 LUN 通常在 Dell|EMC 光纤信道存储系统环境中使用， 而虚拟磁盘通常在直接连接的 SAS （Dell MD3000/MD3000i 和带有 MD1000 扩充的 Dell MD3000/MD3000i）存储环境中使用。 设置光纤信道群集 Dell 管理的服务代表完成光纤信道群集的设置后，请验证是否按照本节中的说 明进行硬件连接以及硬件和软件配置。图 1、图 2 和表 1 说明了具有两个节点 的存储区域网络 (SAN) 连接的光纤信道群集所需的群集连接。 图 1.
表 1.
Dell|EMC 光纤信道存储设备布线 您可以在具有四个端口的 SAN 连接配置中配置 Oracle 群集存储系统， 具体取决于您的需要。有关这两种配置信息，请参阅以下步骤。 图 2 图示说明了设置 SAN 连接的光纤信道群集时使用的硬件连接。 图 2.
4 使用一根光缆从 SP-B 端口 1 连接至光纤信道交换机 0。 5 使用一根光缆从节点 1 上的 HBA 0 连接至光纤信道交换机 0。 6 使用一根光缆从节点 1 上的 HBA 1 连接至光纤信道交换机 1。 7 使用一根光缆从每个附加节点的 HBA 0 连接至光纤信道交换机 0。 8 使用一根光缆从每个附加节点的 HBA 1 连接至光纤信道交换机 1。 设置带有 PowerVault™ MD3000 的 SAS 群集 要配置 PowerEdge 系统以及 PowerVault MD3000 硬件和软件以使其在 Oracle Real Application Cluster 环境中正常工作，请按照本节中的说明使用图 3、 表 2 和图 4 验证以下硬件连接以及硬件和软件配置。 图 3.
表 2.
SAS 存储系统布线 由于 SAS 群集只能安装在直接连接的群集中，因此其仅限于两个节点。 要在直接连接的配置 （请参阅图 4）中配置节点，请完成以下步骤： 1 使用一根 SAS 电缆从节点 1 的 SAS 控制器端口连接至 MD3000 RAID 硬盘柜中 RAID 控制器 0 的 In-0 端口。 2 使用一根 SAS 电缆从节点 1 的另一个 SAS 控制器端口连接至 MD3000 RAID 硬盘柜中 RAID 控制器 1 的 In-0 端口。 3 使用一根 SAS 电缆从节点 2 的 SAS 控制器端口连接至 MD3000 RAID 硬盘柜中 RAID 控制器 0 的 In-1 端口。 4 使用一根 SAS 电缆从节点 2 的另一个 SAS 控制器端口连接至 MD3000 RAID 硬盘柜中 RAID 控制器 1 的 In-1 端口。 图 4.
带有 PowerVault MD3000i 和 MD1000 扩充硬盘柜 的 iSCSI 群集设置 本节提供有关配置 PowerEdge 系统以及 PowerVault MD3000i 硬件和软件使其在 Oracle Real Application Cluster 环境中正常工作的信息和过程。 使用 Dell PowerVault MD3000i 支持值表中包含的 “支持的配置”图验证硬件连 接以及硬件和软件配置。可以从 support.dell.com 下载说明文件。 表 3.
设置带有 PowerVault MD3000i 存储系统和 PowerVault MD1000 扩充硬盘柜的 iSCSI 群集 任务 1：硬件设置 直接连接的 iSCSI 群集仅限于两个节点。 图 5.
5 （可选）使用两根 SAS 电缆从两个 MD3000 输出端口连接至第一个 MD1000 扩充硬盘柜的两个 In （输入）端口。 6 （可选）使用两根 SAS 电缆从两个 MD1000 输出端口连接至第二个 MD1000 扩充硬盘柜的两个 In-0 端口。 注：请参阅 MD3000i 存储系统的说明文件以了解有关配置 MD1000 扩充硬盘柜的 信息。 交换式 iSCSI 群集可以支持最多八个节点。 图 6.
3 使用一根 CAT 5e/6 电缆从节点 2 的端口 （iSCSI HBA 或 NIC）连接至网 络交换机 1 的端口。 4 使用一根 CAT 5e/6 电缆从节点 2 的端口 （iSCSI HBA 或 NIC）连接至网 络交换机 2 的端口。 5 使用一根 CAT 5e/6 电缆从交换机 1 的一个端口连接至 MD3000i 存储设备 硬盘柜中 RAID 控制器 0 的 In-0 端口。 6 使用一根 CAT 5e/6 电缆从交换机 1 的另一个端口连接至 MD3000i 存储设 备硬盘柜中 RAID 控制器 1 的 In-0 端口。 7 使用一根 CAT 5e/6 电缆从交换机 2 的一个端口连接至 MD3000i 存储设备 硬盘柜中 RAID 控制器 0 的 In-1 端口。 8 使用一根 CAT 5e/6 电缆从交换机 2 的另一个端口连接至 MD3000i 存储设 备硬盘柜中 RAID 控制器 1 的 In-1 端口。 9 （可选）。使用两根 SAS 电缆从两个 MD3000i 输出端口连接至第一个 MD1000 扩充硬盘柜的两个 In （输入）端口。 10 （可选）。使用两根 SAS 电缆从两个
任务 3：验证和升级固件 • 使用安装在主机服务器上的 Modular Disk Storage Manager 软件搜索主机 服务器的直接连接存储设备。 • 验证以下存储组件的固件是否满足最低所需版本。请参阅 Solutions Deliverable List （可提供的解决方案列表， SDL）以了解固件版本要求。 • MD3000i 存储系统固件 • MD1000 扩充硬盘柜固件 安装后任务 安装驱动程序和软件后，请执行 MD3000i Installation Guide （MD3000i 安装指南）中列出的安装后任务，创建如第 43 页上的表 3 中所示的环境。 用于 EqualLogic® PS 系列存储系统的 iSCSI 群集设置 EqualLogic 术语 EqualLogic PS 系列存储阵列包括存储虚拟化技术。为了更好地了解这些阵列的 原理，熟悉一些用于描述这些阵列及其功能的术语将非常有用： • 成员：一个单独的 PS 系列阵列即是一个成员 • 组：可以集中管理的一个多个成员的集合：主机服务器通过单一的组 IP 地址来访问数据 • 池：可由一个或多个成员的磁盘
图 7.
图 8.
创建卷 存储数据之前， PS5000XV 物理磁盘必须配置为可使用的组件 （称为卷）。 卷表示存储池的一部分，具有特定大小、访问控制以及其它属性。卷可以跨越 多个磁盘和组成员，在网络上显示为 iSCSI 目标。卷将分配到池，并可以在各 池之间轻松移动而不会影响数据可用性。此外，池内还会自动存放数据， 以及根据池内存储硬件资源的总工作负载自动平衡负载。 表 4.
6 高亮度显示 Performance Options （性能选项），然后单击 Properties （属性）。这将打开 Performance Options （性能选项）窗口。 7 在 Performance Options （性能选项）窗口中，高亮度显示 Flow Control （流控制），然后将其值设置为 Rx & Tx Enabled （Rx 和 Tx 已启用）。 8 对用于 iSCSI 通信量的所有其它网络接口重复执行步骤 2 -7。 配置主机对卷的访问 安装并配置 Dell EqualLogic 主机集成工具 (HIT) 套件 1 将 HIT 工具套件版本 3.1.2 下载到数据库服务器上。 2 双击 Setup64.exe 以启动安装窗口。 3 在 Welcome to the Host Integration Tools 3.1.2 update program （欢迎使用 主机集成工具 3.1.
安装 Microsoft iSCSI 启动程序 1 启动 Add or Remove Programs （添加或删除程序）。 2 选择 Microsoft iSCSI Initiator （Microsoft iSCSI 启动程序），单击 Remove （删除）。这将删除随当前 HIT 3.1.2 打包附带的启动程序 2.0.7。 3 在 Software Update Removal Wizard （软件更新删除向导）窗口中， 单击 Next （下一步）。 4 在 Software Update Removal Wizard （软件更新删除向导）窗口中， 单击 Finish （完成）。 5 一旦服务器备份后，即可将 Microsoft iSCSI 启动程序 2.0.8 下载到数据库 服务器上。 6 双击 Initiator-2.08-build3825-x64fre.
4 在 Log On to Target （登录到目标）窗口中，选中 Automatically restore this connection when the system boots （系统引导时自动恢复此连接） 和 Enable multi-path （启用多路径）两个框。单击 Advanced （高级）。 5 在 Advanced Settings （高级设置）窗口的 General （常规）选项卡中， 执行以下配置： a 通过 Local adapter （本地适配器）下拉式菜单选择 Microsoft iSCSI Initiator （Microsoft iSCSI 启动程序）。 b 通过 Source IP （源 IP）下拉式菜单选择 iSCSI 启动程序 IP 地址。 c 通过 Target Portal （目标门户）下拉式菜单选择 EqualLogic group IP address （EqualLogic 组 IP 地址）。 d 选中 CHAP logon information （CHAP 登录信息）复选框。 e 通过 User name （用户名）框输入 Equa
配置用于 Oracle 11g RAC 的存储设备和网络 本节提供了关于网络和存储配置的下列信息： • 配置公用和专用网络 • 验证存储配置 • 为 Oracle 群集件和 Oracle 数据库配置共享的存储设备 注：Oracle RAC 11g R1 是一项复杂的数据库配置，要求按顺序执行以下一系列 过程。要想用最少的时间配置网络和存储，请按顺序执行以下过程。 配置公用和专用网络 注：每个节点都需要一个唯一的公用和专用的网际协议 (IP) 地址，以及一个附 加公用 IP 地址，该附加公用 IP 地址作为客户端连接和连接故障转移的虚拟 IP 地 址。虚拟 IP 地址必须与公用 IP 地址属于同一个子网。所有公用 IP 地址，包括虚 拟 IP 地址，都应该向域命名系统 (DNS) 注册。如果 DNS 服务器不可用，则必须 在所有群集节点上的主机文件中注册 IP 地址。 根据可用的 NIC 端口的数目，如表 5 中所示配置公用和专用接口。 表 5.
表 6. 双节点群集的网络配置示例 主机名 类型 IP 地址 注册位置 rac1 公用 155.16.170.1 %SystemRoot%\system32\drivers\etc\hosts rac2 公用 155.16.170.2 %SystemRoot%\system32\drivers\etc\hosts rac1-vip 虚拟 155.16.170.201 %SystemRoot%\system32\drivers\etc\hosts rac2-vip 虚拟 155.16.170.202 %SystemRoot%\system32\drivers\etc\hosts rac1-priv 专用 10.10.10.1 %SystemRoot%\system32\drivers\etc\hosts rac2-priv 专用 10.10.10.
k 在 Team Properties （组队属性）窗口中，单击 OK （确定）。 l 在 Intel NIC's Properties （Intel NIC 的属性）窗口中，单击 OK （确定）。 m 关闭 Computer Management （计算机管理）窗口。 4 如果节点 1 配置为使用 Broadcom NIC，请通过执行以下步骤配置 NIC 组队：如果不是，请转至步骤 5。 a 单击 Start （开始） →Programs （程序） →Broadcom→Broadcom Advanced Control Suite 3 （Broadcom 高级控制套件 3）。 此时将显示 Broadcom Advanced Control Suite 3 （Broadcom 高级控 制套件 3）窗口。 b 高亮度显示 Team Management （组队管理），单击 Teams （组队）， 然后选择 Create a Team （创建组队）。 此时会显示 Broadcom Teaming Wizard （Broadcom 组队向导）窗口。 c 单击 Next （下一步）。 d 在
j 在 Configuring Live Link （配置活动链接）窗口中，选择 No （否）， 然后单击 Next （下一步）。 k 在 Creating/Modifying a VLAN （创建 / 修改 VLAN）窗口中， 选择 Skip Manage VLAN （跳过管理 VLAN），然后单击 Next （下一步）。 l 在最后一个窗口中，单击 Preview （预览）验证 NIC 组队和适配器。 验证后，请选择 Commit changes to system （向系统提交更改）， 然后退出该向导。单击 Finish （完成）。 m 在信息窗口中，单击 Yes （是）以继续。 n 在 Broadcom Advanced Control Suite 3 （Broadcom 高级控制套件 3） 窗口中，单击 File （文件），然后单击 Exit （退出）。 5 在其余的节点上重复执行步骤 1 到步骤 4。 为公用网络适配器和专用网络适配器配置 IP 地址 注：本解决方案中不支持 NIC（支持 TOE）的 TOE 功能。 1 更新适配器的网络接口名称 （如果需要）。否则，请转至步骤
c 单击 Use the following IP address （使用以下 IP 地址），输入所需的 IP 地址、默认网关地址和 DNS 服务器 IP 地址，然后单击 OK （确定）。 d 在 Public Properties （公用属性）窗口中，选择 Show icon in notification area when connected （连接时，在通知区域显示图标）。 执行了本节中的步骤后，将在系统托盘中显示网络适配器状态。 e 单击 OK （确定）。 f 在 Properties （属性）窗口中，单击 Close （关闭）。 g 在专用 NIC 组队上重复执行步骤 a 到步骤 f。 注：专用 NIC 组队不需要默认网关地址和 DNS 服务器条目。 3 确保公用和专用网络适配器以适当的顺序显示，以便通过网络服务进行 访问。 a 在桌面上，单击 Start （开始） →Settings （设置） →Control Panel （控制面板） →Network Connections （网络连接）。 b 在 Network Connections （网络连接）窗口中，单击 A
例如，以下各项使用表 6 中所示的适配器 IP 和主机名： IP Address （IP 地址） Node Name （节点名称） 155.16.170.1rac1 155.16.170.2rac2 10.10.10.1rac1-priv 10.10.10.2rac2-priv 155.16.170.201rac1-vip 155.16.170.
安装存储设备所需的基于主机的软件 要使用随 Dell|EMC 系统附带的 EMC 软件来安装 EMC Naviagent 软件， 请遵循 Dell|EMC 说明文件中的步骤进行操作。 要安装用于 PowerVault MD3000 存储系统的基于主机的必需存储软件，请使用 随 MD3000 存储系统附带的 Dell PowerVault Resource CD 软件。请遵循随 PowerVault MD3000 存储系统附带的 Dell 说明文件中的过程进行操作，在主节 点上安装 “Modular Disk Storage Manager 软件”并在其余节点上安装多路径 (MPIO) 软件。 验证节点的存储分配 1 在桌面上，右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 在 Computer Management （计算机管理）窗口中，单击 Device Manager （设备管理器）。 3 展开 Disk drives （磁盘驱动器）。 4 在 Disk drives（磁盘驱动器）下，确保对存储设备中分配的每个 LUN/ 虚拟 磁盘均显示四个小型计算机系统接口 (
为存储设备安装多路径软件 请遵循随存储设备附带的说明文件进行操作来安装相应的多路径软件。 注：如果是 SAS 或 iSCSI（MD3000/MD3000i 存储系统）群集，多路径软件应已 按照第 60 页上的“安装存储设备所需的基于主机的软件”一节中的说明安装到 主机上。 为 Dell|EMC 系统安装 PowerPath 1 在节点 1 上，安装 EMC® PowerPath®。 注：有关详情，请参阅随 Dell|EMC 存储系统附带的 EMC PowerPath 说明文件。 2 安装过程完成后，请重新启动系统。 3 在其余的节点上重复执行步骤 1 和步骤 2。 为 MD3000/MD3000i 安装多路径驱动程序软件 1 在节点 1 上，从 PowerVault MD3000 或 MD3000i Resource CD 安装多路径 驱动程序软件。 注：有关详情，请参阅随 Dell MD3000 或 MD3000i 存储系统附带的说明文件。 2 安装过程完成后，请重新启动系统。 3 在其它节点上重复执行步骤 1 和步骤 2。 验证多路径驱动程序功能 1 右键单击 My Computer （我的电脑
为 Oracle 群集件准备磁盘 本节介绍有关为以下磁盘创建逻辑驱动器的信息： • Oracle 群集件注册表磁盘 (OCR) — 包含群集配置信息 • 投票磁盘 — 当专用网络或连接的存储设备无法用于一个或多个节点时， 投票磁盘提供群集节点间的仲裁 • 数据和备份磁盘 — 为创建数据库 （数据磁盘）及保存备份和日志数据 （备份磁盘）提供存储区域 在本说明文件中所述的群集配置过程中，您将会在共享存储设备上创建分区。 在创建分区时，确保群集节点可以检测到所连接存储系统中创建的 LUN 或逻 辑磁盘。 要为 Oracle 群集件准备磁盘，应确定 OCR、投票、数据和快擦写恢复区域磁 盘。确定适当的磁盘后，在节点 1 上执行以下步骤： 为共享磁盘启用自动安装选项 1 在节点 1 上，单击 Start （开始），然后选择 Run （运行）。 2 在 Run （运行）字段中，键入 cmd，然后单击 OK （确定）。 3 在命令提示符下，键入 diskpart，然后按 键。 4 在 DISKPART 命令提示符下，键入 automount enable，然后按 键。 系统将显
为群集件准备 OCR 磁盘和投票磁盘 1 在桌面上，右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 展开 Storage （存储设备），然后单击 Disk Management （磁盘管理）。 在第 61 页上的 “验证多路径驱动程序功能”中初始化的存储磁盘将显示 为 Unallocated （未分配）。 3 右键单击分配给群集节点的第一个共享磁盘的分区区域，然后选择 New Partition （新建分区）。 此时将显示 Welcome to the New Partition Wizard （欢迎使用新建分 区向导）。 4 单击 Next （下一步）。 5 在 Select Partition Type （选择分区类型）窗口中，选择 Extended partition （扩展分区），然后单击 Next （下一步）。 6 在 Specify Partition Size （指定分区大小）窗口中，接受默认分区大小， 然后单击 Next （下一步）。 7 单击 Finish （完成）。 在步骤 3 中选定的磁盘分区区域将配置为扩展分区。 8 在分配给群集节点的所有共享
e 在 Assign Drive Letter or Path （分配驱动器号或路径）窗口中，选择 Do not assign a drive letter or drive path （不分配驱动器号或驱动器路 径），然后单击 Next （下一步）。 f 在 Format Partition （格式化分区）窗口中，选择 Do not format this partition （不格式化此分区），然后单击 Next （下一步）。 g 单击 Finish （完成）。 h 重复执行步骤 a 到 g 以创建其它 OCR 磁盘。 10 为投票磁盘创建逻辑驱动器。 a 在确定用于 OCR 和投票磁盘 （2 GB LUN/ 虚拟磁盘）的磁盘分区区 域上，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱 动器）。 此时将显示 Welcome to the New Partition Wizard （欢迎使用新建分区向导）。 b 单击 Next （下一步）。 c 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive （
为使用 OCFS 的数据库存储准备数据库磁盘和快擦写恢复区域 本节介绍如何创建逻辑驱动器的信息。这些驱动器将用于创建 Oracle 的群集文 件系统 (OCFS) 存储磁盘。 注：当使用 ASM 存储管理时，ASM 数据磁盘组应大于数据库（多个 LUN）， 而 ASM 快擦写恢复区域磁盘组应至少为数据磁盘组大小的两倍。 注：如果您创建逻辑驱动器是为了创建自动存储管理 (ASM) 存储磁盘，请忽略 以下步骤并参阅第 66 页上的“为使用 ASM 的数据库存储准备数据库磁盘和快擦 写恢复区域”。 1 在节点 1 上，为数据库创建一个逻辑驱动器。 a 找到分配用于 Oracle 数据库的磁盘。 b 在磁盘分区区域中，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱动器）。 此时将显示 Welcome to the New Partition Wizard （欢迎使用新建分区 向导）。 c 单击 Next （下一步）。 d 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive （逻辑驱动器），然后单击 Next （下一步）
为使用 ASM 的数据库存储准备数据库磁盘和快擦写恢复区域 本节介绍关于创建逻辑驱动器的信息，这些驱动器将用于创建 ASM 磁盘存储。 ASM 磁盘存储由一个或多个可以跨多个磁盘的磁盘组组成。 注：如果您创建逻辑驱动器是用于创建 OCFS 存储磁盘，请忽略以下步骤并遵 循第 65 页上的“为使用 OCFS 的数据库存储准备数据库磁盘和快擦写恢复区 域”中的步骤。 1 为数据库创建一个逻辑驱动器。 a 找到分配用于 Oracle 数据库的磁盘。 b 在磁盘分区区域中，右键单击可用空间，然后选择 New Logical Drive （新建逻辑驱动器）。 此时将显示 Welcome to the New Partition Wizard （欢迎使用新建分区 向导）。 c 单击 Next （下一步）。 d 在 Select Partition Type （选择分区类型）窗口中，选择 Logical drive （逻辑驱动器），然后单击 Next （下一步）。 e 在 Specify Partition Size （指定分区大小）窗口的 Partition size in MB （以 MB 为单位的
删除分配的驱动器号 1 在每个节点的桌面上，右键单击 My Computer （我的电脑），然后选择 Manage （管理）。 2 在 Computer Management （计算机管理）窗口中，展开 Storage （存储设备），然后单击 Disk Management （磁盘管理）。 3 如果找到任何分配给在第 63 页上的 “为群集件准备 OCR 磁盘和投票磁 盘”中创建的驱动器的驱动器号，请执行以下步骤： a 右键单击逻辑驱动器，然后选择 Change Drive Letter and Paths （更改驱动器号和路径）。 b 在 Change Drive Letter and Paths （更改驱动器号和路径）窗口中， 选择驱动器号，然后单击 Remove （删除）。 c 在 Confirm （确认）窗口中，单击 Yes （是）。 d 对存储分区上的其余逻辑驱动器重复执行步骤 a 到步骤 c。 获得帮助 Dell 支持 有关使用系统的详情，请参阅随系统组件附带的说明文件。有关白皮书、 Dell 支持的配置和一般信息，请访问 dell.
Systèmes Dell™ PowerEdge™ Oracle Database 11g R1 sous Microsoft® Windows Server® 2003 Guide de mise en réseau et de stockage Version 1.0 Présentation de la documentation d' Oracle Database 11G La documentation définie pour Oracle Database 11g R1 sur Red Hat® Enterprise Linux 5 Advanced Server x86-64 —ou pour Oracle Database 11g R1 édition Entreprise ou Standard sous Microsoft® Windows Server® 2003 R2 avec SP2, édition Entreprise ou Standard 64 bits— a été réorganisée en série de modules.
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION indique un risque de dommage matériel ou de perte de données en cas de non-respect des instructions. ____________________ Les informations contenues dans ce document sont sujettes à modification sans préavis. © 2009 Dell Inc. Tous droits réservés.
Terminologie utilisée dans le présent document Les termes LUN (numéro d'unité logique) et disque virtuel sont synonymes et interchangeables. Le terme LUN est généralement utilisé pour les environnements de système de stockage Dell|EMC Fibre-Channel, tandis que le terme disque virtuel est plutôt réservé aux environnements de stockage SAS à connexion directe (Dell MD3000/MD3000i et Dell MD3000/MD3000i avec châssis d'extension MD1000).
Figure 1.
Tableau 1. Interconnexions matérielles pour Fibre Channel (suite) Composant de cluster Connexions Système de stockage Fibre Channel Dell | EMC Deux câbles CAT 5e/6 connectés au réseau local (un à partir de chaque processeur de stockage) Une à quatre connexions optiques vers chaque commutateur Fibre Channel, dans une configuration avec connexion à un SAN Reportez-vous à la section “Câblage du système de stockage Fibre Channel Dell | EMC”, page 74 pour plus d'informations.
Câblage du système de stockage Fibre Channel Dell | EMC Selon vos besoins, vous pouvez configurer le système de stockage du cluster Oracle dans une configuration avec connexion à un SAN (4 ports). Reportez-vous aux procédures suivantes pour les deux configurations. La figure 2 montre les connexions matérielles utilisées pour configurer un cluster Fibre Channel connecté à un réseau SAN. Figure 2.
Pour configurer le système de stockage du cluster Oracle dans une configuration avec connexion à un SAN (4 ports), procédez comme suit : 1 Installez un câble optique entre le port 0 du processeur de stockage A et le commutateur Fibre Channel 0. 2 Installez un câble optique entre le port 1 du processeur de stockage A et le commutateur Fibre Channel 1. 3 Installez un câble optique entre le port 0 du processeur de stockage B et le commutateur Fibre Channel 1.
Figure 3. Câblage d'un cluster SAS et d'un système PowerVault MD3000 Réseau privé Systèmes PowerEdge PowerVault MD3000 Système de stockage Tableau 2.
Tableau 2. Interconnexions matérielles d'un cluster SAS (suite) Composant de cluster Connexions Commutateur Ethernet Gigabit Une connexion CAT 5e/6 vers la carte réseau (NIC) Gigabit privée de chaque système PowerEdge Une connexion CAT 5e/6 vers l'autre commutateur Ethernet Gigabit Avant de commencer Vérifiez que les tâches suivantes ont bien été effectuées sur le cluster : • Tout le matériel est installé dans le rack. • Toutes les interconnexions matérielles sont configurées.
Figure 4.
Tableau 3.
Configuration d'un cluster iSCSI avec le système de stockage PowerVault MD3000i et les châssis d'extension PowerVault MD1000 Tâche 1: installation du matériel Les clusters iSCSI à connexion directe sont limités à deux nœuds. Figure 5.
5 (Facultatif) Connectez deux câbles SAS entre les deux ports de sortie du MD3000 et les ports d'entrée (“In”) du premier châssis d'extension MD1000. 6 (Facultatif) Connectez deux câbles SAS entre les deux ports de sortie du MD3000 et les ports d'entrée (“In”) du premier châssis d'extension MD1000. REMARQUE : Pour plus d'informations concernant la configuration des châssis d'extension MD1000, reportez-vous à la documentation du système de stockage MD3000i.
Pour créer une configuration avec liaison par commutateur pour les nœuds du cluster (voir la figure 6), procédez comme suit : 1 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) situé sur le nœud 1 et le port du commutateur réseau 1. 2 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) situé sur le nœud 2 et le port du commutateur réseau 1. 3 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) situé sur le nœud 2 et le port du commutateur réseau 1.
Tâche 2 : installation des logiciels hôtes requis pour le stockage Pour installer les logiciels hôtes requis pour le système de stockage PowerVault MD3000i, utilisez le disque “Dell PowerVault Resource CD” fourni avec ce système. Suivez les procédures de la documentation Dell fournie avec le PowerVault MD3000i pour installer le logiciel “Modular Disk Storage Manager” sur le nœud principal, ainsi que le logiciel multiacheminement (MPIO) sur les nœuds restants.
Configuration du cluster iSCSI pour les systèmes de stockage EqualLogic® série PS Terminologies EqualLogic Les matrices de stockage EqualLogic série PS incluent la technologie de virtualisation de stockage. Pour mieux comprendre le fonctionnement de ces matrices, il est utile de vous familiariser avec certaines terminologies permettant de les indiquer et d'expliquer leurs fonctions.
Figure 7. Configuration réseau recommandée La figure 8 présente l'architecture d'un exemple de configuration d'Oracle RAC avec trois matrices PS5000XV. Les câbles bleus indiquent le réseau iSCSI SAN. Les câbles gris indiquent le réseau d'interconnexion privé d'Oracle RAC. Les câbles noirs indiquent le réseau public. Les matrices de stockage PS5000XV fournissent l'espace de stockage physique alloué à la base de données Oracle RAC.
Figure 8. Exemple de configuration d'Oracle RAC avec trois matrices PS5000XV Comme l'indique la figure 8, le groupe appelé oracle-group (groupe d'oracles) est composé de trois membres PS5000XV : membre-oracle01, membre-oracle02 et membre-oracle03. Lorsqu'un membre est initialisé, sa configuration peut se faire avec RAID 10, RAID 5 ou RAID 50. Pour plus d'informations sur l'initialisation d'une matrice EqualLogic, consultez le Guide d'utilisation Dell EqualLogic.
Un groupe de stockage série PS peut être divisé en plusieurs niveaux ou pools. Le stockage à plusieurs niveaux offre aux administrateurs la possibilité de disposer de plus de contrôle sur l'allocation des ressources de disque. Un membre ne peut être attribué à la fois qu'à un seul pool. Il est facile d'attribuer un membre à un pool et également de le déplacer entre les pools sans que l'opération ait la moindre incidence sur la disponibilité des données.
Tableau 4. Volumes pour la configuration d'Oracle RAC (suite) Volume Taille minimale RAID Nombre de partitions Utilisé pour Mappage du système d'exploitation Volume(s) de la troisième zone Au moins deux fois la taille du ou des volumes de la deuxième zone One Zone de récupération flash Groupe de disques ASM FLASHBACKDG 5 Le tableau 4 indique un exemple de configuration d'un volume.
Définition des paramètres d'accès des systèmes hôtes aux volumes Installation et configuration de la boîte à outils d'intégration des systèmes hôtes (HIT) Dell EqualLogic 1 Téléchargez la boîte à outils HIT, version 3.1.2 sur votre serveur de bases de données. 2 Double-cliquez sur Setup64.exe pour ouvrir la fenêtre d'installation. 3 Dans la fenêtre Welcome to the Host Integration Tools 3.1.2 update program (Bienvenue dans le programme de mise à jour 3.1.
Installation de l'initiateur Microsoft iSCSI 1 Cliquez sur Add or Remove Programs (Ajout/Suppression de programmes). 2 Sélectionnez Microsoft iSCSI Initiator (Initiateur Microsoft iSCSI), cliquez sur Remove (Supprimer). Cette opération permet de supprimer l'initiateur 2.0.7 fourni avec le HIT 3.1.2 en cours. 3 Dans la fenêtre Software Update Removal Wizard (Assistant Suppression de la mise à jour), cliquez sur Suivant.
Configuration de l'initiateur Microsoft iSCSI 1 Double-cliquez sur l'icône Microsoft iSCSI Initiator (Initiateur Microsoft iSCSI) sur le bureau. 2 Dans l'onglet Discovery (Découverte) de la fenêtre iSCSI Initiator Properties (Propriétés de l'initiateur iSCSI), l'adresse IP du groupe EqualLogic devrait normalement déjà être installée par la boîte à outils HIT.
8 Reprenez les étapes étape 1 à étape 7 afin de vous connecter au même volume pour toutes les autres adresses IP de l'initiateur. 9 Reprenez les étapes étape 1 à étape 8 afin de vous connecter à tous les autres volumes créés pour la base de données. 10 Reprenez les étapes étape 1 à étape 9 sur tous les autres hôtes du cluster.
Tableau 5. Attributions des ports de carte réseau (NIC) Port de carte réseau (NIC) Trois ports disponibles Quatre ports disponibles 1 IP public et IP virtuel IP public 2 IP privé (équipe NIC) IP privé (équipe NIC) 3 IP privé (équipe NIC) IP privé (équipe NIC) 4 NA IP virtuel Configuration du réseau privé et du regroupement de cartes Avant de déployer le cluster, affectez une adresse IP privée et un nom d'hôte à chaque nœud de cluster.
Configuration du regroupement des NIC pour vos cartes réseau privées REMARQUE : Cette solution ne prend pas en charge le moteur de décentralisation TCP/IP (TOE, TCP Offload Engine) pouvant être utilisé par les cartes réseau (NIC). 1 Sur le nœud 1, identifiez deux cartes réseau devant être utilisées pour le regroupement. 2 Installez un câble Ethernet entre chaque carte réseau sélectionnée et le commutateur du réseau privé. 3 Si le nœud 1 est configuré avec des cartes réseau (NIC), passez à l'étape 4.
l Dans la fenêtre Intel NIC's Properties (Propriétés de la carte réseau NIC Intel), cliquez sur OK. m Fermez la fenêtre Gestion de l'ordinateur. 4 Si le nœud 1 est configuré avec des cartes réseau (NIC) Broadcom, configurez le regroupement des cartes réseau (NIC) comme suit. Sinon, passez à l'étape 5. a Cliquez sur Démarrer→Programmes→Broadcom→Broadcom Advanced Control Suite 3. La fenêtre Broadcom Advanced Control Suite 3 s'affiche.
i Dans la fenêtre Designating Standby Member (Désigner un membre en attente), sélectionnez Do not configure a Standby Member (Ne configurer aucun membre en attente) et cliquez sur Next (Suivant). j Dans la fenêtre Configuring Live Link (Configurer une liaison active), sélectionnez No (Non) et cliquez sur Next (Suivant). k Dans la fenêtre Creating/Modifying a VLAN (Créer/Modifier un VLAN), sélectionnez Skip Manage VLAN (Ignorer la gestion du VLAN) et cliquez sur Next (Suivant).
d Cliquez avec le bouton droit de la souris sur le regroupement de cartes réseau (NIC) privées à renommer et sélectionnez Renommer. e Renommez Private le regroupement de cartes réseau (NIC) privées et appuyez sur . 2 Configurez les adresses IP. REMARQUE : Vous devez définir une passerelle par défaut pour l'interface publique. Sinon, l'installation de Clusterware risque d'échouer. a Cliquez sur Démarrer→Paramètres→Panneau de configuration→ Connexions réseau→ Public→Propriétés.
d Assurez-vous que les cartes réseau apparaissent dans l'ordre suivant : Public Privé REMARQUE : Cliquez sur les flèches vers le haut et vers le bas si vous devez modifier l'ordre des cartes. e Cliquez sur OK. f Fermez la fenêtre Connexions réseau. 4 Sur chaque nœud, ajoutez les adresses IP privée, publique et virtuelle ainsi que le nom de l'hôte au fichier %RacineSystème%\\system32\\drivers\\etc\\hôtes.
6 Vérifiez que les nœuds du cluster peuvent communiquer avec les réseaux public et privé. a Sur le nœud 1, ouvrez une fenêtre d'invite de commande. b À l'invite de commande, tapez : ping ping où et sont les noms des hôtes des cartes réseau publiques et privées de l'autre nœud. Si les cartes réseau de ce nœud ne répondent pas aux commandes ping, vérifiez la configuration du réseau et recommencez cette étape.
5 Développez Stockage et sélectionnez Gestion des disques. Si la fenêtre Bienvenue dans l'Assistant Initialisation et conversion de disque s'affiche, effectuez la procédure de l'étape a à l'étape d. Sinon, passez à l'étape 6. a Dans la fenêtre Bienvenue dans l'Assistant Initialisation et conversion de disque, cliquez sur Suivant. b Dans la fenêtre Sélectionnez les disques à initialiser de l'écran Disques, sélectionnez les disques associés aux disques LUN/virtuels et cliquez sur Suivant.
Installation de PowerPath pour les systèmes Dell | EMC 1 Sur le nœud 1, installez EMC® PowerPath®. REMARQUE : Pour plus d'informations, consultez la documentation d'EMC PowerPath fournie avec le système de stockage Dell | EMC. 2 Une fois l'installation terminée, redémarrez l'ordinateur. 3 Recommencez l'étape 1 et l'étape 2 sur les nœuds restants.
Préparation des disques pour Oracle Clusterware Cette section explique comment créer des lecteurs logiques pour les disques suivants : • Disque OCR (registre du cluster Oracle) : contient les informations de configuration du cluster. • Disque de vote : assure l'arbitrage entre les nœuds de cluster lorsque le réseau privé ou le stockage connecté n'est pas disponible pour un ou plusieurs nœuds.
Préparation du disque OCR et du disque de vote pour Clusterware 1 Sur le Bureau Windows, cliquez avec le bouton droit de la souris sur Poste de travail et sélectionnez Gérer. 2 Développez Stockage et cliquez sur Gestion des disques. Le disque de stockage initialisé à la “Vérification de la fonctionnalité du logiciel de multiacheminement”, page 101 apparaît comme étant Non alloué.
d Dans la fenêtre Spécifier la taille de la partition, tapez 120 dans le champ Taille de la partition en Mo et cliquez sur Suivant. e Dans la fenêtre Attribuer une lettre de lecteur ou de chemin d'accès, sélectionnez Ne pas attribuer une lettre ou un chemin d'accès de lecteur et cliquez sur Suivant. f Dans la fenêtre Formater une partition, sélectionnez Ne pas formater cette partition et cliquez sur Suivant. g Cliquez sur Terminer.
Préparation du disque de la base de données et de la zone de récupération flash pour le stockage de la base de données avec OCFS Cette section contient des informations sur la création de lecteurs logiques devant être utilisés pour créer le disque de stockage OCFS (Oracle's Clustered File System). REMARQUE : Si vous utilisez la gestion de stockage ASM, le groupe de disques de données ASM doit être d'une taille supérieure à celle de la base de données (plusieurs LUN).
Préparation du disque de la base de données et de la zone de récupération flash pour le stockage de la base de données avec ASM Cette section contient des informations sur la création des lecteurs logiques devant être utilisés pour créer une configuration de stockage ASM (Automatic Storage Management). Une configuration de stockage ASM consiste en un ou groupements de disque qui peuvent réunir plusieurs disques.
Suppression des lettres affectées aux lecteurs 1 Sur le bureau Windows, pour chaque nœud, cliquez avec le bouton droit de la souris sur Poste de travail et sélectionnez Gérer. 2 Dans la fenêtre Gestion de l'ordinateur, développez l'élément Stockage et cliquez sur Gestion des disques.
Obtention d'aide Support Dell Pour plus d'informations sur l'utilisation du système, reportez-vous à la documentation fournie avec ses composants. Pour consulter les livres blancs, vous informer sur les configurations Dell prises en charge ou obtenir des informations plus générales, rendez-vous à l'adresse dell.com/oracle. Pour obtenir une assistance technique sur votre matériel ou le système d'exploitation et télécharger les dernières mises à jour appropriées pour le système, visitez le site support.dell.
Dell™ PowerEdge™-Systeme Oracle Database 11g R1 auf Microsoft® Windows Server® 2003 Speicher- und Netzwerkhandbuch Version 1.0 Überblick zur Oracle Database 11g-Dokumentation Die Dokumentation für Oracle Database 11g R1 auf Red Hat® Enterprise Linux 5 Advanced Server x86-64 – oder Oracle Database 11g R1 Enterprise oder Standard Edition auf Microsoft® Windows Server® 2003 R2 mit SP2, Standard oder Enterprise x64 Edition – ist in eine Reihe von Modulen gegliedert.
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie das System besser einsetzen können. VORSICHTSHINWEIS: Ein VORSICHTSHINWEIST werden Sie auf potenzielle Gefahrenquellen hingewiesen, die Hardwareschäden oder Datenverlust zur Folge haben könnten, wenn die Anweisungen nicht befolgt werden. ____________________ Irrtümer und technische Änderungen vorbehalten. © 2009 Dell Inc. Alle Rechte vorbehalten.
In diesem Dokument verwendete Terminologie In diesem Dokument werden die Begriffe Logische Gerätenummer (LUN) und Virtueller Datenträger verwendet. Diese Begriffe sind synonym und untereinander ersetzbar. Der Begriff LUN wird üblicherweise im Zusammenhang mit Dell|EMC Fibre-Channel-Speichersystemumgebungen und virtueller Datenträger bei DirectAttach-SAS-Speicherumgebungen gebraucht (Dell MD3000/MD3000i und Dell MD3000/MD3000i mit MD1000-Erweiterung).
Abbildung 1. Hardwareverbindungen für einen SAN-Attached Fibre-Channel-Cluster Öffentliches Netzwerk Gb-Ethernet-Switches (privates Netzwerk) PowerEdge-Systeme (Oracle-Datenbank) Dell | EMC FibreChannel-Switches (SAN) CAT 5e/6 (Kupfer-Gigabit-NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Zusätzliche Glasfaserkabel Fibre-Channel-Speichersysteme Dell | EMC AX4-5F, CX3-10c, CX3-20, CX3-20F, CX3-40, CX3-40F, CX3-80, CX4-120, CX4-240, CX4-480 oder CX4-960 Tabelle 1.
Tabelle 1. Fibre-Channel-Hardwareverbindungen (fortgesetzt) Clusterkomponente Verbindungen Dell|EMC Fibre-ChannelSpeichersystem Zwei CAT 5e/6-Kabel zum LAN (eines von jedem Speicherprozessor) Ein bis vier Glasfaserverbindungen zu jedem FibreChannel-Switch in einer SAN-verbundenen Konfiguration Weitere Informationen finden Sie unter „Verkabelung des Dell|EMC Fibre-Channel-Speichersystems“ auf Seite 114.
Verkabelung des Dell|EMC Fibre-Channel-Speichersystems Sie können das Oracle-Cluster-Speichersystem nach Bedarf in einer SANverbundenen Konfiguration mit vier Ports einrichten. Nachstehend sind die Anleitungen für beide Konfigurationstypen aufgeführt. Abbildung 2 zeigt die Hardwareverbindungen für die Einrichtung eines SANverbundenen Fibre-Channel-Clusters. Abbildung 2.
3 Installieren Sie ein Glaserfaserkabel zwischen Port 0 von SP-B und FibreChannel-Switch 1. 4 Installieren Sie ein Glaserfaserkabel zwischen Port 1 von SP-B und FibreChannel-Switch 0. 5 Verbinden Sie HBA 0 von Knoten 1 durch ein Glaserfaserkabel mit FibreChannel-Switch 0. 6 Verbinden Sie HBA 1 von Knoten 1 durch ein Glaserfaserkabel mit FibreChannel-Switch 1. 7 Verbinden Sie HBA 0 von jedem weiteren Knoten durch ein Glaserfaserkabel mit Fibre-Channel-Switch 0.
Abbildung 3. SAS-Cluster und PowerVault MD3000 verkabeln Privates Netzwerk PowerEdge-System PowerVault MD3000 Speichersystem Tabelle 2.
Tabelle 2. Verbindungen der SAS-Clusterhardware (fortgesetzt) Clusterkomponente Verbindungen Gigabit-Ethernet-Switch Jeweils eine CAT 5e/6-Verbindung zum privaten Gigabit-NIC auf jedem PowerEdge-System Eine CAT 5e/6-Verbindung zum anderen GigabitEthernet-Switch Bevor Sie beginnen Überprüfen Sie, ob folgende Schritte für den Cluster ausgeführt wurden: • Die Hardware ist vollständig im Rack installiert. • Alle Hardwareverbindungen sind konfiguriert.
4 Installieren Sie ein SAS-Kabel zwischen einem Port des anderen SASControllers von Knoten 2 mit dem Port In-1 von RAID-Controller 1 im MD3000 RAID-Gehäuse. Abbildung 4.
iSCSI-Cluster-Setup mit PowerVault MD3000iGehäuse und MD1000-Erweiterung Dieser Abschnitt enthält Informationen und Vorgehensweisen zur Konfiguration Ihrer PowerEdge-Systeme und der Hard- und Software des PowerVault MD3000i zum Einsatz in einer Oracle Real Application Cluster-Umgebung. Überprüfen Sie die Hardwareverbindungen sowie die Hardware- und Softwarekonfigurationen mit den Angaben unter „Supported Configuration“ in der Dell PowerVault MD3000i Support Matrix. Die Dokumentation kann von support.dell.
Einrichten eines iSCSI-Clusters mit PowerVault MD3000i-Speichersystem und PowerVault MD1000-Erweiterungsgehäusen Schritt 1: Hardware-Setup Direkt verbundene iSCSI-Cluster sind auf zwei Knoten beschränkt. Abbildung 5.
3 Installieren Sie ein CAT 5e/6-Kabel zwischen einem Port (iSCSI-HBA oder NIC) von Knoten 2 und dem Port In-1 von RAID-Controller 0 im MD3000iSpeichergehäuse. 4 Installieren Sie ein CAT 5e/6-Kabel zwischen dem anderen Port (iSCSI-HBA oder NIC) von Knoten 2 und dem Port In-1 von RAID-Controller 1 im MD3000i-Speichergehäuse. 5 (Optional) Verbinden Sie die beiden MD3000-Ausgänge durch zwei SASKabel mit den beiden Eingängen des ersten MD1000-Erweiterungsgehäuses.
Um die Knoten über Switches zu konfigurieren (siehe Abbildung 6), gehen Sie wie folgt vor: 1 Installieren Sie ein CAT 5e/6-Kabel zwischen einem Port (iSCSI-HBA oder NIC) von Knoten 1 und dem Port von Netzwerkswitch 1. 2 Installieren Sie ein CAT 5e/6-Kabel zwischen einem Port (iSCSI-HBA oder NIC) von Knoten 1 und dem Port von Netzwerkswitch 2. 3 Installieren Sie ein CAT 5e/6-Kabel zwischen einem Port (iSCSI-HBA oder NIC) von Knoten 2 und dem Port von Netzwerkswitch 1.
Schritt 2: Installation der hostbasierten Software für das Speichersystem Um die erforderliche hostbasierte Software für das PowerVault MD3000i-Speichersystem zu installieren, verwenden Sie die Dell PowerVault Resource-CD, die mit dem MD3000i-Speichersystem geliefert wurde. Folgen Sie den Anweisungen in der Dell Dokumentation zum PowerVault MD3000i-Speichersystem, um die „Modular Disk Storage Manager Software“ auf dem Master-Knoten und die Multi-PathSoftware (MPIO) auf den übrigen Knoten zu installieren.
Einrichtung des iSCSI-Clusters für EqualLogic® PS-Speichersysteme EqualLogic-Terminologie PS-Speicherarrays von EqualLogic beinhalten Speichervirtualisierungstechnologie. Um die Funktion dieser Arrays besser zu verstehen, sollten Sie einige Begriffe kennen, die in diesem Zusammenhang verwendet werden: • Mitglied: ein einzelnes PS-Array wird als Mitglied bezeichnet.
Abbildung 7. Empfohlene Netzwerkkonfiguration Abbildung 8 zeigt eine Oracle RAC-Beispielkonfiguration mit drei PS5000XVArrays. Die blauen Kabel stehen für das iSCSI-SAN. Die grauen Kabel stehen für das private Oracle RAC-Verbindungsnetzwerk. Die schwarzen Kabel stehen für das öffentliche Netzwerk. Die PS5000XV-Speicherarrays stellen die physische Speicherkapazität für die Oracle RAC-Datenbank bereit.
Abbildung 8. Oracle RAC-Beispielkonfiguration mit drei PS5000XV-Arrays Wie dargestellt in Abbildung 8, umfasst die Gruppe oracle-group drei PS5000XVMitglieder: oracle-member01, oracle-member02 und oracle-member03. Wenn ein Mitglied initialisiert wird, kann es mit RAID 10, RAID 5 oder RAID 50 konfiguriert werden. Weitere Informationen zum Initialisieren eines EqualLogic-Arrays erhalten Sie im Dell EqualLogic User's Guide (Dell EqualLogic Benutzerhandbuch).
Eine PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden. Mit gestaffeltem Speicher haben Administratoren mehr Kontrolle über die Zuweisung von Datenträgerressourcen. Zu jedem Zeitpunkt kann ein Mitglied nur einem einzigen Pool zugewiesen werden. Ein Mitglied lässt sich einem Pool problemlos zuweisen und zwischen Pools verschieben, ohne dass dies die Datenverfügbarkeit beeinflusst.
Tabelle 4. Volumes für Oracle RAC-Konfiguration (fortgesetzt) Volume Mindestgröße Volume(s) im zweiten Bereich Volume(s) im dritten Bereich RAID Anzahl der Partitionen Verwendet für Betriebssystemzuweisung Größer als die 10 Datenbank Einer Daten ASM-Datenträgergruppe DATABASEDG Mindestens doppelt so groß wie die Volumes im zweiten Bereich Einer Wiederherstellungsbereich ASM-Datenträgergruppe FLASHBACKDG 5 Tabelle 4 zeigt eine Volume-Beispielkonfiguration.
Konfigurieren von Hostzugriff auf Volumes Installieren und Konfigurieren des Dell EqualLogic Host Integration Tool-Kits (HIT) 1 Laden Sie das HIT-Tool-Kit 3.1.2 auf Ihren Datenbankserver herunter. 2 Doppelklicken Sie auf Setup64.exe, um das Installationsfenster zu öffnen. 3 Klicken Sie im Begrüßungsfenster des Host Integration Tools 3.1.2 UpdateProgramms auf Weiter.
Installation des Microsoft iSCSI-Initiators 1 Wählen Sie Software in der Systemsteuerung. 2 Wählen Sie Microsoft iSCSI Initiator und klicken Sie auf Entfernen. Damit wird der Initiator 2.0.7 entfernt, der im aktuellen HIT 3.1.2 enthalten ist. 3 Klicken Sie im Fenster Software Update Removal Wizard auf Weiter. 4 Klicken Sie im Fenster Software Update Removal Wizard auf Fertig stellen. 5 Wenn der Server wieder hochgefahren ist, laden Sie den Microsoft iSCSIInitiator 2.0.8 auf den Datenbankserver herunter.
4 Aktivieren Sie im Fenster Log On to Target (An Target anmelden) die zwei Kontrollkästchen bei Automatically restore this connection when the system boots (Diese Verbindung beim Systemstart automatisch wiederherstellen) und Enable multi-path (Multipath aktivieren). Klicken Sie auf Advanced (Erweitert).
iKonfiguration von Speicher und Netzwerk für Oracle 11g RAC Dieser Abschnitt enthält die folgenden Informationen zur Netzwerkund Speicherkonfiguration: • Konfiguration des öffentlichen und privaten Netzwerks • Überprüfen der Speicherkonfiguration • Konfiguration des gemeinsamen Speichers für Oracle Clusterware und Oracle Database ANMERKUNG: Oracle RAC 10g R2 benötigt eine komplexe Datenbankkonfiguration mit einer festgelegten Reihenfolge von Vorgängen.
Konfiguration und Teaming des privaten Netzwerks Bevor Sie den Cluster einrichten, weisen Sie jedem Clusterknoten eine private IP-Adresse und einen Hostnamen zu. So ist gewährleistet, dass die Knoten über die private Schnittstelle miteinander kommunizieren können. Tabelle 6 enthält ein Beispiel für eine Netzwerkkonfiguration mit einem Zwei-Knoten-Cluster. ANMERKUNG: In diesem Beispiel wird davon ausgegangen, dass alle IP-Adressen in der hosts-Datei sämtlicher Clusterknoten registriert sind.
3 Wenn Knoten 1 mit Broadcom-NICs ausgestattet ist, fahren Sie mit Schritt 4 fort. Wenn Knoten 1 mit Intel®-NICs ausgestattet ist, konfigurieren Sie das NIC-Teaming, indem Sie folgende Schritte durchführen: 134 a Klicken Sie mit der rechten Maustaste auf Arbeitsplatz, und wählen Sie Verwalten. b Wählen Sie im Fenster Computerverwaltung den Geräte-Manager. c Erweitern Sie die Registerkarte Netzwerkadapter.
4 Wenn Knoten 1 mit Broadcom-NICs ausgestattet ist, konfigurieren Sie das NICTeaming mit folgenden Schritten: Fahren Sie andernfalls mit Schritt 5 fort. a Wählen Sie Start →Programme→Broadcom→Broadcom Advanced Control Suite 3. Das Fenster Broadcom Advanced Control Suite 3 wird angezeigt. b Markieren Sie Team Management (Team-Verwaltung), klicken Sie auf Teams, und wählen Sie Create a Team (Team erstellen). Das Fenster Broadcom Teaming Wizard (Broadcom Teaming-Assistent) wird angezeigt.
l Klicken Sie im letzten Fenster auf Preview (Voransicht), um das NICTeam und die Adapter zu überprüfen. Wählen Sie dem Überprüfen Commit changes to system (Änderungen am System übernehmen), und beenden Sie den Assistenten. Klicken Sie auf Fertig stellen. m Klicken Sie im Meldungsfenster auf Ja, um den Vorgang fortzusetzen. n Klicken Sie im Fenster Broadcom Advanced Control Suite 3 auf Datei und danach auf Beenden. 5 Wiederholen Sie Schritt 1 bis Schritt 4 für die übrigen Knoten.
2 Konfigurieren Sie die IP-Adressen. ANMERKUNG: Sie müssen für die öffentliche Schnittstelle ein StandardGateway festlegen, andernfalls schlägt die Clusterware-Installation möglicherweise fehl. a Wählen Sie Start→Einstellungen→Systemsteuerung→ Netzwerkverbindungen→ Öffentlich→Eigenschaften. b Doppelklicken Sie auf Internet Protocol (TCP/IP).
d Vergewissern Sie sich, dass die Netzwerkadapter in der nachstehenden Reihenfolge aufgeführt sind: Öffentlich Privat ANMERKUNG: Um die Reihenfolge der Netzwerkadapter zu ändern, klicken Sie auf die Pfeilsymbole (Nach oben / Nach unten). e Klicken Sie auf OK. f Schließen Sie das Fenster Netzwerkverbindungen. 4 Tragen Sie auf allen Knoten in der Datei %SystemRoot%\system32\drivers\etc\hosts die private, öffentliche und virtuelle IP-Adresse ein.
5 Wiederholen Sie Schritt 1 bis Schritt 4 für die verbleibenden Knoten. 6 Stellen Sie sicher, dass die Clusterknoten mit den öffentlichen und privaten Netzwerken kommunizieren können. a Öffnen Sie ein Befehlszeilenfenster auf Knoten 1. b Geben Sie in der Befehlszeile Folgendes ein: ping <Öffentlicher_Hostname> ping Ersetzen Sie dabei <Öffentlicher_Hostname> und durch die Hostnamen des öffentlichen bzw. des privaten Netzwerkadapters im verbleibenden Knoten.
Überprüfen der Zuordnung zwischen dem Speichersystem und den Knoten 1 Klicken Sie auf dem Desktop mit der rechten Maustaste auf Arbeitsplatz, und wählen Sie Verwalten. 2 Klicken Sie im Fenster Computerverwaltung auf Geräte-Manager. 3 Erweitern Sie den Zweig Laufwerke. 4 Vergewissern Sie sich, dass unter Laufwerke für jeden virtuellen Datenträger/ LUN im Speichersystem vier SCSI-Laufwerke (Small Computer System Interface) aufgeführt sind.
Installation des Multipath-Treibers für Speichersysteme Um den passenden Multipath-Treiber zu installieren, befolgen Sie die Anleitung in der mit dem Speichersystem ausgelieferten Dokumentation. ANMERKUNG: Bei einem SAS- oder iSCSI-Cluster (MD3000/MD300i-Speichersystem) sollte die Multi-Path-Software gemäß den Anweisungen von Abschnitt „Installation der hostbasierten Software für das Speichersystem“ auf Seite 139 bereits auf den Hosts installiert sein.
Vorbereiten der Datenträger für Oracle Clusterware Dieser Abschnitt enthält Informationen zum Erstellen der logischen Laufwerke für die folgenden Datenträger: • OCR-Datenträger (Oracle Cluster Registry) – Enthält die Clusterkonfigurationsinformationen • Voting-Datenträger – Sorgt für Ausgleich zwischen den Clusterknoten, wenn das private Netzwerk oder das verbundene Speichersystem für einen oder mehrere Knoten nicht zugänglich ist • Daten- und Sicherungsdatenträger – Stellen Speicherbereiche zum Erstel
Vorbereiten des OCR- und Voting-Datenträgers für Clusterware 1 Klicken Sie auf dem Desktop mit der rechten Maustaste auf Arbeitsplatz, und wählen Sie Verwalten. 2 Erweitern Sie den Zweig Datenspeicher, und klicken Sie dann auf Datenträgerverwaltung. Das Speicherlaufwerk, das Sie in „Überprüfen der Funktionalität des Multipath-Treibers“ auf Seite 141 initialisiert haben, wird als Nicht zugeordnet angezeigt.
d Geben Sie im Fenster Specify Partition Size (Partitionsgröße festlegen) im Feld Partition size in MB (Partitionsgröße in MB) den Wert 120 ein, und klicken Sie auf Weiter. e Wählen Sie im Fenster Assign Drive Letter or Path (Laufwerkbuchstabe oder Pfand zuweisen) die Option Do not assign a drive letter or drive path (Keinen Laufwerkbuchstaben/Pfad zuweisen) und klicken Sie auf Weiter.
h Wiederholen Sie die Schritte Schritt a bisSchritt g zweimal, um zwei weitere Voting-Datenträgerpartitionen zu erstellen. ANMERKUNG: Wenn Sie einen redundanten Voting- und OCR-Datenträger verwenden, wiederholen Sie die Schritte Schritt 9 und Schritt 10 für den redundanten Voting- und OCR-Datenträger.
g Wählen Sie im Fenster Format Partition (Partition formatieren) die Option Do not format this partition (Diese Partition nicht formatieren), und klicken Sie auf Weiter. h Klicken Sie auf Fertig stellen. 2 Erstellen Sie auf Knoten 1 ein logisches Laufwerk für den Wiederherstellungsbereich. a Identifizieren Sie den Datenträger, der für den Wiederherstellungsbereich vorgesehen ist. b Führen Sie Schritt b bis Schritt h von Schritt 1 durch.
f Wählen Sie im Fenster Assign Drive Letter or Path (Laufwerkbuchstabe oder Pfand zuweisen) die Option Do not assign a drive letter or drive path (Keinen Laufwerkbuchstaben/Pfad zuweisen) und klicken Sie auf Weiter. g Wählen Sie im Fenster Format Partition (Partition formatieren) die Option Do not format this partition (Diese Partition nicht formatieren), und klicken Sie auf Weiter. h Klicken Sie auf Fertig stellen. 2 Erstellen Sie ein logisches Laufwerk für den Wiederherstellungsbereich.
Wie Sie Hilfe bekommen Dell Support Ausführliche Informationen zur Verwendung des Systems finden Sie in der zusammen mit den Systemkomponenten gelieferten Dokumentation. Verschiedene Whitepaper, von Dell unterstützte Konfigurationen und allgemeine Informationen finden Sie unter dell.com/oracle. Technischen Support von Dell für die Hardware und die Betriebssystemsoftware sowie aktuelle Updates für das System finden Sie auf der Dell Support-Webseite unter support.dell.com.
Dell™ PowerEdge™ システム Microsoft® Windows Server® 2003 上で使用する Oracle Database 11g R1 ストレージ & ネットワ ークガイドバージョン 1.
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明しています。 注意 : 手順に従わない場合は、ハードウェアの損傷やデータの損失の可能 性があることを示しています。 ____________________ 本書の内容は予告なく変更されることがあります。 © 2009 すべての著作権は Dell Inc. にあります。 Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられています。 本書に使用されている商標：Dell、DELL ロゴ、PowerEdge および PowerVault は Dell Inc.
本書で使用されている用語 本書では、「論理ユニット番号」（LUN）および「仮想ディスク」という語が 使われています。これらの用語は同義語であり、どちらを使用しても構いま せん。「LUN」は Dell|EMC ファイバーチャネルストレージシステムの環境 で、「仮想ディスク」は 直接接続 SAS（Dell MD3000/MD3000i および Dell MD3000/MD3000i + MD1000 拡張）ストレージの環境で、通常使われる用 語です。 ファイバーチャネルクラスタのセットアップ デルマネージドサービスの技術者がファイバーチャネルクラスタのセット アップを終えたら、本項の説明に従ってハードウェアの接続およびハード ウェアとソフトウェアの構成を確認してください。ストレージエリアネット ワーク（SAN）接続のファイバーチャネルクラスタ（ノード 2 つ）に必要な クラスタ接続を 図 1、図 2、および 表 1 に示します。 151
図 1. SAN 接続のファイバーチャネルクラスタ用のハードウェア接続 パブリックネットワーク ギガビットイーサネットスイッチ （プライベートネットワーク） PowerEdge システム （Oracle データベース） Dell | EMC ファイバーチャ ネルスイッチ（SAN） CAT 5e/6（銅線ギガビット NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル 追加の光ファイバーケーブル Dell | EMC AX4-5F、CX3-10c、CX3-20、CX3-20F、CX3-40、CX3-40F、CX3-80、 CX4-120、CX4-240、CX4-480、または CX4-960 ファイバーチャネルストレ ージシステム 表 1.
表 1.
Dell|EMC ファイバーチャネルストレージのケーブル接続 Oracle クラスタのストレージシステムは、必要に応じて 4 ポートの SAN 接 続構成が可能です。各構成について、以下の手順を参照してください。 SAN 接続のファイバーチャネルクラスタのセットアップに使うハードウェア 接続を 図 2 に示します。 図 2.
4 1 本の光ケーブルを SP-B ポート 1 からファイバーチャネルスイッチ 0 に接続します。 5 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 6 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 7 1 本の光ケーブルを各追加ノードの HBA 0 からファイバーチャネル スイッチ 0 に接続します。 8 1 本の光ケーブルを各追加ノードの HBA 1 からファイバーチャネル スイッチ 1 に接続します。 PowerVault™ MD3000 を使用した SAS クラスタ のセットアップ PowerEdge システムと PowerVault MD3000 のハードウェアとソフトウェ アが Oracle Real Application Cluster の環境で機能するように設定するには、 図 3、表 2、および 図 4 を参照し、本項の説明に従って、次のハードウェア 接続、およびハードウェアとソフトウェアの構成を確認してください。 図 3.
表 2.
SAS ストレージシステムのケーブル接続 SAS クラスタは直接接続クラスタ内にのみ取り付け可能であるため、 2 ノードまでに限定されます。 ノードを直接接続（図 4 を参照）で構成するには、以下の手順を実行し ます。 1 ノード 1 の SAS コントローラのポートと MD3000 RAID エンクロージャ 内の RAID コントローラ 0 の In-0 ポートを 1 本の SAS ケーブルで接続 します。 2 ノード 1 のもう一方の SAS コントローラのポートと MD3000 RAID エン クロージャ内の RAID コントローラ 1 の In-0 ポートを 1 本の SAS ケー ブルで接続します。 3 ノード 2 の SAS コントローラのポートと MD3000 RAID エンクロージャ 内の RAID コントローラ 0 の In-1 ポートを 1 本の SAS ケーブルで接続 します。 4 ノード 2 のもう一方の SAS コントローラのポートと MD3000 RAID エン クロージャ内の RAID コントローラ 1 の In-1 ポートを 1 本の SAS ケー ブルで接続します。 157
図 4. 直接接続 SAS クラスタのケーブル接続 デュアル HBA ホストサーバー デュアル HBA ホストサーバー RAID コントローラモ ジュール 0 RAID コントローラモジュール 1 MD3000 RAID エンクロージャ MD1000 拡張エンクロージャ MD1000 拡張エンクロージャ PowerVault MD3000i と MD1000 拡張エンクロー ジャを使用した iSCSI クラスタのセットアップ 本項では、PowerEdge システムと PowerVault MD3000i ハードウェアとソ フトウェアが Oracle Real Application Cluster 環境で機能するように設定す るための情報と手順を示します。 Dell PowerVault MD3000i の『サポートマトリクス』に記されている 「Supported Configuration」（サポートされている構成）の図を参照して、 ハードウェア接続およびハードウェアとソフトウェアの構成を確認してくだ さい。マニュアルは support.dell.
表 3.
PowerVault MD3000i ストレージシステムと PowerVault MD1000 拡張エ ンクロージャを使用して iSCSI クラスタをセットアップする方法 タスク 1: ハードウェアのセットアップ 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 5.
4 ノード 2 のもう一方のポート（iSCSI HBA または NIC）と MD3000i ス トレージエンクロージャ内の RAID コントローラ 1 の In-1 ポートを 1 本 の CAT 5e/6 ケーブルで接続します。 5 （オプション）MD3000 の 2 個の出力ポートと 1 台目の MD1000 拡張エ ンクロージャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション）MD1000 の 2 個の出力ポートと 2 台目の MD1000 拡張エ ンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：MD1000 拡張エンクロージャの設定については、MD3000i ストレージシ ステムのマニュアルを参照してください。 スイッチ式 iSCSI クラスタは、最大 8 ノードをサポートします。 図 6.
ノードをスイッチ式で構成するには、図 6 を参照し、以下の手順を実行し ます。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッ チ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッ チ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッ チ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッ チ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと MD3000i ストレージエンクロージャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで 接続します。 6 スイッチ 1 のもう一方のポートと MD3000i ストレージエンクロージャ 内の RAID コントローラ 1 の In-0 ポートを
タスク 2: ストレージに必要なホストベースソフトウェアのインストール PowerVault MD3000i ストレージシステムに必要なホストベースのストレー ジソフトウェアをインストールするには、MD3000i ストレージシステムに付 属の Dell PowerVault の『Resource CD』ソフトウェアを使用します。 PowerVault MD3000i ストレージシステムに付属のマニュアルに記載されて いる手順に従って、Modular Disk Storage Manager ソフトウェアをマス ターノードに、マルチパス（MPIO）ソフトウェアを残りのノードにインス トールします。 MD3000i ストレージサブシステムには Microsoft® iSCSI Software Initiator が必要です。Microsoft iSCSI Software Initiator は www.microsoft.
EqualLogic® PS シリーズのストレージシステム 用の iSCSI クラスタのセットアップ EqualLogic の用語 EqualLogic PS シリーズのストレージアレイには、ストレージ仮想化テクノ ロジが搭載されています。これらのアレイの仕組みをよりよく理解するに は、アレイとその機能の説明に使用される用語を知っていると役に立ち ます。 • メンバー：PS シリーズの単一のアレイはメンバーと呼ばれます。 • グループ： 集中管理が可能な 1 つまたは複数のメンバーのセット。ホス トサーバーは 1 つのグループ IP アドレスによってデータにアクセスし ます。 • プール：1 つまたは複数のメンバーからのディスクで構成できる RAID。 • ボリューム：プールの容量の一部を表す LUN または仮想ディスク。 EqualLogic iSCSI ストレージシステムのケーブル接続 ホストサーバーは、IP SAN 業界標準ギガビットイーサネットスイッチを経由 して Dell EqualLogic PS5000XV iSCSI アレイに接続できます。図 7 は、デュ アルコントロールモジ
図 7.
図 8.
プールは、ディスクのタイプ、速度、RAID レベル、アプリケーションのタ イプなど、さまざまな基準に従って組むことができます。図 2 では、プール はメンバーの RAID レベルに従って組まれています。すなわち、RAID-10 と いう名前のプールは RAID 10 のメンバーで構成され、RAID-5 という名前の プールは RAID 5 のメンバーで構成されています。 ボリュームの作成 データを保存する前に、PS5000XV の物理ディスクを設定して、ボリューム と呼ばれる使用可能なコンポーネントにする必要があります。ボリュームは ストレージプールを構成する一部であり、特定のサイズ、アクセスコント ロール、その他の属性を持っています。ボリュームは複数のディスクとグ ループメンバー間に分散させることができ、ネットワーク上では iSCSI ター ゲットとして認識されます。ボリュームはプールに割り当てられます。別の プールに移動することも容易で、データの可用性に何ら影響はありません。 また、プール内のストレージハードウェアリソースの総合的な負荷に基づい て、プール内で自動データ配置と自動負荷バランシングが行われ
iSCSI ネットワークの設定 デルでは、最適なパフォーマンスを得るために、ホストネットワークインタ フェースを iSCSI トラフィック用に設定して、フロー制御とジャンボフレー ムを使用することをお勧めします。 フロー制御とジャンボフレームを設定するには、以下の手順を実行します。 1 スタート → 設定 → ネットワーク接続 の順に選択します。 2 iSCSI ネットワークインタフェースをハイライト表示し、Properties （プロパティ）を右クリックします。 3 Configure（設定）をクリックします。 4 Advanced（詳細）をクリックします。 5 Jumbo Packet（ジャンボパケット）をハイライト表示し、 値を 9014 Bytes に設定します。 6 Performance Options（パフォーマンスオプション）をハイライト表 示し、Properties（プロパティ）をクリックします。この操作で、 Performance Options（パフォーマンスオプション）ウィンドウが開 きます。 7 Performance Options（パフォーマンスオプション）ウィンドウで、 Flo
4 License Agreements（ライセンス契約）ウィンドウで、I accept the terms of all the license agreements（ライセンス契約に同 意します）を選択し、Next（次へ）をクリックします。 5 Installation Type（インストールの種類）ウィンドウで、 Next（次へ）をクリックします。 6 Ready to install the components（インストールの準備完了） ウィンドウで、Install（インストール）をクリックします。 7 Installation Status（インストール状況）ウィンドウと Software Update Installation Wizard（ソフトウェアの更新のインストール ウィザード）ウィンドウが表示されます。 8 Installation Complete（インストールの完了）ウィンドウで、 Finish（完了）をクリックします。 9 System Restart Required（システムの再起動が必要）ウィンドウで、 Yes, I want to restart my computer
Microsoft iSCSI Initiator のインストール 1 プログラムの追加と削除 をクリックします。 2 Microsoft iSCSI Initiator を選択し、Remove（削除）をクリックし ます。これは、現在の HIT 3.1.2 にパッケージされている イニシエータ 2.0.7 を削除するための処理です。 3 Software Update Removal Wizard（ソフトウェアアップデートの 削除ウィザード）ウィンドウで、Next（次へ）をクリックします。 4 Software Update Removal Wizard（ソフトウェアの更新の削除 ウィザード）ウィンドウで、Finish（完了）をクリックします。 5 サーバーが再起動したら、Microsoft iSCSI Initiator 2.0.8 をデータベー スサーバーにダウンロードします。 6 Initiator-2.08-build3825-x64fre.
Microsoft iSCSI Initiator の設定 1 デスクトップで Microsoft iSCSI Initiator アイコンをダブルクリック します。 2 iSCSI Initiator Properties（iSCSI イニシエータのプロパティ）ウィン ドウの Discovery（検出）タブにある EqualLogic グループアドレスの IP アドレスは、HIT ツールキットによってすでに入力されています。 3 iSCSI Initiator Properties（iSCSI イニシエータのプロパティ）ウィン ドウの Targets（ターゲット）タブで、Oracle データベース用に作成さ れた 1 つのボリュームをクリックします。Log On（ログオン）をク リックします。 4 Log On to Target（ターゲットへのログオン）ウィンドウで、 Automatically restore this connection when the system boots （システムの起動時にこの接続を自動的に回復する）と Enable multipath（マルチパスの有効化）の横のボック
7 iSCSI Initiator Properties（iSCSI イニシエータのプロパティ）ウィン ドウの Targets（ターゲット）タブで、ログオンされているボリューム のステータスは Connected（接続済み）になっています。 8 その他の各 iSCSI イニシエータ IP の IP アドレスについて 手順 1 ～ 手 順 7 を繰り返して、同じボリュームにログオンします。 9 手順 1 ～ 手順 8 を繰り返して、データベース用に作成されたその他す べてのボリュームにログオンします。 10 クラスタ内の残りのすべてのホストで 手順 1 ～ 手順 9 を繰り返します。 Oracle 11g RAC 用のストレージ（記憶域） およびネットワークの設定 本項では、ネットワークとストレージの設定について以下の内容を説明し ます。 • パブリックおよびプライベートネットワークの設定 • ストレージ構成の確認 • Oracle Clusterware および Oracle データベース用の共有ストレージの 構成 メモ：Oracle RAC 11g R1 は、順序化された一連の手順を必要とする複
表 5.
プライベートネットワークアダプタ用の NIC のチーム化の設定 メモ：このソリューションでは、TIE 対応 NIC の TOE（TCP オフロー ドエンジン）機能はサポートされません。 1 ノード 1 で、NIC チーム化に使用される 2 つのネットワークアダプタを 確認します。 2 選択した各ネットワークアダプタとプライベートネットワークスイッチ をイーサネットケーブルで接続します。 3 ノード 1 が Broadcom NIC で構成されている場合は、手順 4 を参照して ください。ノード 1 が Intel® NIC で構成されている場合は、次の手順で NIC のチーム化を設定します。 174 a マイコンピュータ を右クリックし、管理 を選択します。 b コンピュータの管理 ウィンドウで、デバイスマネージャ を選択し ます。 c ネットワークアダプタ タブを展開します。 d NIC のチーム化用として識別された Intel NIC を右クリックし、 プロパティ を選択します。 e チーム化 タブをクリックします。 f その他のアダプタとチーム化する を選択し、新規チーム を
4 ノード 1 が Broadcom NIC で構成されている場合は、次の手順で NIC の チーム化を設定します。それ以外の場合は 手順 5 に進みます。 a スタート → プログラム → Broadcom→ Broadcom Advanced Control Suite 3 の順にクリックします。 Broadcom Advanced Control Suite 3 ウィンドウが表示され ます。 b チームの管理 をハイライト表示し、チーム をクリックし、 チームの作成 を選択します。 Broadcom Teaming Wizard（Broadcom チーム化ウィザード） ウィンドウが表示されます。 c Next（次へ）をクリックします。 d Enter the name for the team（チームの名前を入力します） フィールドで、Private と入力し、Next（次へ）をクリックし ます。 e チームタイプを選択するフィールドで、Smart Load Balancing (TM) and Failover (SLB)（Smart Load Balancing (TM) とフェイ
j Configuring Live Link（Live Link の設定）ウィンドウで、 No（いいえ）を選択し、Next（次へ）をクリックします。 k Creating/Modifying a VLAN（VLAN の作成 / 修正）ウィンドウ で、Skip Manage VLAN（管理 VLAN を省略する）を選択し、 Next（次へ）をクリックします。 l 最後のウィンドウで Preview（プレビュー）をクリックし、NIC チームとアダプタを確認します。確認を終えたら、Commit changes to system（変更をシステムに適用する）を選択し、 ウィザードを終了します。Finish（完了）をクリックします。 m 情報メッセージウィンドウで Yes（はい）をクリックして続行し ます。 n Broadcom Advanced Control Suite 3 ウィンドウで、File （ファイル）をクリックし、Exit（終了）をクリックします。 5 手順 1 ～ 手順 4 を残りのクラスタノードで繰り返します。 パブリックおよびプライベートネットワークアダプタ用の IP アドレス
2 IP アドレスを設定します。 メモ：パブリックインタフェースにデフォルトゲートウェイを設定する 必要があります。そうしないと、Clusterware のインストールが失敗する 場合があります。 a スタート → 設定 → コントロールパネル → ネットワーク接続 → パブリック → プロパティ の順にクリックします。 b インターネットプロトコル（TCP/IP）をダブルクリックします。 c 次の IP アドレスを使う をクリックし、必要な IP アドレス、デフォ ルトゲートウェイアドレス、および DNS サーバーの IP アドレスを 入力し、OK をクリックします。 d パブリックプロパティ ウィンドウで、接続時に通知領域にアイコン を表示する を選択します。 本項の手順を実行すると、システムトレイにネットワークアダプタのス テータスが表示されます。 e OK をクリックします。 f プロパティ ウィンドウで、閉じる をクリックします。 g プライベート NIC チームで 手順 a ～ 手順 f を繰り返します。 メモ：プライベート NIC チームでは、デフォルトゲートウェイア
d ネットワークアダプタが次の順序で表示されていることを確認し ます。 パブリック プライベート < その他のネットワークアダプタ > メモ：アダプタの順序を変更するには、上下の矢印をクリックしてくだ さい。 e OK をクリックします。 f ネットワーク接続 ウィンドウを閉じます。 4 すべてのノードで、 %SystemRoot%\system32\drivers\etc\hosts ファイルにパブ リック、プライベート、および仮想 IP アドレスとホスト名を追加し ます。 メモ：パブリック IP アドレスと仮想 IP アドレスが DNS サーバーに登録 されていない場合に限り、これらのアドレスをホストファイルに追加し てください。 たとえば、以下の項目ではアダプタ IP とホスト名を 表 6 に示すように 使用しています。 IP アドレスノード名 155.16.170.1rac1 155.16.170.2rac2 10.10.10.1rac1-priv 10.10.10.2rac2-priv 155.16.170.201rac1-vip 155.16.170.
6 クラスタノードがパブリックおよびプライベートネットワークと通信で きることを確認します。 a ノード 1 で、コマンドプロンプトウィンドウを開きます。 b コマンドプロンプトで、次のコマンドを入力します。 ping < パブリックホスト名 > ping < プライベートホスト名 > < パブリックホスト名 > と < プライベートホスト名 > は、もう 1 つ のノードにおけるパブリックおよびプライベートネットワークアダ プタのホスト名です。 ノードのネットワークアダプタが ping コマンドに反応しない場合 は、ネットワーク設定を確認し、この手順を繰り返します。 メモ：仮想インターネットプロトコル（VIP）の設定は後で行われます。 この時点では ping コマンドによる確認ができません。 c 手順 a ～ 手順 b を残りのクラスタノードで繰り返します。 ストレージに必要なホストベースソフトウェアのインストール Dell|EMC システムに付属の EMC ソフトウェアを使用して EMC Naviagent ソフトウェアをインストールする手順については、Dell|EMC のマニュアルを 参照し
4 ディスクドライブ の下で、ストレージに割り当てられている各 LUN/ 仮 想ディスクについて、4 台の SCSI ディスクデバイスが表示されているこ とを確認します。 5 記憶域 を展開し、ディスクの管理 をクリックします。 ディスクの初期化と変換ウィザードの開始 の画面が表示されたら、 手順 a ～ 手順 d を実行します。それ以外の場合は、手順 6 に進んでく ださい。 a ディスクの初期化と変換ウィザードへようこそ ウィンドウで、次へ をクリックします。 b ディスク ウィンドウの 初期化するディスクの選択 ウィンドウで、 お使いのストレージ LUN/ 仮想ディスクと関連するディスクを選択 し、次へ をクリックします。 c 変換するディスクの選択 ウィンドウで、手順 b で選択したディスク の選択を解除し、次へ をクリックします。 メモ：この手順により、ディスクは確実に ベーシック ディスクとして設 定されます。 d 完了 をクリックします。 6 ディスクの管理 ウィンドウで、4 台のディスクが表示されていることを 確認します。ディスクのサイズは互いに、また、ストレージシステム内 の
Dell|EMC システム用の PowerPath のインストール 1 ノード 1 で、EMC® PowerPath® をインストールします。 メモ：詳細については、Dell|EMC ストレージシステムに同梱の EMC PowerPath のマニュアルを参照してください。 2 インストール手順が完了したら、システムを再起動します。 3 残りのノードで 手順 1 と 手順 2 を繰り返します。 MD3000/MD3000i 用のマルチパスドライバソフトウェアのインストール 1 ノード 1 で、PowerVault MD3000 または MD3000i の『Resource CD』 からマルチパスドライバソフトウェアをインストールします。 メモ：詳細については、Dell MD3000 または MD3000i ストレージシステムに付 属のマニュアルを参照してください。 2 インストール手順が完了したら、システムを再起動します。 3 もう 1 つのノードで 手順 1 と 手順 2 を繰り返します。 マルチパスドライバの機能の確認 1 マイコンピュータ を右クリックし、管理 を選択します。 2 記憶域 を展開し
Oracle Clusterware 用のディスクの準備 本項では、以下のディスク用に論理ドライブを作成するための情報を提供し ます。 • Oracle Cluster Registry（OCR）ディスク — クラスタ設定情報が格納さ れています。 • 投票ディスク（Voting Disk）— 1 つまたは複数のノードでプライベー トネットワークまたは接続ストレージが使用できない場合に、クラスタ ノード間にアービトレーションを提供します。 • データディスクとバックアップディスク — データベースを作成し （データディスク）、バックアップとログデータを保存する（バックアッ プディスク）ためのストレージ領域を提供します。 本書で説明されているクラスタ設定を行う際に、共有ストレージ上にパー ティションを作成します。パーティションの作成時には、接続されているス トレージシステム内に作成された LUN または論理ディスクをクラスタノード が検出できることを確認します。 Oracle Clusterware 用のディスクを準備するには、OCR ディスク、投票ディ スク、データディスク、およびフラッシュリカバ
Clusterware 用の OCR と投票ディスクの準備 1 デスクトップの マイコンピュータ を右クリックし 管理 を選択します。 2 記憶域 を展開し、ディスクの管理 をクリックします。 181 ページの「マルチパスドライバの機能の確認」で初期化したスト レージディスクが 未割り当て として表示されます。 3 クラスタノードに割り当てられた最初の共有ディスクのパーティション 領域を右クリックし、新しいパーティション を選択します。 新しいパーティションウィザードの開始 が表示されます。 4 次へ をクリックします。 5 パーティションの種類を選択 ウィンドウで、拡張パーティション を選 択し、次へ をクリックします。 6 パーティションサイズの指定 ウィンドウで、デフォルトのパーティショ ンサイズをそのまま使用し、次へ をクリックします。 7 完了 をクリックします。 手順 3 で選択したディスクパーティション領域が、拡張パーティション として設定されます。 8 クラスタノードに割り当てられているすべての共有ディスクで、 手順 3 ～ 手順 7 を繰り返します。 9 OCR ディスク用に論理ドライブを
f パーティションのフォーマット ウィンドウで、このパーティション をフォーマットしない を選択し、次へ をクリックします。 g 完了 をクリックします。 h 手順 a ～ g を繰り返して追加の OCR ディスクを作成します。 10 投票ディスク用の論理ドライブを作成します。 a OCR と投票ディスク（2 GB LUN/ 仮想ディスク）用として識別され たディスクのパーティション領域で空き領域を右クリックし、 新しい論理ドライブ を選択します。 新しいパーティションウィザードの開始 が表示されます。 b 次へ をクリックします。 c パーティションの種類を選択 ウィンドウで 論理ドライブ を選択し、 次へ をクリックします。 d パーティションサイズの指定 ウィンドウの パーティションサイズ （MB）フィールドに 50 と入力し、次へ をクリックします。 e ドライブ文字またはパスの割り当て ウィンドウで、ドライブ文字ま たはドライブパスを割り当てない を選択し、次へ をクリックし ます。 f パーティションのフォーマット ウィンドウで、このパーティション をフォーマット
OCFS を使用したデータベースストレージ用のデータベースディスクとフラッ シュリカバリ領域の準備 本項では、OCFS（Oracle Clustered File System）ストレージディスクの作成 に使用する論理ドライブの作成方法について説明します。 メモ：ASM ストレージ管理を使用する場合、ASM データディスクグループの サイズはデータベース（複数の LUN）を上回っている必要があり、ASM フ ラッシュリカバリ領域のディスクグループのサイズは、データディスクグ ループの 2 倍以上である必要があります。 メモ：自動ストレージ管理（ASM）ストレージディスクの作成に使用する論 理ドライブを作成する場合は、次の手順を省略して、186 ページの「ASM を使 用したデータベースストレージ用のデータベースディスクとフラッシュリカ バリ領域の準備」を参照してください。 1 ノード 1 で、データベース用に 1 つの論理ドライブを作成します。 a Oracle データベースに割り当てられたディスクを確認します。 b ディスクパーティション領域で空き領域を右クリックし、新しい論 理ドライブ を選択しま
2 ノード 1 で、フラッシュリカバリ領域用に 1 つの論理ドライブを作成し ます。 a フラッシュリカバリ領域に割り当てられたディスクを確認します。 b 手順 1 の 手順 b ～ 手順 h を実行します。 3 他のすべてのノードを再起動し、Administrator としてログインします。 ASM を使用したデータベースストレージ用のデータベースディスクとフラッ シュリカバリ領域の準備 本項では、ASM ディスクストレージの作成に使用する論理ドライブの作成方 法について説明します。ASM ディスクストレージは、複数のディスクへのス パニングが可能な 1 つまたは複数のディスクグループで構成されています。 メモ：OCFS ストレージディスクの作成に使用する論理ドライブを作成する場 合は、次の手順を省略して、185 ページの「OCFS を使用したデータベースス トレージ用のデータベースディスクとフラッシュリカバリ領域の準備」 の手順に従ってください。 1 データベース用に 1 つの論理ドライブを作成します。 a Oracle データベースに割り当てられたディスクを確認します。 b ディスクパー
2 フラッシュリカバリ領域用に 1 つの論理ドライブを作成します。 a フラッシュリカバリ領域に割り当てられたディスクを確認します。 b 手順 1 の 手順 b ～ 手順 h を実行します。 3 他のすべてのノードを再起動し、Administrator としてログインします。 割り当て済みのドライブ文字の削除 1 各ノードのデスクトップで、マイコンピュータ を右クリックし、 管理 を選択します。 2 コンピュータの管理 ウィンドウで、記憶域 を展開し、ディスクの管理 をクリックします。 3 183 ページの「Clusterware 用の OCR と投票ディスクの準備」で作成し たドライブにドライブ文字が割り当てられている場合は、次の手順を実 行します。 a 論理ドライブを右クリックし、ドライブ文字とパスの変更 を選択し ます。 b ドライブ文字とパスの変更 ウィンドウで、ドライブ文字を選択し、 削除 をクリックします。 c 確認 ウィンドウで、はい をクリックします。 d ストレージパーティション上の残りの論理ドライブに対して、 手順 a ～ 手順 c を繰り返します。 187
困ったときは デルサポート システムの使い方の詳細については、システムコンポーネントに付属のマ ニュアルを参照してください。各種の白書、デルがサポートする設定、一般 情報については、dell.com/oracle を参照してください。ハードウェアおよ び OS ソフトウェアに対するデルのテクニカルサポート、アップデートのダ ウンロードについては、デルサポートサイト support.dell.com を参照して ください。デルへのお問い合わせ先については、システムに付属の『インス トール & トラブルシューティング』に記載されています。 デルでは、企業向けのトレーニングと資格認証を実施しております。詳細に ついては、dell.com/training を参照してください。なお、トレーニング サービスを提供していない地域がありますのでご了承ください。 Oracle のサポート Oracle ソフトウェアおよびアプリケーションクラスタウェアのトレーニング と Oracle へのお問い合わせの方法については、Oracle のウェブサイト www.oracle.
Sistemas Dell™ PowerEdge™ Base de datos Oracle 11g R1 en Microsoft® Windows Server® 2003 Guía de almacenamiento y redes versión 1.0 Información general sobre la documentación de la base de datos Oracle 11G El conjunto de documentos sobre la base de datos Oracle 11g R1 en Red Hat® Enterprise Linux 5 Advanced Server x86-64 (o la base de datos Oracle 11g R1 Enterprise o Standard Edition en Microsoft® Windows Server® 2003 R2 con SP2 Standard o Enterprise x64 Edition) se ha reorganizado en una serie de módulos.
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. ____________________ La información contenida en este documento puede modificarse sin previo aviso. © 2009 Dell Inc. Todos los derechos reservados.
Terminología utilizada en este documento En este documento se utilizan los términos número de unidad lógica (LUN) y disco virtual. Dichos términos son sinónimos y pueden utilizarse indistintamente. El término LUN suele utilizarse en un entorno de sistema de almacenamiento Dell|EMC Fibre Channel, mientras que disco virtual suele emplearse en un entorno de almacenamiento SAS de conexión directa (Dell MD3000/MD3000i y Dell MD3000/MD3000i con alojamiento de expansión MD1000).
Ilustración 1. Conexiones de hardware para un clúster Fibre Channel de conexión mediante SAN Red pública Conmutadores Ethernet Gb (red privada) Sistemas PowerEdge (base de datos Oracle) Conmutadores Dell|EMC Fibre Channel (SAN) CAT 5e/6 (NIC Gigabit de cobre) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Cables de fibra óptica adicionales Sistemas de almacenamiento Dell|EMC AX4-5F, CX3-10c, CX3-20, CX3-20F, CX3-40, CX3-40F, CX3-80, CX4-120, CX4-240, CX4-480 o CX4-960 Fibre Channel Tabla 1.
Tabla 1. Interconexiones de hardware Fibre Channel (continuación) Componente del clúster Conexiones Sistema de almacenamiento Dell|EMC Fibre Channel Dos cables CAT 5e/6 conectados a la LAN (uno desde cada procesador de almacenamiento) De una a cuatro conexiones ópticas a cada conmutador Fibre Channel en una configuración de conexión mediante SAN Para obtener más información, consulte “Cableado del sistema de almacenamiento Dell|EMC Fibre Channel” en la página 194.
Cableado del sistema de almacenamiento Dell|EMC Fibre Channel Puede configurar el sistema de almacenamiento del clúster Oracle con una configuración de conexión mediante SAN de cuatro puertos, según sus necesidades. A continuación se describen los procedimientos relativos a ambas configuraciones. En la ilustración 2 se muestran las conexiones de hardware utilizadas al configurar un clúster Fibre Channel de conexión mediante SAN. Ilustración 2.
5 Conecte un cable óptico del HBA 0 del nodo 1 al conmutador 0 Fibre Channel. 6 Conecte un cable óptico del HBA 1 del nodo 1 al conmutador 1 Fibre Channel. 7 Conecte un cable óptico del HBA 0 de cada nodo adicional al conmutador 0 Fibre Channel. 8 Conecte un cable óptico del HBA 1 de cada nodo adicional al conmutador 1 Fibre Channel.
Tabla 2. Interconexiones de hardware del clúster SAS Componente del clúster Conexiones Nodo del sistema PowerEdge Un cable CAT 5e/6 de la NIC pública a la red de área local (LAN) Un cable CAT 5e/6 de la NIC Gigabit privada al conmutador Ethernet Gigabit (red privada) Un cable CAT 5e/6 de la NIC Gigabit privada redundante al conmutador Ethernet Gigabit redundante (red privada) Dos conexiones SAS a un nodo del sistema de almacenamiento PowerVault MD3000 mediante SAS 5/E.
Cableado del sistema de almacenamiento SAS Dado que los clústeres SAS sólo se pueden instalar en un clúster de conexión directa, están limitados a dos nodos únicamente. Para configurar los nodos en una conexión directa (vea la ilustración 4), realice los pasos siguientes: 1 Conecte un cable SAS de un puerto de la controladora SAS del nodo 1 al puerto In-0 de la controladora RAID 0 en el alojamiento RAID de MD3000.
Ilustración 4.
Tabla 3. Interconexiones de hardware iSCSI Componente del clúster Conexiones Cada nodo del Un cable CAT 5e/6 de la NIC pública a la red de área local sistema PowerEdge (LAN) Un cable CAT 5e/6 de la NIC Gigabit privada al conmutador Ethernet Gigabit (red privada) Un cable CAT 5e/6 de la NIC Gigabit privada redundante al conmutador Ethernet Gigabit redundante (red privada) Para obtener información adicional sobre MD3000i, consulte la documentación de configuración de PowerVault MD3000i.
Configuración del clúster iSCSI con un sistema de almacenamiento PowerVault MD3000i y alojamientos de expansión PowerVault MD1000 Tarea 1: Configuración del hardware Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 5.
3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 0 en el alojamiento para almacenamiento MD3000i. 4 Conecte un cable CAT 5e/6 del otro puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento MD3000i. 5 (Opcional) Conecte dos cables SAS de los dos puertos de salida de MD3000 a los dos puertos de entrada del primer alojamiento de expansión MD1000.
Para configurar los nodos en una conexión conmutada, vea la ilustración 6 y realice los pasos siguientes: 1 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 1. 2 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 2. 3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1.
Tarea 2: Instalación del software basado en host necesario para el almacenamiento Para instalar el software de almacenamiento basado en host necesario para el sistema de almacenamiento PowerVault MD3000i, utilice el software del CD de recursos de Dell PowerVault entregado con el sistema de almacenamiento MD3000i.
Configuración del clúster iSCSI para los sistemas de almacenamiento EqualLogic® serie PS Terminología de EqualLogic Las matrices de almacenamiento EqualLogic serie PS incluyen tecnología de virtualización de almacenamiento. Para comprender mejor cómo funcionan estas matrices, es aconsejable familiarizarse con parte de la terminología utilizada para describir estas matrices y sus funciones: • Miembro: una sola matriz de la serie PS se denomina miembro.
Ilustración 7. Configuración de red recomendada En la ilustración 8 se ofrece una visión general de una configuración de Oracle RAC de muestra con tres matrices PS5000XV. Los cables azules identifican la SAN iSCSI. Los cables grises identifican la red de interconexión privada Oracle RAC. Los cables negros identifican la red pública. Las matrices de almacenamiento PS5000XV ofrecen la capacidad de almacenamiento físico para la base de datos Oracle RAC.
Ilustración 8. Configuración de Oracle RAC de muestra con tres matrices PS5000XV Tal como se muestra en la ilustración 8, el grupo denominado oracle-group incluye tres miembros PS5000XV: oracle-member01, oracle-member02 y oracle-member03. Al inicializar un miembro, se puede configurar con RAID 10, RAID 5 o RAID 50. Para obtener más información sobre cómo inicializar una matriz EqualLogic, consulte la guía del usuario de Dell EqualLogic.
Un grupo de almacenamiento de la serie PS se puede segregar en varios niveles en cascada o bloques. El almacenamiento en cascada proporciona a los administradores un mayor control sobre la asignación de recursos de disco. Un miembro sólo puede estar asignado a un bloque a la vez. Es fácil asignar un miembro a un bloque y también mover un miembro entre bloques sin influir en la disponibilidad de los datos.
Tabla 4. Volúmenes para la configuración de Oracle RAC (continuación) Volumen Tamaño mínimo RAID Volúmenes de Como mínimo 5 la tercera área dos veces el tamaño de los volúmenes de la segunda área Número de particiones Uso Asignación de sistema operativo Una Área de recuperación flash Grupo de discos ASM FLASHBACKDG En la tabla 4 se presenta una configuración de volúmenes de muestra.
Configuración del acceso de host a volúmenes Instalación y configuración del kit de herramientas de integración de host (HIT) Dell EqualLogic 1 Descargue la versión 3.1.2 del kit de herramientas HIT en el servidor de base de datos. 2 Haga doble clic en Setup64.exe para abrir la ventana de instalación. 3 En la ventana Welcome to the Host Integration Tools 3.1.2 update program (Bienvenido al programa de actualización de las herramientas de integración de host 3.1.2), haga clic en Next (Siguiente).
Instalación del iniciador iSCSI de Microsoft 1 Seleccione Add or Remove Programs (Agregar o quitar programas). 2 Seleccione Microsoft iSCSI Initiator (Iniciador iSCSI de Microsoft) y haga clic en Remove (Quitar). De este modo se elimina el iniciador 2.0.7 incluido con el kit HIT 3.1.2 actual. 3 En la ventana Software Update Removal Wizard (Asistente para la eliminación de la actualización de software), haga clic en Next (Siguiente).
Configuración del iniciador iSCSI de Microsoft 1 Haga doble clic en el icono Microsoft iSCSI Initiator (Iniciador iSCSI de Microsoft) que se encuentra en el escritorio. 2 En la ficha Discovery (Detección) de la ventana iSCSI Initiator Properties (Propiedades del iniciador iSCSI), el kit de herramientas HIT ya debería haber rellenado la dirección IP de la dirección del grupo EqualLogic.
8 Repita del paso 1 al paso 7 para iniciar sesión en el mismo volumen para el resto de las direcciones IP del iniciador iSCSI. 9 Repita del paso 1 al paso 8 para iniciar sesión en el resto de los volúmenes creados para la base de datos. 10 Repita del paso 1 al paso 9 en el resto de los hosts del clúster.
Tabla 5. Asignaciones de puertos NIC Puerto NIC Tres puertos disponibles Cuatro puertos disponibles 1 IP pública e IP virtual IP pública 2 IP privada (grupo de NIC) IP privada (grupo de NIC) 3 IP privada (grupo de NIC) IP privada (grupo de NIC) 4 ND IP virtual Configuración y agrupación de la red privada Antes de implantar el clúster, asigne una dirección IP y un nombre de host privados a cada nodo del clúster.
Configuración de la agrupación de NIC para los adaptadores de red privada NOTA: En esta solución no se admite la función de motor de descarga TPC (TOE) de una NIC compatible con TOE. 1 Identifique en el nodo 1 los dos adaptadores de red que se utilizarán para la agrupación de NIC. 2 Conecte un cable Ethernet de cada adaptador de red seleccionado al conmutador de la red privada. 3 Si el nodo 1 está configurado con NIC Broadcom, vaya al paso 4.
4 Si el nodo 1 está configurado con NIC Broadcom, realice los pasos siguientes para configurar la agrupación de NIC. En caso contrario, vaya al paso 5. a Haga clic en Start (Inicio) → Programs (Programas)→ Broadcom→ Broadcom Advanced Control Suite 3. Aparece la ventana Broadcom Advanced Control Suite 3. b Resalte Team Management (Administración de grupos), haga clic en Teams (Grupos) y seleccione Create a Team (Crear un grupo).
k En la ventana Creating/Modifying a VLAN (Creación/modificación de una VLAN), seleccione Skip Manage VLAN (Omitir administrar VLAN) y haga clic en Next (Siguiente). l En la última ventana, haga clic en Preview (Vista previa) para verificar el grupo de NIC y los adaptadores. Cuando haya terminado, seleccione Commit changes to system (Guardar cambios en el sistema) y salga del asistente. Haga clic en Finish (Finalizar). m En la ventana de mensaje de información, haga clic en Yes (Sí) para continuar.
2 Configure las direcciones IP. NOTA: Debe establecer una puerta de enlace predeterminada para su interfaz pública; de lo contrario, la instalación del software de clúster puede fallar. a Haga clic en Start (Inicio)→ Settings (Configuración)→ Control Panel (Panel de control)→ Network Connections (Conexiones de red)→ Público→ Properties (Propiedades). b Haga doble clic en Internet Protocol (TCP/IP) (Protocolo Internet [TCP/IP]).
d Asegúrese de que los adaptadores de red aparecen listados en el orden siguiente: Público Privado NOTA: Haga clic en las teclas de flecha hacia arriba y hacia abajo para cambiar el orden de los adaptadores. e Haga clic en OK (Aceptar). f Cierre la ventana Network Connections (Conexiones de red). 4 En todos los nodos, añada las direcciones IP pública, privada y virtual y el nombre de host al archivo %RaízSistema%\system32\drivers\etc\hosts.
6 Asegúrese de que los nodos del clúster pueden comunicarse con las redes pública y privada. a En el nodo 1, abra una ventana de indicador de comandos. b En el indicador de comandos, escriba: ping ping donde y son los nombres de host de los adaptadores de red pública y privada del nodo restante.
Verificación de la asignación de almacenamiento a los nodos 1 En el escritorio, haga clic con el botón derecho del ratón en My Computer (Mi PC) y seleccione Manage (Administrar). 2 En la ventana Computer Management (Administración de equipos), haga clic en Device Manager (Administrador de dispositivos). 3 Expanda Disk drives (Unidades de disco).
Instalación del software multirruta para el almacenamiento Siga las instrucciones que se indican en la documentación incluida con el dispositivo de almacenamiento para instalar el software multirruta adecuado. NOTA: En el caso de un clúster SAS o iSCSI (sistema de almacenamiento MD3000/ MD3000i), el software multirruta ya debería estar instalado en los hosts según se indica en la sección “Instalación del software basado en host necesario para el almacenamiento” en la página 219.
Preparación de los discos para el software de clúster Oracle En esta sección se proporciona información para crear unidades lógicas para los discos siguientes: • Disco de registro del clúster Oracle (OCR): contiene información de configuración del clúster. • Disco de votación: ofrece arbitraje entre los nodos del clúster cuando la red privada o el almacenamiento conectado no están disponibles para uno o más nodos.
Preparación de los discos OCR y de votación para el software de clúster 1 En el escritorio, haga clic con el botón derecho del ratón en My Computer (Mi PC) y seleccione Manage (Administrar). 2 Expanda Storage (Almacenamiento) y haga clic en Disk Management (Administración de discos). El disco de almacenamiento que ha inicializado en “Verificación de las funciones del controlador multirruta” en la página 221 aparece como Unallocated (No asignado).
c En la ventana Select Partition Type (Seleccionar el tipo de partición), seleccione Logical drive (Unidad lógica) y haga clic en Next (Siguiente). d En la ventana Specify Partition Size (Especificar el tamaño de la partición), escriba 120 en el campo Partition size in MB (Tamaño de partición en MB) y haga clic en Next (Siguiente).
e En la ventana Assign Drive Letter or Path (Asignar letra de unidad o ruta de acceso), seleccione Do not assign a drive letter or drive path (No asignar una letra o ruta de acceso de unidad) y haga clic en Next (Siguiente). f En la ventana Format Partition (Formatear la partición), seleccione Do not format this partition (No formatear esta partición) y haga clic en Next (Siguiente). g Haga clic en Finish (Finalizar).
d En la ventana Select Partition Type (Seleccionar el tipo de partición), seleccione Logical drive (Unidad lógica) y haga clic en Next (Siguiente). e En el campo Partition size in MB (Tamaño de partición en MB) de la ventana Specify Partition Size (Especificar el tamaño de la partición), especifique el tamaño adecuado y haga clic en Next (Siguiente).
c Haga clic en Next (Siguiente). d En la ventana Select Partition Type (Seleccionar el tipo de partición), seleccione Logical drive (Unidad lógica) y haga clic en Next (Siguiente). e En la ventana Specify Partition Size (Especificar el tamaño de la partición), especifique el tamaño adecuado en el campo Partition size in MB (Tamaño de partición en MB) y haga clic en Next (Siguiente).
3 Si encuentra letras de unidad asignadas a las unidades que ha creado en “Preparación de los discos OCR y de votación para el software de clúster” en la página 223, realice los pasos siguientes: a Haga clic con el botón derecho del ratón en la unidad lógica y seleccione Change Drive Letter and Paths (Cambiar la letra y rutas de acceso de unidad). b En la ventana Change Drive Letter and Paths (Cambiar la letra y rutas de acceso de unidad), seleccione la letra de la unidad y haga clic en Remove (Quitar).
