Dell™ PowerEdge™ Systems Oracle® Database on Enterprise Linux® x86_64 Storage and Network Guide Version 1.1 w w w. d e l l . c o m | s u p p o r t . d e l l .
Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. WARNING: A WARNING indicates a potential for property damage, personal injury, or death. ____________________ Information in this document is subject to change without notice. © 2009 Dell Inc. All rights reserved.
Contents 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . Required Documentation for Deploying the Dell|Oracle Database . . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 8 Terminology Used in This Document Getting Help Dell Support . . . . . . . . . . . . . . . . . . . . . . Oracle Support 2 7 . . . . . . . . . . . . . . . . . . . . Fibre Channel Cluster Setup 9 . . . . . . . . . . 11 . . . . . . . . . . . . . .
3 SAS Cluster Setup for the Dell PowerVault MD3000 and MD1000 Expansion Enclosures . . . . . . . . 17 . . . . . . . . . . . . 19 . . . . . . . . . . . . . . 19 Setting up the SAS Cluster With PowerVault MD3000 and MD1000 Expansion Enclosures . . . . . . Task 1: Hardware Setup. Task 2: Installing Host-Based Storage Software . . . . . . . . . . . . . . . . . . Task 3: Verifying and Upgrading the Firmware . . . . . . . . . . . . . . . . . . . . 21 . . . . . . . . . . . 21 . . . . . . . . . . .
iSCSI Cluster Setup for the Dell EqualLogic PS Series Storage System . . . . . . . . . EqualLogic Terminology . . . . . . . . . . . . 29 . . . . . . . . . . . . . . . . 29 Setting up the Dell EqualLogic iSCSI Storage System . . . . . . . . . . . Creating Volumes . . . . . . . . . . . 29 . . . . . . . . . . . . . . . . . 32 Configuring the iSCSI Networks . . . . . . . . . . . . . . . . . 35 . . . . . . . . . . 45 Configuring Host Access to Volumes.
Configuring Shared Storage . . . . . . . . . . . . . . . Configuring Shared Storage for Oracle Clusterware and the Database Using the OCFS2 . . . . . . . . . . . . . . . . . . . . . . . . 58 Configuring Shared Storage Using the Block Devices . . . . . . . . . . . . . . . . . . . . 59 . . . . . 61 Configuring Shared Storage Using Block Devices . . . . . . . . . . . . . . . . . . . . 61 Configuring Shared Storage Using the ASM Library Driver . . . . . . . . . . . . . . . 62 . . . . . . . . .
Overview This document applies to: • Oracle® Database 10g R2 running on Red Hat® Enterprise Linux® or Oracle Enterprise Linux 4.7 AS x86_64 • Oracle Database 10g R2 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.2 AS x86_64 • Oracle Database 11g R1 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.
• Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Database Setup and Installation Guide — Describes how to install and configure the Oracle database • Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Troubleshooting Guide — Describes how to add a new node to your cluster, and how to troubleshoot and resolve errors encountered during the installation procedures described in the previous modules NOTE: All modules provide information on how to receive technical assistance
• Information about contacting Dell is provided in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Troubleshooting Guide of your system, available on the Dell Support website at support.dell.com. • Dell Enterprise Training and Certification is now available; see dell.com/training for more information. This training service may not be offered in all locations.
Overview
Fibre Channel Cluster Setup WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. This section helps you to verify the hardware connections, and the hardware and software configurations of the Fibre Channel cluster set up by the Dell Professional Services representative.
Figure 2-1. Hardware Connections for a Fibre Channel Cluster Client Systems Gigabit Ethernet Switches (private network) WAN/LAN PowerEdge Systems (Oracle Database) Dell/EMC Fibre Channel Storage Systems Dell/EMC Fibre Channel Switches (SAN) CAT 5e/6 (Public NIC) CAT 5e/6 (Copper Gigabit NIC) Fiber Optic Cables Additional Fiber Optic Cables Table 2-1.
Table 2-1. Fibre Channel Hardware Interconnections (continued) Cluster Component Connections Dell/EMC Fibre Channel storage system • Two CAT 5e or CAT 6 cables connected to the LAN • One to four fiber optic cable connections to each Fibre Channel switch.
Cabling Your Fibre Channel Storage System Depending on your requirements, you can configure your Oracle database Fibre Channel cluster storage system in one of the following configurations: • Direct-attached Fibre Channel (see Figure 2-2) • Four-port SAN-attached Fibre Channel (see Figure 2-3) The following sections describe the cabling requirements for these configurations.
SAN-Attached Fibre Channel Configuration To configure your nodes in a four-port SAN-attached configuration: 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1. 3 Connect one optical cable from SP-A port 2 to Fibre Channel switch 0. 4 Connect one optical cable from SP-A port 3 to Fibre Channel switch 1. 5 Connect one optical cable from SP-B port 0 to Fibre Channel switch 1.
See Figure 2-3 for the cable connections in a SAN-attached Fibre Channel cluster. Figure 2-3.
SAS Cluster Setup for the Dell PowerVault MD3000 and MD1000 Expansion Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Figure 3-1. Cabling the Serial-Attached SCSI (SAS) Cluster and the Dell PowerVault MD3000 Storage Enclosure Private Network LAN/WAN PowerEdge Systems PowerVault MD3000 Storage System Two PowerVault MD1000 Expansion Enclosures Table 3-1.
Table 3-1. SAS Cluster Hardware Interconnections (continued) Cluster Component Connections PowerVault MD3000 storage enclosure • Two CAT 5e/6 cables connected to LAN (one from each storage processor module) • Two SAS connections to each PowerEdge system node through the SAS 5/E cables NOTE: For more information on the PowerVault MD3000 storage enclosure interconnection, see "Setting up the SAS Cluster With PowerVault MD3000 and MD1000 Expansion Enclosures" on page 19.
5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional). Connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second PowerVault MD1000 expansion enclosure.
Task 2: Installing Host-Based Storage Software To install the necessary host-based storage software for the PowerVault MD3000 storage enclosure, use the Dell PowerVault Resource media that was shipped with the system. To install the Modular Disk Storage Manager software on the Master node and the Multi-Path (MPIO) software on the remaining nodes, follow the procedures in the PowerVault MD3000 storage enclosure documentation.
Task 5: Post Installation After installing the drivers and the software, perform the post installation tasks listed in the PowerVault MD3000 Installation Guide. Create the environment shown in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation, and the Linux Guide. Both documents are available on the Dell Support website at support.dell.com. NOTE: It is recommended that you configure the disks for the LUNS in a RAID 10 configuration.
iSCSI Cluster Setup for the Dell PowerVault MD3000i and MD1000 Storage Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Table 4-1.
Setting Up the iSCSI Cluster for PowerVault MD3000i and MD1000 Expansion Enclosures Task 1: Hardware Setup Direct-attached iSCSI clusters are limited to two nodes only. Figure 4-1.
4 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 2 to the In-1 port of RAID controller 1 in the PowerVault MD3000i storage enclosure. 5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional). Connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second MD1000 expansion enclosure.
To configure your nodes in a switched configuration, see Figure 4-2, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1. 2 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 2. 3 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 1.
Task 2: Installing Host-based Software Needed for Storage To install the necessary host-based storage software for the PowerVault MD3000i storage system, use the Dell PowerVault Resource media that came with your PowerVault MD3000i storage system. Follow the procedures in the PowerVault MD3000i storage enclosure documentation, available from the Dell Support website at support.dell.
iSCSI Cluster Setup for the Dell EqualLogic PS Series Storage System WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. EqualLogic Terminology The EqualLogic PS series storage array includes storage virtualization technology.
NOTE: It is recommended to use two Gigabit Ethernet switches. In the event of a switch failure in a single Ethernet switch environment, all hosts lose access to the storage until the switch is physically replaced and the configuration restored. In such a configuration, there must be multiple ports with link aggregation providing the inter-switch, or trunk connection.
Figure 5-2.
A Dell EqualLogic PS-series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated. At any one time, a member can be assigned to only one pool. It is easy to assign a member to a pool and to move a member between pools with no impact to data availability. Pools can be organized according to different criteria, such as disk types or speeds, RAID levels, and application types.
Table 5-1 shows a sample volume configuration. Table 5-1.
For example: # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on This example shows that Flow Control is already turned on. If it is not turned on, use the following command to turn on Flow Control: # ethtool -A rx on tx on Jumbo Frame is configured in the /etc/sysconfig/network-scripts/ifcfg scripts, by adding the MTU="" parameter. The example below shows the MTU set to 9000.
RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.4 GiB) Memory:d5ee0000-d5f00000 Configuring Host Access to Volumes This section details the steps to configure the host access to iSCSI volumes using the iscsiadm tool. The iscsiadm tool is the open-iSCSI administration utility. 1 Log into the system as root user.
# iscsiadm -m iface -I eth0-iface --op=new The new interface eth0-iface is added. # iscsiadm -m iface -I eth0-iface --op=update -n iface.hwaddress -v 00:18:8B:4E:E6:CC eth0-iface updated 6 Verify the interfaces are created and associated properly: iscsiadm -m iface 7 Modify the CHAP information in /etc/iscsi/iscsid.conf on the host. node.session.auth.username = username node.session.auth.password = password discovery.sendtargets.auth.username = username discovery.sendtargets.auth.
10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-93ee59d02-674f999767d4942e-mdi-data1 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-93ee59d02-674f999767d4942e-mdi-data1 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-95ce59d02-2e0f999767f4942e-mdi-data2 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-95ce59d02-2e0f999767f4942e-mdi-data2 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-97be59d02-d7ef99976814942e-mdi-fra1 10.16.7.100:3260,1 iqn.2001-05.com.
Target: iqn.2001-05.com.equallogic:0-8a090697be59d02-d7ef99976814942e-mdi-fra1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface iSNS: No targets found. STATIC: No targets found.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.
3 Uncomment the following section in /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Add the following section in /etc/multipath.conf. The WWID is obtained from step 1.
alias } multipath { wwid ocr-css-spfile 36090a028d059ee932e94d4 6797994f67 alias } multipath { wwid data1 36090a028d059ce952e94f4 6797990f2e alias } multipath { wwid data2 36090a028d059be972e9414 689799efd7 alias fra1 } } 5 Restart the multipath daemon and verify the alias names are displayed in the multipath -l1 output. service multipathd restart multipath -ll For example, fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
\_ 93:0:0:0 sdf 8:80 [active][ready] \_ round-robin 0 [prio=0][enabled] \_ 86:0:0:0 sdad 65:208 [active][ready] data2 (36090a028d059ce952e94f46797990f2e) dm-8 EQLOGIC,100E-00 [size=20G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 97:0:0:0 sdc 8:32 [active][ready] \_ 98:0:0:0 sdd 8:48 [active][ready] data1 (36090a028d059ee932e94d46797994f67) dm-18 EQLOGIC,100E-00 [size=20G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 95:0:0:0 sdq 65:0 [a
brw-rw---- 1 root disk /dev/mapper/osvg-opt brw-rw---- 1 root disk /dev/mapper/osvg-root brw-rw---- 1 root disk /dev/mapper/osvg-swap brw-rw---- 1 root disk /dev/mapper/osvg-tmp brw-rw---- 1 root disk /dev/mapper/osvg-usr brw-rw---- 1 root disk /dev/mapper/osvg-var 253, 4 Dec 15 11:22 253, 0 Dec 15 11:22 253, 7 Dec 15 11:22 253, 1 Dec 15 11:22 253, 2 Dec 15 11:22 253, 5 Dec 15 11:22 7 Repeat step 1 to step 7 on all other hosts in the cluster.
Configuring Storage, Oracle User Equivalence, and Networking for Oracle RAC WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. Oracle® Real Application Clusters (RAC) is a complex database configuration that requires an ordered list of procedures.
Table 6-1. NIC Port Assignments (continued) NIC Port Three Ports Available Four Ports available 3 Private IP (bonded) Private IP (bonded) 4 NA Virtual IP Configuring the Public Network NOTE: Ensure that the public IP address is a valid and routable IP address. NOTE: Each of the two bonded NIC ports for the private network must be on separate PCI buses. For example, a bonded pair can consist of one on-board NIC and one add-on NIC card.
Configuring the Private Network Using Bonding Before you deploy the cluster, configure the private cluster network to allow the nodes to communicate with each other. This involves configuring network bonding and assigning a private IP address and hostname to each node in the cluster. To set up network bonding for Broadcom® or Intel® NICs, and to configure the private network, perform the following steps on each node: 1 Log in as root. 2 Add the following line to the /etc/modprobe.
5 For each device that is a bond member: a In the directory /etc/sysconfig/network-scripts/, edit the ifcfg-ethn file: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Type service network restart and ignore all warnings. 6 On each node, type ifconfig to verify that the private interface is functioning. The private IP address for the node must be assigned to the private interface bond0.
10 On each node, create or modify the /etc/hosts.equiv file by listing all of your public IP addresses or host names. For example, if you have one public hostname, one virtual IP address, and one virtual hostname for each node, add the following: oracle oracle oracle oracle Configuring Secure Shell (ssh) for Oracle User Equivalence 1 On all nodes, login as user oracle.
8 Perform secure copies of your .pub keys to each of your nodes by using the scp command. The following example is with two nodes: (node1): scp /home/oracle/.ssh/.pub :/home/oracle/.ssh (node2): scp /home/oracle/.ssh/.pub :/home/oracle/.ssh Now, each of the systems has the other's public key under the /home/oracle/.ssh directory. 9 Create a file named authorized_keys under the /home/oracle.
Table 6-2.
5 In the /proc/partitions file, ensure that: • All PowerPath pseudo devices appear in the file with similar device names across all nodes. For example: /dev/emcpowera, /dev/emcpowerb, and /dev/emcpowerc. • In the case of the PowerVault MD3000 or MD3000i or the EqualLogic storage array, all the virtual disks or volumes appear in the file with similar device names across all nodes.
fdisk /dev/emcpowera NOTE: Create a partition on /dev/emcpowera before performing the following steps. x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128, (This is the default stripe element size on the Dell\EMC CX series Fibre Channel storage) w # write the new partition The fdisk method is preferable to the LUN alignment offset method for LUNs that have a snapshot, clone, or MirrorView image made of them. It is also preferred for SAN copy sources and targets.
5 Specify the new location on the disk partition for the beginning of data. For example: 128 6 At the command prompt, type the following fdisk utility argument: w The system displays the following message: The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. 7 Repeat step 1 through step 6 for all Oracle data LUNs.
6 Edit the /etc/fstab file for the newly created file system by adding entries such as: /dev/emcpowera1 /oradata ext3 defaults 1 2, where is similar to /u01/app/oracle 7 Type: chown -R oracle.
e After all the nodes are added, click Apply and then click Close in the Node Configuration window. NOTE: If you get the error message: Unable to access cluster service, when you perform step e , delete the file /etc/ocfs2/cluster.conf and try again. f g From the menu, click Cluster→ Propagate Configuration. The Propagate Cluster Configuration window appears. Wait until the message Finished appears in the window. Click Close. Select File→ Quit.
6 On any one node, format the external storage devices with 4 K block size, 128 K cluster size, and 4 node slots by using the command line utility mkfs.ocfs2: ocr.dbf and Voting Disk mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 Database Files mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Flash Recovery Area mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 NOTE: Node slots refer to the number of cluster nodes.
c On each node, type the following to mount all the volumes listed in the /etc/fstab file: mount -a -t ocfs2 d On each node, add the following command to the /etc/rc.
Configuring Shared Storage Using the Block Devices NOTE: Before following the steps in this section, follow the procedures listed in the Configuring the Operating System for Oracle Database Installation section of the Operating System and Hardware Installation Guide, available from the Dell Support website at support.dell.com. 1 On the first node, create six partitions on an external storage device with the fdisk utility.
b Add the voting disk names to the permissions.ini file. The file is located in the /dell-oracle-deployment/scripts/ directory: [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= For example, if the voting disks are emcpowerb1, emcpowerb2, and emcpowerb3, then the permissions.ini is modified as follows: [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 NOTE: Only modify the following five variables: primary_ocr, mirror_ocr, vote1, vote2, and vote3.
Configuring Shared Storage Using ASM To configure your cluster using ASM, perform the following steps on all nodes: 1 Log in as root. 2 On all the nodes, create one partition on each of the other two external storage devices with the fdisk utility: a Create a primary partition for the entire device by typing: fdisk /dev/emcpowerX NOTE: Type h for help within the fdisk utility. b Verify that the new partition exists by typing: cat /proc/partitions.
2 After you set your permissions.ini file, run the permissions.py script located under the /dell-oracle-deployment/scripts/ folder: ./permissions.py 3 Run the following command to set the correct block device permissions: /etc/rc.local Configuring Shared Storage Using the ASM Library Driver 1 Log in as root.
6 Verify that the ASM disks are created and marked for ASM usage. In the terminal window, type the following and press : service oracleasm listdisks The disks that you created in step 5 are displayed. For example: ASM1 ASM2 7 Ensure that the remaining nodes are able to access the ASM disks that you created in step 5. On each remaining node, open a terminal window, type the following, and press : service oracleasm scandisks Configuring Shared Storage on a New Node Using ASM 1 Log in as root.
6 Ensure that the new node can access the ASM disks. In the terminal window, enter the following: service oracleasm scandisks 7 Ensure that the ASM disks are available on the new node. In the terminal window, enter the following: service oracleasm listdisks All available disks on the remaining nodes are listed.
Index A D alias names, 41 Dell/EMC fibre channel, 13 ASM library driver, 62 Dell|EMC Fibre Channel storage, 13 switch, 13 B bonded pair, 46 C cable CAT 5e, 12 CAT 6, 12 cabling fibre channel storage, 14 iSCSI cluster, 25 SAS storage, 19 certification and training Dell, 9 Oracle, 9 Clusterware configuring storage for, 55 Domain Naming Service, 45 E EMC Navisphere, 51 PowerPath, 51 Enterprise Linux, 8 ethernet switch, 13 F Fibre Channel direct-attached configuration, 14 SAN-attached configuration, 1
I N ifconfig, 46 network bonding, 47 IP address public IP address, 45 virtual IP address, 45 network parameters, 47 NIC port assignments, 45 IP adress private IP address, 45 O OCFS2, 55 J Jumbo Frame, 34 P paraphrase prompt, 49 L link monitorin, 47 logical unit number, 8 LUNs, 13 PowerConnect switch, 29 PowerPath pseudo devices, 51 public key, 49 R M mirror partitions, 59 Resource Media PowerVault MD3000, 21 Modular Disk Storage Manager, 21 RSA key pair, 49 MPIO software, 21 MTU, 34 S mul
T term Group, 29 Member, 29 Pool, 29 Volume, 29 V virtual disk, 8 volumes, 32 Voting Disk, 59 Index 67
Index
Dell™ PowerEdge™ 系统 Enterprise Linux® x86_64 上的 Oracle® 数据库 存储设备和网络指南 版本 1.1 w w w. d e l l . c o m | s u p p o r t . d e l l .
注、小心和警告 注： “注”表示可以帮助您更好地使用计算机的重要信息。 小心：“小心”表示如果不遵循说明，就有可能损坏硬件或导致数据丢失。 警告： “警告”表示可能会造成财产损失、人身伤害甚至死亡。 ____________________ 本说明文件中的信息如有更改，恕不另行通知。 © 2009 Dell Inc. 版权所有， 翻印 必究。 未经 Dell Inc. 书面许可，严禁以任何形式复制这些材料。 本文中使用的商标：Dell、DELL 徽标、PowerConnect、PowerEdge 和 PowerVault 是 Dell Inc. 的商标； Broadcom 是 Broadcom Corp 的商标； EMC、Navisphere 和 PowerPath 是 EMC Corporation 的注册商标； Intel 是 Intel 的注册商标； Oracle 是 Oracle Corporation 和 / 或其 子公司的注册商标。 本说明文件中述及的其它商标和产品名称是指拥有相应商标和产品名称的公司或其制造的 产品。Dell Inc.
目录 1 概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部署 Dell|Oracle 数据库所需的说明文件 . . . . . . . 75 . . . . . . . . . . . . . 76 . . . . . . . . . . . . . . . . . . . . . . . . 76 本说明文件中使用的术语： . 获得帮助 . Dell 支持 . . . . . . . . . . . . . . . . . . . . . . Oracle 支持 . 2 . . . . . . . . . . . . . . . . . . . . 光纤信道群集设置 . . . . . . . . . . . . . . . . . 光纤信道群集的硬件连接 准备工作 . 76 76 77 . . . . . . . . . . . . . . . 77 . . . . . . . . . . . . . . . . . . . . . . . .
4 Dell PowerVault MD3000 和 MD1000 扩充硬盘柜的 SAS 群 集 设 置 . . . . . . . . . 83 . . . . . . . 85 . . . . . . . . . . . . . . . . . 85 设置带有 PowerVault MD3000 和 MD1000 扩充硬盘柜的 SAS 群集 . . . . . . . . . 任务 1：硬件设置 任务 2：安装基于主机的存储软件 任务 3：验证和升级固件 . . . . . . . . 87 . . . . . . . . . . . . 87 任务 4：安装 SAS 5/E 适配器驱动程序 任务 5：安装后 5 . . . . . 87 . . . . . . . . . . . . . . . . . . 87 Dell PowerVault MD3000i 和 D1000 存储设备硬盘柜的 iSCSI 群集设置 . . . . 89 . . . . . . . . . 91 . . . . . . . . . . . . . . . . .
6 Dell EqualLogic PS 系列存 储系统的 iSCSI 群集设置 . EqualLogic 术语 . . . . . . . . . . . . 95 . . . . . . . . . . . . . . . . . . . . 95 设置 Dell EqualLogic iSCSI 存储系统 创建卷 . . . . . . . . . 95 . . . . . . . . . . . . . . . . . . . . . . . 98 配置 iSCSI 网络 . . . . . . . . . . . . . . . . . . 配置主机对卷的访问 7 . . . . . . . . . . . . . . . 配置用于 Oracle RAC 的存储设备、 Oracle 用户等价和网络 . . . . . . . . . . 配置公用和专用网络 . 配置公用网络 . . 100 111 . . . . . . . . . . . . . . . . . 111 . . . . . . . . . . . . . . . . . . .
配置共享的存储设备 . . . . . . . . . . . . . . . . . 使用 OCFS2 配置用于 Oracle 群集件和数据库的共享存储设备 . . . . . . . 使用原始设备接口配置共享的存储设备 （仅限 Enterprise Linux 4）. . . . . . . . . 索引 . 74 目录 121 121 . . . 124 使用块设备配置共享存储设备 . . . . . . . . . 125 使用 ASM 配置共享的存储设备 . . . . . . . . 126 使用块设备配置共享存储设备 . . . . . . . . . 127 使用 ASM 库驱动程序配置共 享存储设备 . . . . . . . . . . . . . . . . . . . . 128 使用 ASM 在新节点上配置共 享的存储设备 . . . . . . . . . . . . . . . . . . 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
概览 本说明文件适用于： • Red Hat® Enterprise Linux® 或 Oracle Enterprise Linux 4.7 AS x86_64 上 运行的 Oracle® Database 10g R2 • Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.2 AS x86_64 上运 行的 Oracle Database 10g R2 • Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.
本说明文件中使用的术语 本说明文件中，术语逻辑单元号码 (LUN) 和虚拟磁盘作为同义词使用。 术语 LUN 通常在 Dell/EMC 光纤信道存储系统环境中使用。术语虚拟磁 盘通常在 Dell PowerVault™ SAS（PowerVault MD3000i 和带有 PowerVault MD1000 扩充的 PowerVault MD3000i）或 Dell EqualLogic iSCSI 存储环 境中使用。 除非特别说明，本说明文件使用的术语 Enterprise Linux 适用于 Red Hat Enterprise Linux 和 Oracle Enterprise Linux。 获得帮助 Dell 支持 • 有关系统使用方面的详情，请参阅随系统组件附带的说明文件。 • 有关白皮书、Dell 支持的配置和一般信息，请访问 Oracle Databases and Applications Solutions（Oracle 数据库和应用程序解决方案） 网站：dell.
光纤信道群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳做法的信息，请访问 Dell Regulatory Compliance （管制标准） 网站 www.dell.com/regulatory_compliance。 本节帮助您验证 Dell 专业服务代表设置的硬件连接，以及光纤信道群集的 硬件和软件配置。 图 2-1 和图 2-3 所示为群集所需连接的概览，而表 2-1 概述了群集连接。 光纤信道群集的硬件连接 请参阅图 2-1 以目测检查光纤信道群集的所有硬件连接。 表 2-1 列出了 图 2-1 中展示的光纤信道硬件连接。 图 2-1.
表 2-1.
准备工作 验证是否已为群集完成以下任务： • 所有硬件均已安装至机架。 • 所有硬件互连均已如图 2-1、图 2-3 和表 2-1 所示进行设置。 • 所有逻辑单元号码 (LUN)、RAID 组和存储设备组均已在 Dell/EMC 光 纤信道存储系统中创建。 • 存储组已分配给群集中的节点。 小心：在执行以下各节中的步骤之前，请确保正确安装系统硬件和连接电缆。 光纤信道存储系统布线 根据您的需要，可在以下其中一个配置中对 Oracle 光纤信道群集存储系统 进行配置： • 直接连接的光纤信道（请参阅图 2-2） • 四个端口的 SAN 连接光纤信道（请参阅图 2-3） 以下各节说明这些配置的布线要求。 直接连接的光纤信道配置 在直接连接的光纤信道配置中配置节点： 1 使用一根光缆从节点 1 上的 HBA 0 连接至 SP-A 的端口 0。 2 使用一根光缆从节点 1 上的 HBA 1 连接至 SP-B 的端口 0。 3 使用一根光缆从节点 2 上的 HBA 0 连接至 SP-A 的端口 1。 4 使用一根光缆从节点 2 上的 HBA 1 连接至 SP-B 的端口 1。
图 2-2.
请参阅图 2-3 以了解 SAN 连接的光纤信道群集中的电缆连接。 图 2-3.
光纤信道群集设置
Dell PowerVault MD3000 和 MD1000 扩充硬盘柜的 SAS 群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳做法的信息，请访问 Dell Regulatory Compliance （管制标准） 网站 www.dell.
图 3-1. 串行连接的 SCSI (SAS) 群集和 Dell PowerVault MD3000 存储设备硬盘柜布线 专用网络 LAN/WAN PowerEdge 系统 PowerVault MD3000 存储系统 两个 PowerVault MD1000 扩充硬盘柜 CAT 5e/6 （公用 NIC） CAT 5e/6 （铜质千兆位 NIC） 光缆 表 3-1.
表 3-1.
5 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备 硬盘柜输出端口连接至第一个 PowerVault MD1000 扩充硬盘柜的两个 In（输入）端口。 6 （可选）。使用两根 SAS 电缆从两个 PowerVault MD1000 存储设备 硬盘柜输出端口连接至第二个 PowerVault MD1000 扩充硬盘柜的两个 In-0 端口。 注： 有关配置 PowerVault MD1000 扩充硬盘柜的信息，请参阅 Dell 支持网站 support.dell.com 上提供的 PowerVault MD3000 存储系统说明文件。 图 3-2.
任务 2：安装基于主机的存储软件 要安装 PowerVault MD3000 存储设备硬盘柜所需的基于主机的存储软件， 请使用随系统附带的 Dell PowerVault Resource 介质。要在主节点上安装 Modular Disk Storage Manager 软件并在其余节点上安装多路径 (MPIO) 软件，请按照 PowerVault MD3000 存储设备硬盘柜说明文件中的步骤进 行操作。 任务 3：验证和升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager (MDSM) 软件搜索直接连接的主机系统存储设备。 2 验证以下存储设备组件的固件是否满足最低所需版本： • RAID 控制器固件 • PowerVault MD3000 存储系统固件 • PowerVault MD1000 扩充硬盘柜固件 注： 有关最低固件版本要求，请选择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序解决方案）网站 dell.
Dell PowerVault MD3000 和 MD1000 扩充硬盘柜的 SAS 群集设置
Dell PowerVault MD3000i 和 D1000 存储设备硬盘柜的 iSCSI 群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳做法的信息，请访问 Dell Regulatory Compliance （管制标准） 网站 www.dell.com/regulatory_compliance。 本节提供有关配置 Dell™ PowerEdge™ 系统以及 Dell PowerVault™ MD3000i 和 MD1000 存储设备硬盘柜使其在 Oracle® Real Application Cluster (RAC) 环境中正常工作的信息和步骤。 通过 Dell 支持网站 support.dell.
表 4-1. iSCSI 硬件互连 群集组件 连接 PowerEdge 系统节点 • 使用一根 CAT 5e/6 电缆从公用 NIC 连接至局域网 (LAN) • 使用一根 CAT 5e/6 电缆从专用千兆位 NIC 连接至千 兆位以太网交换机（专用网络） • 使用一根 CAT 5e/6 电缆从冗余专用千兆位 NIC 连接 至冗余千兆位以太网交换机（专用网络） • 使用一根 CAT 5e/6 电缆从 iSCSI 千兆位 NIC 连接至 千兆位以太网交换机（iSCSI 网络） 注： 有关 PowerVault MD3000i 存储设备硬盘柜的其 它信息，请参阅 Dell 支持网站 support.dell.
设置 PowerVault MD3000i 和 MD1000 扩充硬盘 柜的 iSCSI 群集 任务 1：硬件设置 直接连接的 iSCSI 群集仅限于两个节点。 图 4-1.
4 使用一根 CAT 5e/6 电缆从节点 2 的另一个端口（iSCSI HBA 或 NIC） 连接至 PowerVault MD3000i 存储设备硬盘柜中 RAID 控制器 1 的 In-1 端口。 5 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备硬 盘柜输出端口连接至第一个 PowerVault MD1000 扩充硬盘柜的两个 In （输入）端口。 6 （可选）。使用两根 SAS 电缆从两个 PowerVault MD1000 存储设备硬 盘柜输出端口连接至第二个 MD1000 扩充硬盘柜的两个 In-0 端口。 注： 有关配置 PowerVault MD1000 扩充硬盘柜的信息，请参阅 Dell 支持网站 support.dell.com 上提供的 PowerVault MD3000i 存储系统说明文件。 交换式 iSCSI 群集可以支持最多八个节点。 图 4-2.
要在交换式配置（请参阅图 4-2）中配置节点，请完成以下步骤： 1 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC） 连接至网络交换机 1 的端口。 2 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC） 连接至网络交换机 2 的端口。 3 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC） 连接至网络交换机 1 的端口。 4 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC） 连接至网络交换机 2 的端口。 5 使用一根 CAT 5e/6 电缆从交换机 1 的一个端口连接至 PowerVault MD3000i 存储设备硬盘柜中 RAID 控制器 0 的 In-0 端口。 6 使用一根 CAT 5e/6 电缆从交换机 1 的另一个端口连接至 PowerVault MD3000i 存储设备硬盘柜中 RAID 控制器 1 的 In-0 端口。 7 使用一根 CAT 5e/6 电缆从交换机 2 的一个端口连接至 PowerVault MD3000i 存
任务 2：安装存储设备所需的基于主机的软件 要安装用于 PowerVault MD3000i 存储系统的基于主机的必需存储软件， 请使用随 PowerVault MD3000i 存储系统附带的 Dell PowerVault Resource 介质。按照 Dell 支持网站 support.dell.com 上提供的 PowerVault MD3000i 存储系统说明文件中的步骤进行操作，在主节点上安装 Modular Disk Storage Manager 软件并在其余节点上安装多路径 (MPIO) 软件。 任务 3：验证和升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager 软件搜索直接 连接的主机系统存储设备。 2 验证以下存储组件的固件是否满足最低所需版本。 • MD3000i 存储系统固件 • MD1000 扩充硬盘柜固件 注： 有关最低固件版本要求，请选择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序解决方案）网站 dell.
Dell EqualLogic PS 系列存储系 统的 iSCSI 群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳做法的信息，请访问 Dell Regulatory Compliance （管制标准） 网站 www.dell.
图 5-1.
图 5-2. 带有三个 PS5000XV 阵列的示例 Oracle RAC 配置 Dell™ Optiplex™ 台式机 公用网络 RAC 专用互连 iSCSI SAN LAN/WAN PowerConnect 千兆位以太网交换机 链路聚合组 PowerConnect 6200 系列 千兆位以太网交换机 高带宽交换机 之间的链路 Dell EqualLogic PS 系列以太网交换机 存储设备成员 oracle-member01 存储设备成员 oracle-member02 OCR 和 CSS 投票磁盘卷 存储设备成员 oracle-member03 快擦写恢复区域卷 数据卷 RAID-10 存储池 RAID-5 存储池 存储组：oracle-group 注： 有关如何初始化 EqualLogic 阵列的详情，请查阅 Dell 支持网站 support.dell.
一个 Dell EqualLogic PS 系列存储组可以分离到多个层或池中。层叠存储 可使管理员更好地控制磁盘资源的分配方式。每次可将一个成员仅分配到 一个池。将成员分配到池以及在不同池间移动成员很容易，而且不会影响 数据的可用性。池可以根据不同标准（如磁盘类型或速度、RAID 级别和应 用类型）加以组织。 在图 5-2 中，池按照成员 RAID 级别进行组织： • 名为 RAID-10 的池由 RAID 10 成员组成 • 名为 RAID-5 的池由 RAID 5 成员组成 创建卷 存储数据之前，Dell EqualLogic PS5000XV 存储阵列的物理磁盘必须配置为 可使用的组件（称为卷）。卷代表存储池的一部分，具有特定容量、访问控 制和其它属性。卷可以跨越多个磁盘和组成员， 它在网络上显示为 iSCSI 目标设备。卷分配给池并可以在不同的池间轻松移动，而且不会影响数据的 可用性。此外，根据池中存储设备硬件资源的总工作负载，还会在池中进行 自动数据分布和自动负载平衡。 表 5-1 显示了卷配置示例。 表 5-1.
在 Dell EqualLogic PS5000XV 阵列中创建卷，然后创建访问列表，以允许所 有主机 iSCSI 网络接口访问这些卷。例如，创建以下卷： • mdi-ocr-css-spfile • mdi-data1 • mdi-data2 • mdi-fra1 配置 iSCSI 网络 建议将用于 iSCSI 通信的主机网络接口配置为使用流控制和超长帧， 以实现最优性能。使用 ethtool 公用程序配置流控制。 使用以下命令检查接口上的流控制（RX/TX 暂停）： # ethtool -a < 接口 > 例如： # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on 此示例显示流控制已开启。如果流控制尚未开启，请使用以下命令开启： # ethtool -A < 接口 > rx on tx on 通过添加 MTU="" 参数，即可在 /etc/sysconfig/networkscripts/ifcfg-< 接口 > 脚本中配置巨型帧。 以下示例中，MTU 被设置为 9000。 #
请使用 ifconfig 命令来验证超长帧设置： $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 获取用于 iSCSI 通信的主机上每个网络接口的硬件地址。 grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, 其中 n 是网络接口编号。 5 为用于 iSCSI 通信的主机上的每个网络接口创建接口。 iscsiadm -m iface -I iface_name --op=new, 其中，iface_name 是指定给接口的名称。 iscsiadm -m iface -I iface_name --op=update -n iface.hwaddress -v hardware_address 其中，hardware_address 是在步骤 4 中获取的接口硬件地址。 例如，以下命令将为硬件地址为 00:18:8B:4E:E6:CC 的 eth0 接口 创建名为 eth0-iface 的接口： # iscsiadm -m iface -I eth0-iface --op=new 此时将添加新接口 eth0-iface。 # iscsiadm -m iface -I eth0-iface --op=update -n iface.
9 102 从步骤 5 中创建的所有接口搜索目标。 iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, 其中，group_ip_address 是 EqualLogic 存储组中的 IP 地址， iface_name1、iface_name2、iface_name3、iface_name4 等是用于 iSCSI 通信的主机上的网络接口（如步骤 5 中定义）。 例如，以下命令在组 IP 地址 10.16.7.100 上从具有两个接口 （名为 eth0-iface 和 eth1-iface）的主机中搜索到四个卷。 # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.
10 验证是否已从所有主机接口搜索所有卷： iscsiadm -m discovery --print=1 例如： # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.
11 从步骤 5 中创建的每个接口登录到所有目标（卷）： iscsiadm -m node -p group_ip_address --interface iface_name --login, 其中，group_ip_address 是 EqualLogic 存储组中的 IP 地址， 而 iface_name 是用于 iSCSI 通信的主机上的网络接口（如步骤 5 中定义）。 以下示例从主机上的两个接口（eth0-iface 和 eth1-iface）分别登录到 三个卷。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 取消 /etc/multipath.conf 中以下节的注释。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 在 /etc/multipath.
以下示例包括四个卷的配置。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 5 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 重新启动多路径守护程序，并验证是否在 multipath -l1 输出中显 示别名。 service multipathd restart multipath -ll 例如： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
/dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, /dev/mapper/osvg-home brw-rw---- 1 root disk 253, /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, /dev/mapper/osvg-root brw-rw---- 1 root disk 253, /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, /dev/mapper/osvg-usr brw-rw---- 1 root disk 253, /dev/mapper/osvg-var 7 110 6 Dec 15 11:22 3 Dec 15 11:22 4 Dec 15 11:22 0 Dec 15 11:22 7 Dec 15 11:22 1 Dec 1
配置用于 Oracle RAC 的存储 设备、Oracle 用户等价和网络 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳做法的信息，请访问 Dell Regulatory Compliance （管制标准） 网站 www.dell.
配置公用网络 注： 确保公用 IP 地址是有效且可路由的 IP 地址。 注： 专用网络的两个绑定的 NIC 端口中的每一个都必须位于独立的 PCI 总线上。例如，一个绑定对可由一个机载 NIC 和一个添加式 NIC 卡组成。 如果您尚未配置公用网络，请在每个节点上执行以下步骤： 112 1 作为 root 登录。 2 编辑网络设备文件 /etc/sysconfig/network-scripts/ifcfg-eth#， 其中 # 是网络设备的编号： DEVICE=eth0 ONBOOT=yes IPADDR=< 公用 IP 地址 > NETMASK=< 子网掩码 > BOOTPROTO=static HWADDR= SLAVE=no 3 编辑 /etc/sysconfig/network 文件，如果有必要，使用合格的公用节 点名称替换 localhost.localdomain。 例如，用于节点 1 的命令： hostname=node1.domain.
利用绑定功能配置专用网络 在部署群集之前，应将专用群集网络配置为允许节点之间相互通信。此过 程包括配置网络绑定以及为群集中的每个节点分配专用 IP 地址和主机名。 要设置 Broadcom® 或 Intel® NIC 的网络绑定并配置专用网络，请在每个 节点上执行以下步骤： 1 作为 root 登录。 2 在 /etc/modprobe.conf 文件中添加以下行： alias bond0 bonding 3 为了获得高可用性，请编辑 /etc/modprobe.conf 文件并设置链接监 测选项。 miimon 的默认值是 0。该默认值会禁用链接监测功能。开始时请将 该值更改为 100 毫秒。可根据需要调整该值，以便改善性能。例如， 键入： options bonding miimon=100 mode=6 max_bonds=2 4 在 /etc/sysconfig/network-scripts/ 目录中，创建或编辑 ifcfg-bond0 配置文件。 例如，使用示例网络参数时，该文件会显示如下： DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.
5 对于作为绑定成员的每个设备： a 在目录 /etc/sysconfig/network-scripts/ 中，编辑 ifcfg-ethn 文件： DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b 键入 service network restart 并忽略所有警告。 6 在每个节点上，键入 ifconfig 以验证专用接口是否正常工作。 节点的专用 IP 地址必须分配给专用接口 bond0。 7 设置每个节点上的所有专用 IP 地址后，请从一个节点对每个 IP 地址 执行 ping 命令，确保专用网络可以正常工作。 8 连接到每个节点。通过键入以下命令验证专用网络和 ssh 是否正常 工作： ssh < 专用 IP> 9 在每个节点上，通过键入以下命令修改 /etc/hosts 文件中的行： 127.0.0.1 localhost.
10 在每个节点上，通过列出所有公用 IP 地址或主机名来创建或修改 /etc/hosts.equiv 文件。例如，如果对于每个节点来说，您有一个公 用主机名、一个虚拟 IP 地址和一个虚拟主机名，请添加以下内容： < 公用主机名节点 1> oracle < 公用主机名节点 2> oracle < 虚拟 IP 或主机名节点 1> oracle < 虚拟 IP 或主机名节点 2> oracle 配置用于 Oracle 用户等价的 Secure Shell (ssh) 1 在所有节点上，作为用户 oracle 登录。 2 在系统中使用以下命令生成 RSA 密钥对： ssh-keygen -t rsa 3 按 键以接受密钥文件的默认位置（在这种情况下为 /home/oracle/.ssh/id_rsa）。 4 在两个段落提示符下按 键以输入一个空段落。 5 ssh-keygen 公用程序将结束该操作。系统将显示以下信息： Your identification has been saved in /home/oracle/.ssh/id.rsa.
8 通过使用 scp 命令，对每个节点执行 < 节点名 >.pub 密钥的安 全复制。 以下示例为双节点的情况： （节点 1）： scp /home/oracle/.ssh/< 节点 1>.pub < 节点 2 的 ip>:/home/oracle/.ssh （节点 2）： scp /home/oracle/.ssh/< 节点 2>.pub < 节点 1 的 ip>:/home/oracle/.ssh 现在，每个系统的 /home/oracle/.ssh 目录下均有另一个系统的公 共密钥。 9 通过使用 touch 命令，在每个节点的 /home/oracle.ssh 目录下创建名为 authorized_keys 的文件： touch authorized_keys 10 在每个系统上执行以下步骤： cat < 节点 1 名称 >.pub >> authorized_keys cat < 节点 2 名称 >.
表 6-2.
5 6 在 /proc/partitions 文件中，确保： • 对于所有节点，出现在该文件中的所有 PowerPath 虚拟设备都具有类似的 设备名称。 例如：/dev/emcpowera、/dev/emcpowerb 和 /dev/emcpowerc。 • 如果是 PowerVault MD3000、MD3000i 或 EqualLogic 存储阵列，则对于 所有节点，在该文件中显示的所有虚拟磁盘或卷都具有类似的设备名称。 例如：/dev/sdb、/dev/sdc 和 /dev/sdd 。 • 外部存储设备的逻辑卷显示为 SCSI 设备，并且每个节点配置相同数目的 LUN、虚拟磁盘或卷。 例如，如果对节点进行配置，使 SCSI 驱动器或 RAID 容器连接至具有 三个逻辑磁盘的光纤信道存储设备，则 sda 可以识别节点的 RAID 容器或 内部驱动器，而 emcpowera、emcpowerb 和 emcpowerc 可以识别 LUN （或 PowerPath 虚拟设备）。 如果对节点进行配置，使 SCSI 驱动器或 RAID 容器连接至具有三个虚拟 磁盘的直接连接 SAS 或 iSCSI
x # expert mode（专家模式） b # adjust starting block number（调整起始数据块编号） 1 # choose partition 1（选择分区 1） 128 # set it to 128（设置为 128），（这是 Dell\EMC CX 系列光纤 信道存储上的默认条带元素大小） w # write the new partition（写入新分区） 对于将进行快照、克隆或 MirrorView 映像的 LUN，fdisk 方法比 LUN 对齐 偏移方法更好。SAN Copy 的源和目标也首选使用此方法。 过程：使用 fdisk 公用程序调整磁盘分区 可通过以下步骤使用 fdisk 公用程序调整磁盘分区。 1 在命令提示符下，键入以下命令： fdisk < 分区名称 >， 其中 < 分区名称 > 是您要调整的分区的名称。 例如，如果分区名称为 /dev/emcpowera，键入： fdisk /dev/emcpowera 系统会显示以下信息： The number of cylinders for this disk is set to 8782.
6 在命令提示符下，键入以下 fdisk 公用程序参数：w 系统会显示以下信息： The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks.
6 通过添加如下条目编辑新建文件系统的 /etc/fstab 文件： /dev/emcpowera1 /oradata ext3 defaults 1 2， 其中 类似于 /u01/app/oracle 7 键入： chown -R oracle.
e 添加所有节点后，单击 Apply（应用），然后单击 Node Configuration（节点配置）窗口中的 Close（关闭）。 注： 如果出现错误信息：Unable to access cluster service（无法访问群集服务），请在执行步骤 e 时，删除文件 /etc/ocfs2/cluster.conf 并再次尝试。 f 从菜单中，单击 Cluster（群集）→ Propagate Configuration （传播配置）。 此时会显示 Propagate Cluster Configuration（传播群集配置） 窗口。等待直到窗口中出现 Finished（已完成）信息。单击 Close（关闭）。 g 选择 File（文件）→ Quit（退出）。 3 在所有节点上键入以下命令，以便在启动时启用群集堆栈： /etc/init.d/o2cb enable 4 在所有节点上更改 O2CB_HEARTBEAT_THRESHOLD 值： 5 a 通过键入以下命令，在所有节点上停止 O2CB 服务： /etc/init.
6 在任一节点上，使用命令行公用程序 mkfs.ocfs2 以 4 K 数据块大小、 128 K 群集大小和 4 个节点插槽格式化外部存储设备： ocr.dbf 和投票磁盘 mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 数据库文件 mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 快擦写恢复区域 mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 注： 节点插槽数是指群集节点数。 注： 有关设置群集格式化参数的详情，请访问 OCFS2 常见问题网站 oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html。 7 在每个节点上，执行以下步骤： a 为每个 OCFS2 分区创建安装点。要执行此过程，请键入以下命令 创建目标分区目录和设置所有权： mkdir -p /u02 /u03 /u04 chown -R oracle.
使用原始设备接口配置共享的存储设备（仅限 Enterprise Linux 4） 1 在第一个节点上，使用 fdisk 公用程序在外部存储设备上创建六 个分区： 键入：fdisk /dev/emcpowerX， 然后创建六个 300 MB 的分区，分别用于 Oracle 群集库 (OCR)、 投票磁盘以及 Oracle 系统参数文件。 2 通过键入以下命令验证新分区：more /proc/partitions 如果 /proc/partitions 文件中没有显示新分区，请在所有节点上键 入以下命令：sfdisk -R /dev/< 设备名称 > 3 在光纤信道群集中的所有节点上，执行以下步骤。 编辑 /etc/sysconfig/rawdevices 文件并添加以下行： /dev/raw/votingdisk1 /dev/emcpowera1 /dev/raw/votingdisk2 /dev/emcpowera2 /dev/raw/votingdisk3 /dev/emcpowera3 /dev/raw/ocr1.dbf /dev/emcpowera4 /dev/raw/ocr2.
使用块设备配置共享存储设备 注： 执行本节中的步骤之前，请按照《操作系统和硬件安装指南》的 “配置用于 Oracle 数据库安装的操作系统”章节中列出的步骤进行操作， 该指南可从 Dell 支持网站 support.dell.com 获得。 1 在第一个节点上，使用 fdisk 公用程序在外部存储设备上创建六个 分区。键入：fdisk /dev/emcpowerX，然后创建六个 300 MB 的分 区，分别用于 OCR、投票磁盘以及 Oracle 系统参数文件。 2 通过键入以下命令验证新分区：more /proc/partitions 如果 /proc/partitions 文件中没有显示新分区，请在所有节点上， 键入以下命令：sfdisk -R /dev/< 设备名称 > 3 在光纤信道群集中的所有节点上，执行以下步骤： a 将主 OCR 和镜像 OCR 的分区名称添加到 permissions.
b 将投票磁盘的名称添加到 permissions.ini 文件。该文件位于 /dell-oracle-deployment/scripts/ 目录中： [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= 例如，如果投票磁盘为 emcpowerb1、emcpowerb2 和 emcpowerb3，则 permissions.ini 修改为如下形式： [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 注： 仅修改上面的五个变量：primary_ocr、mirror_ocr、vote1、 vote2 和 vote3。 4 设置 permissions.ini 文件后，请运行位于 /dell-oracledeployment/scripts/ 文件夹下的 permissions.py 脚本： ./permissions.py 5 运行以下命令以设置正确的块设备权限：/etc/rc.
b 3 通过键入以下命令，验证新分区是否存在： cat /proc/partitions。 如果没有看到新分区，则键入： sfdisk -R /dev/< 设备名称 > 键入 chkconfig networkwait off。 注： 使用 ASM 进行共享存储设备配置可通过块设备或 Oracle ASM 库 驱动程序实现。 使用块设备配置共享存储设备 注： 执行本节中的步骤之前，请按照《操作系统和硬件安装指南》的 “配置用于 Oracle 数据库安装的操作系统”章节中列出的步骤进行操作， 该指南可从 Dell 支持网站 support.dell.com 获得。 1 将 asm1 和 asm2 的磁盘组名称添加到 permissions.ini 文件中。 此文件位于 /dell-oracle-deployment/scripts/ 目录中：[asm] asm1= asm2= 例如，如果 ASM1 和 ASM2 磁盘组为 /dev/emcpowerc1 和 /dev/emcpowerd1，则 permissions.
使用 ASM 库驱动程序配置共享存储设备 128 1 作为 root 登录。 2 打开终端窗口，并在所有节点上执行以下步骤： a 键入：service oracleasm configure b 为所有节点键入以下输入： Default user to own the driver interface （拥有驱动程序接口的默认用户）[ ]: oracle Default group to own the driver interface （拥有驱动程序接口的默认组）[ ]: dba Start Oracle ASM library driver on boot （引导时启动 Oracle ASM 库驱动程序）(y/n) [n]: y Fix permissions of Oracle ASM disks on boot （引导时修复 Oracle ASM 磁盘的权限）(y/n) [y]: y 3 仅当 RAC 配置使用 EqualLogic iSCSI 存储设备和 Linux 设备 映射程序多路径驱动程序时，才执行步骤 3。按如下方式设置 /etc/sysconfig/oracleasm
使用 ASM 在新节点上配置共享的存储设备 1 作为 root 登录。 2 打开终端窗口，然后作为 root 登录。 3 对于 Enterprise Linux 4： 从其中一个现有节点将 /etc/sysconfig/rawdevices 文件复制到新节点上 的相同位置。 对于 Enterprise Linux 5： 有关说明，请参阅《Dell PowerEdge 系统：Redhat Enterprise Linux 或 Oracle Enterprise Linux Advanced Server 上的 Oracle Database 10gR2： 存储设备和网络指南（版本 1.0）》说明文件的“使用块设备配置共 享存储设备”章节，该说明文件可从 Dell 支持网站 support.dell.
6 确保新节点可以访问 ASM 磁盘。 在终端窗口中，输入以下命令： service oracleasm scandisks 7 确保 ASM 磁盘在新节点上可用。 在终端窗口中，输入以下命令： service oracleasm listdisks 列出其余节点上所有可用的磁盘。 例如： ASM1 ASM2 配置用于 Oracle RAC 的存储设备、Oracle 用户等价和网络
索引 A D ASM 库驱动程序， 128 Dell/EMC 光纤信道， 78 B 绑定对， 112 帮助， 76 Dell 支持， 76 Oracle 支持， 76 别名， 107 布线 光纤信道存储设备， 79 iSCSI 群集， 91 SAS 存储设备， 85 Dell|EMC 光纤信道 存储设备， 78 交换机， 78 电缆 CAT 5e， 78 CAT 6， 78 多路径驱动器， 89 E EMC Navisphere， 117 PowerPath， 117 Enterprise Linux ， 76 C 超长帧， 99 G 高可用性， 113 公共密钥， 115 光纤信道 SAN 连接配置， 80 直接连接配置， 79 索引 131
J O ifconfig， 112 OCFS2， 121 IP 地址 公用 IP 地址， 111 虚拟 IP 地址， 111 专用 IP 地址， 111 P 镜像分区， 125 PowerPath 虚拟设备， 117 PowerConnect 交换机， 95 卷， 98 Q L LUN ， 79 群集件 配置存储设备， 121 链接监测， 113 逻辑单元号码， 76 R RSA 密钥对， 115 M MPIO 软件， 87 MTU ， 99 模块化磁盘存储管理器， 87 N NIC 端口分配， 111 132 索引 认证与培训 Dell， 76 Oracle， 76 S SAS 群集设置， 83,89,95,111 释义提示， 115
T Y 投票磁盘， 125 以太网交换机， 78 域命名服务， 111 W 网络绑定， 113 Z 网络参数， 113 术语 成员， 95 池， 95 卷， 95 组， 95 X 虚拟磁盘， 76 资源介质 PowerVault MD3000， 87 索引 133
索引
Oracle® Database sur les systèmes Dell™ PowerEdge™ sous Enterprise Linux® x86_64 Guide de stockage et de mise en réseau Version 1.1 w w w. d e l l . c o m | s u p p o r t . d e l l .
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION indique un risque de dommage matériel ou de perte de données en cas de non-respect des instructions. AVERTISSEMENT : Un AVERTISSEMENT vous avertit d'un risque d'endommagement du matériel, de blessure corporelle ou de mort.
Table des matières 1 Présentation . . . . . . . . . . . . . . . . . . . . . Documentation requise pour déployer Dell|Oracle Database 141 . . . . . . . . . . . . . 142 Obtention d'aide . . . . . . . . . . . . . . . . . . . . . 142 Support Dell . . . . . . . . . . . . . . . . . . . . . 142 Terminologie utilisée dans le présent document . Support Oracle 2 141 143 . . . . . . . . . . . . . . . . . . .
3 Configuration d'un cluster SAS pour un système Dell PowerVault MD3000 et des châssis d'extension MD1000 . . . 151 . . . . 154 . . . . . . . . . 154 Configuration d'un cluster SAS comprenant un système PowerVault MD3000 et des châssis d'extension MD1000 . . . . . . Tâche 1: installation du matériel Tâche 2 : installation des logiciels hôtes requis pour le stockage . . . . . . . . . . . . . . 155 . . . . . . 156 . . . . . . . . . . 156 . . . . . . . . . . . .
5 Configuration de clusters iSCSI pour les systèmes de stockage Dell EqualLogic série PS . . . . . . Terminologie EqualLogic 163 163 . . . . . . . . . . . . . . . . Configuration du système de stockage iSCSI Dell EqualLogic . . . . . . . . . Création des volumes . . . . . . . . . . 164 . . . . . . . . . . . . . . . 167 Configuration des réseaux iSCSI . Configuration des réseaux public et privé . . . . . 181 . . . . . . . 181 . . . . . . . . . . 182 . . . . . . . . . . .
Configuration du stockage de la base de données à l'aide du système de fichiers ext3 pour un seul nœud . . . . . . . . . . . . . . . . . Configuration du stockage partagé . . 191 . . . . . . . . . . 193 Configuration du stockage partagé pour Oracle Clusterware et Oracle Database à l'aide d'OCFS2 . . . . . . . . . . . . . . . . . . 193 Configuration du stockage partagé à l'aide de RAW Device Interface pour Enterprise Linux 4 uniquement . . . . . . .
Présentation Le contenu du présent document s'applique à : • Oracle® Database 10g R2 sous Red Hat® Enterprise Linux® ou Oracle Enterprise Linux 4.7 AS x86_64 • Oracle Database 10g R2 sous Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.2 AS x86_64 • Oracle Database 11g R1 sous Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.
• Oracle Database sur les systèmes Dell PowerEdge sous Enterprise Linux x86_64 – Guide d'installation et de configuration de la base de données : ce module indique comment installer et configurer Oracle Database. • Oracle Database sur les systèmes Dell PowerEdge sous Enterprise Linux x86_64 – Guide de dépannage : ce module indique comment ajouter un nœud à un cluster et corriger les erreurs survenues lors des procédures d'installation décrites dans les modules précédents.
• Vous trouverez les informations de contact Dell dans le document Oracle Database sur les systèmes Dell PowerEdge sous Enterprise Linux x86_64 – Guide de dépannage de votre système, disponible sur le site Web du Support Dell, à l'adresse support.dell.com. • Des formations et certifications Dell Enterprise sont disponibles. Pour plus d'informations, voir le site Web dell.com/training. Ce service n'est pas disponible dans certains pays.
Présentation
Configuration d'un cluster Fibre Channel AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir le site Web Regulatory Compliance (Conformité à la réglementation), à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 2-1. Connexions matérielles pour un cluster Fibre Channel Systèmes clients Commutateurs Ethernet Gigabit (réseau privé) Réseau WAN/LAN Systèmes PowerEdge (Oracle Database) Systèmes de stockage Fibre Channel Dell/EMC Commutateurs Fibre Channel Dell/EMC (SAN) CAT 5e/6 (carte réseau (NIC) publique) CAT5e/6 (carte réseau (NIC) Gigabit cuivre) Câbles à fibres optiques Câbles à fibres optiques supplémentaires Tableau 2-1.
Tableau 2-1. Interconnexions matérielles pour Fibre Channel (Suite) Composant de cluster Connexions Système de stockage • Deux câbles CAT 5e ou CAT 6 connectés au réseau local Fibre Channel • Une à quatre connexions par câble à fibres optiques vers Dell/EMC chaque commutateur Fibre Channel.
Avant de commencer Vérifiez que les tâches suivantes ont bien été effectuées sur le cluster : • Tous les composants matériels ont été installés dans le rack. • Toutes les interconnexions matérielles ont été configurées comme l'indiquent la figure 2-1, la figure 2-3 et le tableau 2-1. • Tous les LUN (numéros d'unités logiques), les groupes RAID et les groupes de stockage ont été créés sur le système de stockage Fibre Channel Dell/EMC. • Les groupes de stockage ont été affectés aux nœuds.
Pour les connexions d'un cluster Fibre Channel relié à un SAN, voir la figure 2-2. Figure 2-2.
7 Installez un câble optique entre le port 2 du processeur de stockage B et le commutateur Fibre Channel 1. 8 Installez un câble optique entre le port 3 du processeur de stockage B et le commutateur Fibre Channel 0. 9 Installez un câble optique entre la carte HBA 0 du nœud 1 et le commutateur Fibre Channel 0. 10 Installez un câble optique entre la carte HBA 1 du nœud 1 et le commutateur Fibre Channel 1. 11 Installez un câble optique entre la carte HBA 0 du nœud 2 et le commutateur Fibre Channel 0.
Configuration d'un cluster SAS pour un système Dell PowerVault MD3000 et des châssis d'extension MD1000 AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir le site Web Regulatory Compliance (Conformité à la réglementation), à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 3-1 Câblage du cluster SCSI (SAS) série et du châssis de stockage Dell PowerVault MD3000 Réseau privé Réseau LAN/WAN Systèmes PowerEdge Système de stockage PowerVault MD3000 Deux châssis d'extension PowerVault MD1000 152 CAT 5e/6 (carte réseau (NIC) publique) CAT5e/6 (carte réseau Gigabit cuivre) Câbles à fibres optiques Configuration d'un cluster SAS pour le châssis d'extension PowerVault
Tableau 3-1 Interconnexions matérielles d'un cluster SAS Composant de cluster Connexions Nœud système PowerEdge • Un câble CAT5e/6 reliant la carte réseau (NIC) publique au réseau local (LAN) • Un câble CAT5e/6 reliant la carte réseau (NIC) Gigabit privée au commutateur Ethernet Gigabit (réseau privé) • Un câble CAT5e/6 reliant une carte réseau (NIC) Gigabit privée redondante au commutateur Ethernet Gigabit redondant (réseau privé) • Deux connexions SAS vers le nœud système PowerVault MD3000 via un contr
Configuration d'un cluster SAS comprenant un système PowerVault MD3000 et des châssis d'extension MD1000 Tâche 1: installation du matériel Les clusters SAS ne peuvent être installés que dans un environnement à connexion directe ; ils sont limités à deux nœuds. Pour effectuer une configuration à connexion directe pour vos nœuds : 1 Installez un câble SAS entre un port du contrôleur SAS du nœud 1 et le port In-0 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000.
Figure 3-2 Câblage d'un cluster SAS à connexion directe Serveur hôte équipé de deux adaptateurs HBA Serveur hôte équipé de deux adaptateurs HBA Module contrôleur RAID 0 Module contrôleur RAID 1 du châssis RAID MD3000 Châssis d'extension PowerVault MD1000 Châssis d'extension PowerVault MD1000 Tâche 2 : installation des logiciels hôtes requis pour le stockage Pour installer les logiciels hôtes requis pour le stockage sur un châssis PowerVault MD3000, utilisez le support Dell PowerVault Resource livré a
Tâche 3 : vérification et mise à niveau du micrologiciel 1 Lancez la détection des unités de stockage à connexion directe du système hôte à l'aide du logiciel Modular Disk Storage Manager (MDSM) installé sur l'hôte. 2 Vérifiez que le micrologiciel utilisé par les composants de stockage répertoriés ci-après respecte la version minimale requise.
Configuration d'un cluster iSCSI pour un système PowerVault MD3000i et des châssis de stockage MD1000 AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir le site Web Regulatory Compliance (Conformité à la réglementation), à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 4-1.
Configuration d'un cluster iSCSI comprenant un système PowerVault MD3000i et des châssis d'extension MD1000 Tâche 1: installation du matériel Les clusters iSCSI à connexion directe sont limités à deux nœuds. Figure 4-1.
3 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) du nœud 2 et le port In-1 du contrôleur RAID 0 du châssis de stockage PowerVault MD3000i. 4 Installez un câble CAT 5e/6 entre l'autre port (iSCSI HBA ou NIC) du nœud 2 et le port In-1 du contrôleur RAID 1 du châssis de stockage PowerVault MD3000i. 5 (Facultatif) Connectez deux câbles SAS entre les deux ports de sortie du châssis de stockage PowerVault MD3000 et les deux ports d'entrée (“In”) du premier châssis d'extension PowerVault MD1000.
Pour créer une configuration avec liaison par commutateur pour les nœuds du cluster (voir la figure 4-2), procédez comme suit : 1 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) du nœud 1 et le port du commutateur réseau 1. 2 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) du nœud 1 et le port du commutateur réseau 2. 3 Installez un câble CAT 5e/6 entre un port (iSCSI HBA ou NIC) du nœud 2 et le port du commutateur réseau 1.
Tâche 2 : installation des logiciels hôtes requis pour le stockage Pour installer les logiciels hôtes requis pour le système de stockage PowerVault MD3000i, utilisez le support Dell PowerVault Resource qui l'accompagne.
Configuration de clusters iSCSI pour les systèmes de stockage Dell EqualLogic série PS AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir le site Web Regulatory Compliance (Conformité à la réglementation), à l'adresse suivante : www.dell.com/regulatory_compliance.
Configuration du système de stockage iSCSI Dell EqualLogic Les systèmes hôtes peuvent être connectés à la matrice iSCSI Dell™ EqualLogic PS5000XV via un réseau de stockage (SAN) IP et un commutateur Ethernet Gigabit standard. La figure 5-1 présente la configuration réseau recommandée pour une matrice Dell EqualLogic PS5000XV à double module de contrôle.
Figure 5-1.
Figure 5-2.
Un groupe de stockage Dell EqualLogic série PS peut être divisé en plusieurs niveaux ou pools. Le stockage à plusieurs niveaux offre aux administrateurs plus d'autonomie pour l'allocation des ressources disque. Un membre ne peut être attribué à la fois qu'à un seul pool. On peut facilement affecter un membre à un pool ou le déplacer d'un pool à un autre sans aucune incidence sur la disponibilité des données.
Le tableau 5-1 présente un exemple de configuration des volumes. Tableau 5-1.
Configuration des réseaux iSCSI Il est recommandé de configurer les interfaces réseau hôtes pour le trafic iSCSI afin d'optimiser les performances à l'aide des paramètres Flow Control (Contrôle de flux) et Jumbo Frame (Trame Jumbo). Pour configurer le paramètre Flow Control (Contrôle de flux), utilisez l'utilitaire ethtool. Pour vérifier le paramètre Flow Control (RX/TX Pause) [Contrôle de flux (Pause RX/TX)] sur les interfaces, utilisez la commande suivante : # ethtool -a .
Pour vérifier la valeur du paramètre Jumbo Frame (Trame Jumbo), utilisez la commande ifconfig : $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.
3 Activez le lancement du service iSCSI au démarrage. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Procurez-vous l'adresse matérielle de chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. grep -i hwaddr /etc/sysconfig/network-scripts/ ifcfg-ethn, où n est le numéro de l'interface réseau. 5 Créez une interface pour chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. iscsiadm -m iface -I iface_name --op=new, où iface_name est le nom affecté à l'interface.
8 Redémarrez le service iSCSI pour que la nouvelle configuration prenne effet. service iscsi stop service iscsi start 9 Détectez les cibles des interfaces créées à l'étape 5.
10 Vérifiez que tous les volumes ont été détectés à partir de l'ensemble des interfaces de l'hôte : iscsiadm -m discovery --print=1 Par exemple : # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Connectez-vous à toutes les cibles (volumes) de chaque interface créée à l'étape 5. iscsiadm -m node -p group_ip_address --interface iface_name --login, où, group_ip_address est l'adresse IP du groupe de stockage EqualLogic et iface_name l'interface réseau (définie à l'étape 5) de l'hôte utilisé pour le trafic iSCSI. Dans l'exemple ci-dessous, l'utilisateur se connecte à trois volumes à partir de chacune des deux interfaces (eth0-iface et eth1-iface) d'un hôte. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Supprimez les commentaires de la section suivante dans /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s / block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Ajoutez la section ci-dessous dans /etc/multipath.conf. Le WWID est obtenu à partir de l'étape 1.
L'exemple ci-dessous inclut les configurations de quatre volumes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797996fe2 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee902e94b4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Redémarrez le démon du multiacheminement, puis vérifiez que les alias s'affichent dans la sortie multipath -l1.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk mapper/ocr-css-spfile brw-rw---- 1 root disk mapper/osvg-crs brw-rw---- 1 root disk mapper/osvg-home brw-rw---- 1 root disk mapper/osvg-opt brw-rw---- 1 root disk mapper/osvg-root brw-rw---- 1 root disk mapper/osvg-swap brw-rw---- 1 root disk mapper/osvg-tmp brw-rw---- 1 root disk mapper/osvg-usr brw-rw---- 1 root disk mapper/osvg-var 253, 11 Dec 15 11:51 /dev/ 253, 6 Dec 15 11:22 /dev/ 253, 3 Dec 15 11:22 /dev/ 253, 4 Dec 15 11:22 /dev/ 253, 0 Dec 15 11:22 /dev/ 253, 7 Dec
Configuration du stockage, de l'équivalence Oracle et de la mise en réseau pour Oracle RAC AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir le site Web Regulatory Compliance (Conformité à la réglementation), à l'adresse suivante : www.dell.com/regulatory_compliance.
Selon le nombre de ports de carte réseau (NIC) disponibles, configurez les interfaces comme indiqué dans le tableau 6-1.
4 Tapez : service network restart 5 Tapez ifconfig pour vérifier que les adresses IP sont configurées correctement. 6 Pour vérifier que le réseau est configuré correctement, lancez un test ping sur chaque adresse IP publique à partir d'un client du réseau local situé hors du cluster. 7 Connectez-vous à chaque nœud pour vérifier que le réseau public fonctionne. Tapez ssh pour vérifier que la commande secure shell (ssh) fonctionne également.
4 Dans le répertoire /etc/sysconfig/network-scripts/, créez ou modifiez le fichier de configuration ifcfg-bond0. Par exemple, avec les paramètres réseau fictifs, le fichier se présente comme suit : DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.255 ONBOOT=yes BOOTPROTO=none USERCTL=no Les entrées NETMASK, NETWORK et BROADCAST sont facultatives. DEVICE=bondn est le nom du lien, n correspondant au numéro de lien. IPADDR correspond à l'adresse IP privée.
7 Une fois les adresses IP privées définies sur chaque nœud, vérifiez le bon fonctionnement du réseau privé en lançant un test ping sur chaque adresse IP à partir d'un nœud. 8 Connectez-vous à chaque nœud. Vérifiez que le réseau privé et la commande ssh fonctionnent correctement en tapant : ssh 9 Sur chaque nœud, modifiez les lignes du fichier /etc/hosts en tapant : 127.0.0.1 localhost.
Configuration de Secure Shell (ssh) pour l'équivalence Oracle 1 Sur chaque nœud, connectez-vous en tant que oracle. 2 Générez une paire de clés RSA sur le système à l'aide de commande suivante : ssh-keygen -t rsa 3 Appuyez sur pour accepter l'emplacement par défaut du fichier de clés (en l'occurrence, /home/oracle/.ssh/id_rsa). 4 À l'apparition des deux invites de mot de passe, appuyez sur afin de laisser le champ vide. 5 L'utilitaire ssh-keygen termine l'opération.
9 Créez un fichier nommé authorized_keys sous le répertoire /home/oracle.ssh de chaque nœud à l'aide de la commande touch : touch authorized_keys 10 Exécutez la commande suivante sur chaque système : cat .pub >> authorized_keys cat .pub >> authorized_keys 11 Une fois l'étape 10 exécutée sur tous les nœuds, vous pouvez lancer la commande ssh à partir de chaque nœud sans avoir à fournir un mot de passe.
Pour vérifier que chaque nœud peut détecter chaque unité de stockage LUN ou disque logique, procédez comme suit : 1 Pour le système de stockage Fibre Channel Dell/EMC, vérifiez que l'agent EMC® Navisphere® et la version correcte de PowerPath® sont installés sur chaque nœud. Vérifiez que chaque nœud est associé au groupe de stockage adéquat dans le logiciel EMC Navisphere. Pour les instructions, voir la documentation fournie avec le système de stockage Fibre Channel Dell|EMC.
• Les volumes logiques dédiés au stockage externe sont reconnus comme étant des périphériques SCSI ; chaque nœud est configuré avec le même nombre de LUN, de disques virtuels ou de volumes.
x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128, (Ceci est la taille utilisée par défaut pour les systèmes de stockage Fibre Channel Dell/EMC série CX) w # write the new partition Il est préférable d'utiliser la méthode fdisk au lieu de l'alignement offset pour les LUN devant être utilisés comme sources d'un cliché, d'un clone ou d'une image MirrorView. Elle est également à privilégier pour les sources et les cibles SAN Copy.
5 Indiquez le nouvel emplacement correspondant au début des données sur la partition : Par exemple : 128 6 À l'invite, entrez l'argument fdisk suivant : w Le système affiche le message suivant pour indiquer que le nombre de cylindres du disque risque de poser problème dans certaines configurations : The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. 7 Répétez la procédure décrite de l'étape 1 à l'étape 6 pour tous les LUN de données Oracle.
4 Tapez la commande suivante pour vérifier les nouvelles partitions : cat /proc/partitions Si vous ne la voyez pas, tapez : sfdisk -R /dev/emcpowera sfdisk -R /dev/emcpowerb 5 Tapez : mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 Dans le fichier /etc/fstab, ajoutez les entrées correspondant au système de fichiers qui vient d'être créé, par exemple : /dev/emcpowera1 /oradata ext3 defaults 1 2, où est similaire à /u01/app/oracle. 7 Tapez : chown -R oracle.
Configuration du stockage partagé Configuration du stockage partagé pour Oracle Clusterware et Oracle Database à l'aide d'OCFS2 Sur le premier nœud : 1 Ouvrez une session en tant que root. 2 Effectuez les opérations suivantes : a Démarrez le système X Window en tapant : startx b Générez le fichier de configuration OCFS2 /etc/ocfs2/cluster.conf avec le nom de cluster par défaut ocfs2.
3 Sur tous les nœuds, tapez la commande suivante pour activer la pile du cluster au démarrage : /etc/init.d/o2cb enable 4 Modifiez la valeur O2CB_HEARTBEAT_THRESHOLD sur tous les nœuds : a Arrêtez le service O2CB sur tous les nœuds en tapant : /etc/init.d/o2cb stop b Modifiez O2CB_HEARTBEAT_THRESHOLD (dans le fichier /etc/sysconfig/o2cb) en indiquant la valeur 81 sur tous les nœuds. c Démarrez le service O2CB sur tous les nœuds en tapant : /etc/init.
6 Sur l'un des nœuds, formatez les périphériques de stockage externes en spécifiant une taille de bloc de 4 Ko, une taille de cluster de 128 Ko et un nombre d'emplacements (nœuds) de 4. Pour ce faire, utilisez l'utilitaire mkfs.ocfs2 à partir de la ligne de commande, comme suit : ocr.dbf et disque de vote mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 Fichiers de base de données mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Zone de récupération flash mkfs.
c Sur chaque nœud, tapez la commande suivante pour monter tous les volumes indiqués dans le fichier /etc/fstab : mount -a -t ocfs2 d Sur chaque nœud, ajoutez la commande suivante au fichier /etc/rc.
Si vous utilisez RAW Device Interface pour les disques ASM, modifiez le fichier /etc/sysconfig/rawdevices.
Par exemple, si les partitions des OCR principal et miroir sont /dev/emcpowera1 et /dev/emcpowera2, le fichier permissions.ini sera modifié comme suit : [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Ajoutez les noms des disques de vote dans le fichier permissions.ini.
Configuration du stockage partagé à l'aide d'ASM Pour configurer le cluster avec ASM, effectuez la procédure suivante sur tous les nœuds : 1 Ouvrez une session en tant que root. 2 Sur tous les nœuds, créez une partition sur chacun des deux autres périphériques de stockage externes, à l'aide de fdisk : a Créez une partition principale pour l'ensemble du périphérique en tapant : fdisk /dev/emcpowerX REMARQUE : Pour consulter l'aide de l'utilitaire fdisk, tapez h.
Par exemple, si les noms de vos groupes de disques ASM1 et ASM2 sont /dev/emcpowerc1 et /dev/emcpowerd1, alors le fichier permissions.ini sera modifié comme suit : [asm] asm1=/dev/emcpowerc1 asm2=/dev/emcpowerd1 Pour créer un groupe de disques ASM supplémentaire, ASM3, en utilisant /dev/emcpowere1, ajoutez une autre entrée à la session : asm3=/dev/emcpowere1 2 Une fois le fichier permissions.ini défini, exécutez le script permissions.py contenu dans le dossier /dell-oracle-deployment/scripts/ : .
4 Dans la fenêtre de terminal, sur le premier nœud, tapez les commandes suivantes et appuyez sur : service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm createdisk ASM2 /dev/emcpowerc1 5 Répétez l'étape 4 pour chaque disque ASM supplémentaire à créer. 6 Vérifiez que les disques ASM sont créés et marqués pour l'utilisation d'ASM. Dans la fenêtre de terminal, tapez la commande suivante, puis appuyez sur : service oracleasm listdisks Les disques créés à l'étape 5 affichent.
4 Ouvrez une fenêtre de terminal et effectuez les opérations suivantes sur le nouveau nœud : a Tapez : service oracleasm configure.
Index A adresse IP adresse IP privée, 181 adresse IP publique, 181 adresse IP virtuelle, 181 aide, 142 support Dell, 142 support Oracle, 143 alias, 177 ASM pilote de bibliothèque, 200 C câblage cluster iSCSI, 159 stockage Fibre Channel, 148 stockage SAS, 154 câble CAT 5e, 146 CAT 6, 146 carte réseau NIC affectation des ports, 182 certifications et formations Dell, 143 Oracle, 143 clé publique, 186 Clusterware configuration du stockage, 193 commutateur Ethernet, 147 commutateur PowerConnect, 164 D disponi
F LUN, 148 fibre Channel configuration à connexion directe, 148 configuration à connexion SAN, 149 LUN (numéro d'unité logique), 142 Fibre Channel Dell|EMC, 147 commutateur, 147 stockage, 147 I M Modular Disk Storage Manager, 155 MTU, 169 O ifconfig, 183 OCFS2, 193 invite de mot de passe, 186 P J paire avec lien, 182 Jumbo Frame, 169 paire de clés RSA, 186 paramètres réseau, 184 L partitions miroir, 198 lecteur multiacheminement, 157 périphérique PowerPath fictif, 188 liens réseau, 183 l
S SAS configuration d'un cluster, 151, 157, 163, 181 service DNS (Domain Naming Service), 181 support Resource PowerVault MD3000, 156 surveillance des liaisons, 183 T terme groupe, 163 membre, 163 pool, 163 volume, 163 V volumes, 167 Index 205
Index
Oracle® Database auf Dell™ PowerEdge™-Systemen mit Enterprise Linux® x86_64 Speicher- und Netzwerkhandbuch Version 1.1 w w w. d e l l . c o m | s u p p o r t . e u r o . d e l l .
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie das System besser einsetzen können. VORSICHTSHINWEIS: Durch VORSICHT werden Sie auf Gefahrenquellen hingewiesen, die Hardwareschäden oder Datenverlust zur Folge haben können, wenn die Anweisungen nicht befolgt werden. WARNUNG: Durch eine WARNUNG werden Sie auf Gefahrenquellen hingewiesen, die materielle Schäden, Verletzungen oder sogar den Tod von Personen zur Folge haben können.
Inhalt 1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . . . . Benötigte Dokumentation zum Bereitstellen der Dell|Oracle-Datenbank . . . . . . . . . . . . . . . . . . 214 . . . . . . . . . . . . . . . . . . . 214 . . . . . . . . . . . . . . . . . . . . . . . 214 Wie Sie Hilfe bekommen Oracle-Support . 2 213 . . . . . . . In diesem Dokument verwendete Terminologie Dell Support . 213 . . . . . . . . . . . . . . . . . . . . . Einrichten von Fibre-ChannelClustern . . . . . . . . . .
3 SAS-Cluster-Einrichtung für Dell PowerVault MD3000 und MD1000-Erweiterungsgehäuse . . Einrichten eines SAS-Clusters mit PowerVault MD3000 und MD1000-Erweiterungsgehäusen. . Schritt 1: Hardware-Setup . . . . . . . . . . . . . . . . . . . . . . 226 . . . . . . . . . . . . . . . . 226 Aufgabe 2: Installieren der hostbasierten Speichersoftware . . . . . . . . . . . . . . . . . . . . . 228 . . . . . . . . . . . 228 . . . . . . . . . . . . . . . .
5 iSCSI-Cluster-Setup für EqualLogic PS-Speichersystem EqualLogic-Terminologie . . . . . . . . . . 239 . . . . . . . . . . . . . . . . . . . 239 Einrichten des Dell EqualLogic iSCSISpeichersystems . . . . . . . . . . . . Erstellen von Volumes . . . . . . . . . . . . 240 . . . . . . . . . . . . . . . . . . 243 Konfigurieren der iSCSI-Netzwerke 6 . . . . . . . . . . . 245 Konfigurieren des Hostzugriffs auf Volumes . . . . . . .
Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem . . . . . . . . . . . . Beispiel: Parameter des Dienstprogramms fdisk . . . . . 266 Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk . . . . . . . . . . . . . . 267 . . . . . . 268 . . . . . . . . . 269 Konfiguration des Datenbankspeichers mit ext3-Dateisystem für einen einzelnen Knoten . Konfigurieren von gemeinsamem Speicher .
Übersicht Dieses Dokument gilt für folgende Konfigurationen: • Oracle® Database 10g R2 unter Red Hat® Enterprise Linux® oder Oracle Enterprise Linux 4.7 AS x86_64 • Oracle Database 10g R2 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.2 AS x86_64 • Oracle Database 11g R1 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.
• Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Setup- und Installationshandbuch für die Datenbank – Beschreibt die Installation und Konfiguration der Oracle-Datenbank • Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 Fehlerbehebungshandbuch – Beschreibt das Hinzufügen eines neuen Knotens zum Cluster und das Erkennen und Beheben von Fehlern während der in den obenstehenden Modulen beschriebenen Installationsvorgänge ANMERKUNG: Alle Module enthalten Info
• Informationen zur Kontaktaufnahme mit Dell finden Sie in der mit Ihrem System ausgelieferten Dokumentation Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Fehlerbehebungshandbuch. Diese Dokumentation können Sie auf der Dell SupportWebsite unter support.euro.dell.com herunterladen. • Unternehmensschulungen und Zertifizierungen sind verfügbar (Dell Enterprise Training and Certification). Nähere Informationen finden Sie unter dell.com/training.
Übersicht
Einrichten von Fibre-ChannelClustern WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Computers. Um zusätzliche Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien zu erhalten, sehen Sie die dazugehörige Homepage unter www.dell.com/regulatory_compliance an.
Abbildung 2-1. Hardwareverbindungen für einen Fibre-Channel-Cluster Clientsysteme Gigabit-Ethernet-Switches (privates Netzwerk) WAN/LAN PowerEdge-Systeme (Oracle Database) Dell/EMC Fibre-ChannelSpeichersysteme Dell/EMC Fibre-Channel-Switches (SAN) CAT 5e/6 (öffentlicher NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Zusätzliche Glasfaserkabel Tabelle 2-1.
Tabelle 2-1. Fibre-Channel-Hardwareverbindungen (fortgesetzt) Clusterkomponente Verbindungen Dell/EMC Fibre-ChannelSpeichersystem • Zwei CAT 5e- oder CAT 6-Kabel zum LAN Dell/EMC Fibre-ChannelSwitch • Ein bis vier Glasfaserverbindungen zum Dell/EMC Fibre-Channel-Speichersystem Gigabit-Ethernet Switch • Jeweils eine CAT 5e- oder CAT 6-Verbindung zum privaten Gigabit-NIC auf jedem PowerEdge-System • Ein bis vier Glasfaserverbindungen zu jedem Fibre-ChannelSwitch.
Bevor Sie beginnen Überprüfen Sie, ob folgende Maßnahmen für den Cluster durchgeführt wurden: • Alle Hardwarekomponenten sind im Rack installiert. • Alle Hardware-Verbindungen sind eingerichtet wie in Abbildung 2-1 und Abbildung 2-3 gezeigt und in Tabelle 2-1 aufgeführt. • Alle logischen Gerätenummern (LUNs), RAID-Gruppen und Speichergruppen sind im Dell/EMC Fibre-Channel-Speichersystem erstellt. • Den Knoten im Cluster sind Speichergruppen zugewiesen.
Abbildung 2-2 zeigt die Kabelverbindungen in einem SAN-AttachFibre-Channel-Cluster. Abbildung 2-2. Verkabelung bei einem direkt verbundenen Fibre-Channel-Cluster Zwei HBA-Ports für Knoten 1 Zwei HBA-Ports für Knoten 2 0 1 0 1 SP-B 1 1 SP-A 0 0 Dell/EMC CX4-480 Fibre-Channel-Speicher SAN-Attach-Fibre-Channel-Konfiguration Si konfigurieren Sie Ihre Knoten in einer SAN-Attach-Konfiguration mit vier Ports: 1 Verbinden Sie Port 0 von SP-A durch ein Glasfaserkabel mit Fibre-Channel-Switch 0.
7 Verbinden Sie Port 2 von SP-B durch ein Glaserfaserkabel mit Fibre-Channel-Switch 1. 8 Verbinden Sie Port 3 von SP-B durch ein Glaserfaserkabel mit Fibre-Channel-Switch 0. 9 Verbinden Sie HBA 0 von Knoten 1 durch ein Glaserfaserkabel mit Fibre-Channel-Switch 0. 10 Verbinden Sie HBA 1 von Knoten 1 durch ein Glaserfaserkabel mit Fibre-Channel-Switch 1. 11 Verbinden Sie HBA 0 von Knoten 2 durch ein Glaserfaserkabel mit Fibre-Channel-Switch 0.
SAS-Cluster-Einrichtung für Dell PowerVault MD3000 und MD1000-Erweiterungsgehäuse WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 3-1.
Tabelle 3-1.
Einrichten eines SAS-Clusters mit PowerVault MD3000 und MD1000-Erweiterungsgehäusen Schritt 1: Hardware-Setup SAS-Cluster lassen sich nur in einem Direct-Attach-Cluster installieren und sind auf zwei Knoten beschränkt. So konfigurieren Sie Ihre Knoten in einer Direct-Attach-Konfiguration: 1 Verbinden Sie einen Port des SAS-Controllers von Knoten 1 durch ein SAS-Kabel mit Port In-0 von RAID-Controller 0 im PowerVault MD3000Speichergehäuse.
Abbildung 3-2.
Aufgabe 2: Installieren der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichergehäuse PowerVault MD3000 zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem System geliefert wurde. Um die Modular Disk Storage Manager Software auf dem Master-Knoten und die Multipath-Treiber (MPIO) Software auf den restlichen Knoten zu installieren, folgen Sie den Anleitungen in der Dokumentation zum Speichergehäuse PowerVault MD3000.
Aufgabe 5: Nach der Installation Nachdem Sie Treiber und Software installiert haben, führen Sie die in der Installationsanleitung für den MD3000 genannten Aufgaben nach der Installation durch. Erstellen Sie die in der Dokumentation Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Installationshandbuch für Betriebssystem und Hardware und im Linux-Handbuch gezeigte Umgebung. Beide Dokumentationen sind auf der Dell Support-Website unter support.dell.com verfügbar.
Einrichtung eines SAS Clusters für das PowerVault Erweiterungsgehäuse
iSCSI-Cluster-Einrichtung für Dell PowerVault MD3000i und Erweiterungsgehäuse PowerVault MD1000 WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 4-1.
Einrichten eines iSCSI-Clusters für PowerVault MD3000i und MD1000-Erweiterungsgehäuse Schritt 1: Hardware-Setup Direkt verbundene iSCSI-Cluster sind auf zwei Knoten beschränkt. Abbildung 4-1.
3 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im PowerVault MD3000i-Speichergehäuse. 4 Verbinden Sie den anderen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000i-Speichergehäuse. 5 (Optional). Verbinden Sie die beiden Ausgänge des PowerVault MD3000Speichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses.
Abbildung 4-2. iSCSI-Cluster über Switches verkabeln Bis zu 16 eigenständige Hostserver IP-SAN (zwei Gigabit-EthernetSwitchmodule) LAN/WAN EthernetVerwaltungss chnittstelle CAT 5e/6 (öffentlicher NIC) Glasfaserkabel PowerVault MD3000i RAID-Gehäuse (Dual-Controller) Um die Knoten über Switches zu konfigurieren (siehe Abbildung 4-2), gehen Sie wie folgt vor: 1 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerkswitch 1.
7 Verbinden Sie einen Port von Switch 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im PowerVault MD3000iSpeichergehäuse. 8 Verbinden Sie den anderen Port von Switch 2 durch ein CAT 5e/6Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000iSpeichergehäuse. 9 (Optional). Verbinden Sie die beiden Ausgänge des PowerVault MD3000iSpeichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses. 10 (Optional).
Schritt 3: Überprüfung und Upgrade der Firmware 1 Verwenden Sie die auf dem Hostsystem installierte Software Modular Disk Storage Manager, um den direkt mit dem Hostsystem verbundenen Speicher zu erkennen. 2 Stellen Sie sicher, dass die Firmware-Mindestanforderungen der folgenden Speicherkomponenten erfüllt sind.
Einrichtung eines iSCSI-Clusters für das PowerVault Erweiterungsgehäuse
iSCSI-Cluster-Setup für EqualLogic PS-Speichersystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Einrichten des Dell EqualLogic iSCSISpeichersystems Hostsysteme lassen sich mit dem Dell™ EqualLogic PS5000XV iSCSIArray über einen üblichen IP-SAN-Gigabit-Ethernet-Switch verbinden (SAN = Storage Area Network). Abbildung 5-1 zeigt die empfohlene Netzwerkkonfiguration für ein Dell EqualLogic PS5000XV-Array mit zwei Steuermodulen. Diese Konfiguration verwendet zwei Gigabit-EthernetSwitchmodule der Reihe Dell PowerConnect™ 6200, um die höchste Netzwerkverfügbarkeit und maximale Netzwerkbandbreite zu bieten.
Abbildung 5-1.
Abbildung 5-2.
Eine Dell EqualLogic PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden. Mit gestaffeltem Speicher haben Administratoren mehr Kontrolle über die Zuweisung von Datenträgerressourcen. Zu jedem Zeitpunkt kann ein Mitglied nur einem einzigen Pool zugewiesen werden. Ein Mitglied lässt sich einem Pool problemlos zuweisen und zwischen Pools verschieben, ohne dass dies die Datenverfügbarkeit beeinflusst.
Tabelle 5-1 zeigt eine Volume-Beispielkonfiguration. Tabelle 5-1.
Konfigurieren der iSCSI-Netzwerke Es wird empfohlen, die Host-Netzwerkschnittstellen für iSCSI-Datenverkehr mit Flusskontrolle und Jumbo-Frames zu konfigurieren, um die Leistung zu optimieren. Verwenden Sie das Dienstprogramm ethtool, um Flow Control (Flusskontrolle) zu konfigurieren.
Überprüfen Sie die Jumbo-Frame-Einstellung mit dem Befehl ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 Aktivieren Sie den iSCSI-Dienst für Autostart beim Hochfahren des Systems. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Sie benötigen die Hardwareadresse jeder Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n = die Netzwerkschnittstellennummer. 5 Erstellen Sie eine Schnittstelle für jede Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird.
8 Starten Sie den iSCSI-Dienst neu, damit die neue Konfiguration wirksam wird. service iscsi stop service iscsi start 9 Führen Sie eine Erkennung der Ziele von allen ifaces (Schnittstellen) durch, die in Schritt 5 erstellt wurden. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, dabei gilt: group_ip_address = die IP-Adresse der EqualLogicSpeichergruppe, iface_name1, iface_name2, iface_name3, iface_name4 usw.
10 Vergewissern Sie sich, dass alle Volumes von allen ifaces (Schnittstellen) auf dem Hostsystem erkannt werden: iscsiadm -m discovery -print=1 Beispiel: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Melden Sie sich an allen Zielen (Volumes) von jeder in Schritt 5 erstellten Schnittstelle aus an: iscsiadm -m node -p group_ip_address --interface iface_name --login, dabei gilt: group_ip_address = die IP-Adresse der EqualLogic-Speichergruppe und iface_name = die Netzwerkschnittstelle (die in Schritt 5 auf dem für iSCSI-Datenverkehr verwendeten Hostsystem definiert wird). Im folgenden Beispiel erfolgt die Anmeldung an drei Volumes von jeder der zwei ifaces (eth0-iface und eth1-iface) auf einem Host.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Heben Sie die Kommentierung des folgenden Abschnitts in /etc/multipath.conf auf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Fügen Sie den folgenden Abschnitt in /etc/multipath.conf ein. Die WWID wird von Schritt 1 bezogen.
Das folgende Beispiel enthält die Konfigurationen von vier Volumes.
5 Starten Sie den Multipath-Daemon neu, und vergewissern Sie sich, dass die Aliasnamen in der multipath -l1-Ausgabe angezeigt werden. service multipathd restart multipath -ll Beispiel: fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 Vergewissern Sie sich, dass die /dev/mapper/*-Geräte erstellt wurden. Diese Gerätenamen sollten für den Zugriff und die Interaktion mit den Multipath-Geräten in den nachfolgenden Abschnitten verwendet werden.
Konfigurieren von Speicher, Oracle-Benutzeräquivalenz und Netzwerkbetrieb für Oracle RAC WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Konfigurieren Sie die Schnittstellen je nach Anzahl der verfügbaren NIC-Ports wie in Tabelle 6-1 dargestellt. Tabelle 6-1.
3 Öffnen Sie die Datei /etc/sysconfig/network, und ersetzen Sie gegebenenfalls localhost.localdomain durch den vollständigen Namen des öffentlichen Knotens. Der Befehl für Knoten 1 ist beispielsweise: hostname=knoten1.domain.com 4 Geben Sie service network restart ein. 5 Geben Sie ifconfig ein, um zu überprüfen, ob die IP-Adressen richtig eingerichtet wurden. 6 Senden Sie von einem LAN-Client außerhalb des Clusters einen PingBefehl an jede öffentliche IP-Adresse, um die Netzwerkkonfiguration zu überprüfen.
4 Erstellen oder bearbeiten Sie im Verzeichnis /etc/sysconfig/network-scripts/ die Konfigurationsdatei ifcfg-bond0. Die Datei hat bei Verwendung von Beispielparametern für das Netzwerk folgenden Inhalt: DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.255 ONBOOT=yes BOOTPROTO=none USERCTL=no Die Einträge für NETMASK, NETWORK und BROADCAST sind optional. DEVICE=bondn ist der für die Bündelung benötigte Name, wobei n für die Bündelungsnummer steht.
7 Senden Sie nach dem Einrichten der privaten IP-Adressen Ping-Befehle von einem der Knoten an alle eingerichteten Adressen, um das private Netzwerk zu testen. 8 Stellen Sie zu jedem Knoten eine Verbindung her. Überprüfen Sie die Betriebsbereitschaft des privaten Netzwerks und des ssh, indem Sie Folgendes eingeben: ssh 9 Ändern Sie für jeden Knoten die Datei /etc/hosts durch Hinzufügen der unten angegebenen Zeilen: 127.0.0.1 localhost.
Konfigurieren von Secure Shell (ssh) für Oracle-Benutzeräquivalenz 1 Melden Sie sich auf allen Knoten als Benutzer oracle an. 2 Generieren Sie auf Ihrem System ein RSA-Schlüsselpaar, indem Sie folgenden Befehl eingeben: ssh-keygen -t rsa 3 Drücken Sie die , um den Standard-Speicherort für die Schlüsseldatei zu übernehmen (in diesem Fall /home/oracle/.ssh/id_rsa). 4 Sie werden zwei mal zur Eingabe einer Paraphrase aufgefordert.
8 Erstellen Sie geschützte Kopien der .pub-Schlüssel für alle Knoten. Verwenden Sie dazu den Befehl scp. Nachstehend ein Beispiel für zwei Knoten: (Knoten1): scp /home/oracle/.ssh/.pub :/home/oracle/.ssh (Knoten2): scp /home/oracle/.ssh/.pub :/home/oracle/.ssh Jedes System hat nun den öffentlichen Schlüssel des anderen Systems im Verzeichnis /home/oracle/.ssh gespeichert. 9 Erstellen Sie auf jedem Knoten im Verzeichnis /home/oracle.
Tabelle 6-2.
5 Stellen Sie in der Datei /proc/partitions Folgendes sicher: • Alle PowerPath-Pseudogeräte erscheinen in der Datei mit ähnlichen Gerätepfaden auf allen Knoten. Zum Beispiel /dev/emcpowera, dev/emcpowerb und /dev/emcpowerc. • Bei einem PowerVault MD3000- oder MD3000i-Speichersystem oder dem EqualLogic-Speicherarray erscheinen alle virtuellen Laufwerke bzw. Volumes in der Datei mit ähnlichen Gerätepfaden auf allen Knoten. Beispiel: /dev/sdb, /dev/sdc und /dev/sdd.
Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem VORSICHTSHINWEIS: Bei Systemen, die mit Linux betrieben werden, muss die Partitionstabelle angeglichen werden, bevor Daten auf die LUN/das virtuelle Laufwerk geschrieben werden. Die Partitionszuordnung wird neu erstellt, und alle Daten auf der LUN /dem virtuellen Laufwerk werden zerstört. Beispiel: Parameter des Dienstprogramms fdisk Das folgende Beispiel verdeutlicht die Parameter für das Dienstprogramm fdisk.
Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk Um eine Datenträgerpartition mit dem Dienstprogramm fdisk anzupassen, gehen Sie wie folgt vor: 1 Geben Sie an der Eingabeaufforderung Folgendes ein: fdisk , wobei der Name der Partition ist, die angepasst werden soll.
Konfiguration des Datenbankspeichers mit ext3-Dateisystem für einen einzelnen Knoten Wenn Sie über ein zusätzliches Speichergerät verfügen, führen Sie folgende Schritte aus: 1 Melden Sie sich als root an. 2 Geben Sie Folgendes ein: cd /opt/oracle $> cd , wobei /u01/app/oracle entspricht. 3 Geben Sie Folgendes ein: mkdir oradata recovery Erstellen Sie mit dem Dienstprogramm fdisk eine Partition zum Speichern Ihrer Datenbankdateien.
7 Geben Sie Folgendes ein: chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, wobei /u01/app/oracle entspricht. 8 Geben Sie Folgendes ein: mount /dev/emcpowera1 /oradata mount /dev/emcpowerb1 /recovery Konfigurieren von gemeinsamem Speicher Konfigurieren von gemeinsamem Speicher für Oracle Clusterware und die Oracle-Datenbank mit OCFS2 Auf dem ersten Knoten: 1 Melden Sie sich als root an.
e Nachdem alle Knoten hinzugefügt sind, klicken Sie auf Apply (Übernehmen), und klicken Sie dann im Fenster Node Configuration (Knoten-Konfiguration) auf Close (Schließen). ANMERKUNG: Wenn beim Durchführen von Schritt e die Meldung: Unable to access cluster service (Zugriff auf Clusterdienst nicht möglich) angezeigt wird, löschen Sie die Datei /etc/ocfs2/cluster.conf, und versuchen Sie es erneut. f g Klicken Sie im Menü auf Cluster → Propagate Configuration (Konfiguration verbreiten).
b Überprüfen Sie das Vorhandensein der neuen Partition, indem Sie eingeben: cat /proc/partitions c Wenn die neue Partition nicht aufgeführt ist, geben Sie ein: sfdisk -R /dev/ ANMERKUNG: In den nachstehenden Schritten werden folgende Beispielwerte verwendet: • Bereitstellungspunkte: /u02,/u03 und /u04 • Labels: u02, u03 und u04 • Fibre-Channel-Speichergeräte: emcpowera, emcpowerb und emcpowerc 6 Formatieren Sie auf einem beliebigen Knoten die externen Speichergeräte mit 4 K Blockgröße, 128 K
7 Führen Sie auf jedem Knoten die folgenden Schritte aus: 272 a Erstellen Sie für jede OCFS2-Partition Bereitstellungspunkte. Erstellen Sie hierfür die Zielpartitionsverzeichnisse und legen Sie die Eigentumsrechte wie folgt fest: mkdir -p /u02 /u03 /u04 chown -R oracle.
Konfiguration von gemeinsamem Speicher mit der RAW-Geräteschnittstelle (nur Enterprise Linux 4) 1 Erstellen Sie auf dem ersten Knoten mit dem Dienstprogramm fdisk sechs Partitionen auf einem externen Speichergerät: Geben Sie fdisk /dev/sdd ein. Erstellen Sie sechs Partitionen zu je 300 MB für die Oracle Cluster Repositories (OCR), die Voting-Datenträger und die OracleSystemparameterdatei. 2 Überprüfen Sie die neuen Partitionen, indem Sie more /proc/partitions eingeben.
Konfiguration von gemeinsamem Speicher mit Blockgeräten ANMERKUNG: Bevor Sie die in diesem Abschnitt beschriebenen Schritte durchführen, befolgen Sie zunächt die im Abschnitt „Konfiguration des Betriebssystems für die Installation von Oracle Database“ des Installationshandbuchs für Betriebssystem und Hardware beschriebenen Vorgehensweisen. Sie können dieses Handbuch auf der Dell Support-Website unter support.euro.dell.com herunterladen.
Wenn Ihre OCR- und OCR-Spiegelpartitionen zum Beispiel /dev/emcpowera1 und /dev/emcpowera2 sind, wird die Datei permissions.ini folgendermaßen geändert: [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Fügen Sie die Voting-Datenträgernamen der Datei permissions.ini hinzu.
Konfiguration des gemeinsamen Speichers mit ASM Um den Cluster mit ASM zu konfigurieren, führen Sie auf allen Knoten folgende Schritte durch: 1 Melden Sie sich als root an. 2 Erstellen Sie auf allen Knoten mit dem Dienstprogramm fdisk eine Partition auf jedem der zwei anderen externen Speichergeräte: a Erstellen Sie eine Primärpartition für das gesamte Gerät, indem Sie eingeben: fdisk /dev/emcpowerX ANMERKUNG: Für Hilfe im Programm fdisk drücken Sie h.
Konfiguration von gemeinsamem Speicher mit Blockgeräten ANMERKUNG: Bevor Sie die in diesem Abschnitt beschriebenen Schritte durchführen, befolgen Sie zunächt die im Abschnitt „Konfiguration des Betriebssystems für die Installation von Oracle Database“ des Installationshandbuchs für Betriebssystem und Hardware beschriebenen Vorgehensweisen. Sie können dieses Handbuch auf der Dell Support-Website unter support.euro.dell.com herunterladen.
Konfigurieren von gemeinsamem Speicher mit dem ASM-Bibliothekstreiber 1 Melden Sie sich als root an.
Konfiguration von gemeinsamem Speicher auf einem neuen Knoten mit ASM 1 Melden Sie sich als root an. 2 Öffnen Sie ein Terminalfenster und melden Sie sich als root an. 3 Enterprise Linux 4: Kopieren Sie /etc/sysconfig/rawdevices von einem der vorhandenen Knoten im Cluster an die gleiche Stelle auf dem neuen Knoten.
6 Überprüfen Sie, ob der neue Knoten auf die ASM-Datenträger zugreifen kann. Geben Sie im Terminalfenster Folgendes ein: service oracleasm scandisks 7 Vergewissern Sie sich, dass die ASM-Datenträger auf dem neuen Knoten verfügbar sind. Geben Sie im Terminalfenster Folgendes ein: service oracleasm listdisks Alle verfügbaren Datenträger auf den verbleibenden Knoten werden aufgelistet.
Stichwortverzeichnis A E Aliasnamen, 253 EMC Navisphere, 264 PowerPath, 264 ASM Bibliothekstreiber, 278 Enterprise Linux, 214 B Begriff Gruppe, 239 Mitglied, 239 Pool, 239 Volume, 239 Ethernet-Switch, 219 F Fibre-Channel Direct-Attach-Konfiguration, 220 SAN-Attach-Konfiguration, 221 C G Clusterware Speicherkonfiguration für, 269 Gebundenes Paar, 258 D Dell/EMC Fibre Channel-, 219 Dell|EMC Fibre-Channel Speicher, 219 H Hilfe, 214 Dell Support, 214 Oracle-Support, 215 Hohe Verfügbarkeit, 259 De
I N ifconfig, 259 Netzwerkbündelung, 259 IP-Adresse Öffentliche IP-Adresse, 257 Private IP-Adresse, 257 Virtuelle IP-Adresse, 257 Netzwerkparameter, 260 NIC Port-Zuordnungen, 258 O J Jumbo Frame, 245 K Kabel CAT 5e, 218 CAT 6, 218 OCFS2, 269 Öffentlicher Schlüssel, 262 P Paraphrasen-Eingabeaufforderung, 262 PowerConnect-Switch, 240 PowerPath-Pseudogeräte, 264 L Logische Gerätenummer, 214 LUNs, 220 R Resource-Medium PowerVault MD3000, 228 M RSA-Schlüsselpaar, 262 Modular Disk Storage Manager,
V Verbindungsüberwachung, 259 Verkabelung Fibre-Channel-Speicher, 220 iSCSI-Cluster, 233 SAS-Speicher, 226 Virtuelles Laufwerk, 214 Volumes, 243 Voting-Datenträger, 274 Z Zertifizierung und Schulung Dell, 215 Oracle, 215 Stichwortverzeichnis 283
Stichwortverzeichnis
Dell™ PowerEdge™ システム — Enterprise Linux® x86_64 で使用する Oracle® データベース ストレージ & ネットワークガイド バージョン 1.1 w w w. d e l l . c o m | s u p p o r t . d e l l .
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明しています。 注意：手順に従わない場合は、ハードウェアの損傷やデータの損失の可能 性があることを示しています。 警告： 物的損害、けが、または死亡の原因となる可能性があることを示 しています。 ____________________ Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられています。 本書に使用されている商標：Dell、DELL ロゴ、PowerConnect、PowerEdge および PowerVault は Dell Inc. の商標です。Broadcom は Broadcom Corp の商標です。EMC、 Navisphere および PowerPath は EMC Corporation の登録商標です。Intel は Intel の登 録商標です。Oracle は Oracle Corporation および / またはその関連会社の登録商標です。 商標または製品の権利を主張する事業体を表すためにその他の商標および社名が使用されて いることがあります。Dell Inc.
目次 1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Dell|Oracle データベースの導入に 必要なマニュアル . . . . . . . . . . . . . . . . . . . . . . 291 . . . . . . . . . . . . . . . . 292 . . . . . . . . . . . . . . . . . . . . . . . . 292 本書で使用されている用語 . 困ったときは . デルサポート . . . . . . . . . . . . . . . . . . . . . . Oracle のサポート . 2 291 . . . . . . . . . . . . . . . . . . . ファイバーチャネルクラスタの セットアップ . . . . . . . . . . . . . . . 293 . . . . . . . . . 295 . . . . . . . . . . . . 295 . . . . . .
3 Dell PowerVault MD3000/MD1000 拡張エンクロージャ用の SAS ク ラスタのセットアップ . . . . . . . . . . . . . . . PowerVault MD3000/MD1000 拡張エンクロージャを 使用した SAS クラスタのセットアップ . . . . . . . . . . 306 . . . . . . . 306 タスク 2: ホストベースのストレー ジソフトウェアのインストール . . . . . . . . . . . 308 タスク 3: ファームウェアの確認と アップグレード . . . . . . . . . . . . . . . . . . . . . 308 タスク 1: ハードウェアのセットアップ タスク 4: SAS 5/E アダプタドライバの インストール . . . . . . . . . . . . . . タスク 5: インストール後 4 . . . . . . . . 308 . . . . . . . . . . . . . . .
5 Dell EqualLogic PS シリーズの ストレージシステム用の iSCSI クラスタのセットアップ . EqualLogic の用語 . . . . . . . . . 317 . . . . . . . . . . . . . . . . . . . . . . 317 Dell EqualLogic iSCSI ストレージシステムの セットアップ . . . . . . . . . . . . . . . . . . ボリュームの作成 . . . . . . . 318 . . . . . . . . . . . . . . . . . . . 321 iSCSI ネットワークの設定 . . . . . . . . . . . . . . . ホストからボリュームへのアクセスの設定 6 323 . . . . 324 . . . . . . . . . . 335 パブリックおよびプライベートネッ トワークの設定 . . . . . . . . . . . . . . . . . . . . . . . 335 パブリックネットワークの設定 .
ext3 ファイルシステムを使用したデータベー スストレージの設定（シングルノードのみ）. . 共有ストレージの設定. . . . . . 346 . . . . . . . . . . . . . . . . . . . 347 OCFS2 を使用して Oracle Clusterware およびデータベース用の共有ストレージを 設定する方法 . . . . . . . . . . . . . . . . . . . . . . RAW デバイスインタフェースを使用した共有 ストレージの構成（Enterprise Linux 4 のみ）. . . ブロックデバイスを使用した共有 ストレージの設定. . . . . . . . . . . . 351 . . . . . . . . . . 352 ASM を使用した共有ストレージの設定 . . . . . . . 354 ブロックデバイスを使用した共有 ストレージの設定. . . . . . . . . . . . . . . . . . . .
概要 本書の説明は以下の製品に適用されます。 • Red Hat® Enterprise Linux® または Oracle® Enterprise Linux 4.7 AS x86_64 上で使用されている Oracle Database 10g R2 • Red Hat Enterprise Linux または Oracle Enterprise Linux 5.2 AS x86_64 上で使用されている Oracle Database 10g R2 • Red Hat Enterprise Linux または Oracle Enterprise Linux 5.
• 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — データベースセットアップ & インストール ガイド』では、Oracle データベースのインストールと設定の方法に ついて説明しています。 • 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — トラブルシューティングガイド』では、クラ スタに新しいノードを追加する方法と、前の分冊で説明されている インストール手順中に発生するエラーの解決方法について説明して います。 メモ：各分冊のいずれにも、デルのテクニカルサポートを利用する方法 が記されています。 本書で使用されている用語 本書では、「論理ユニット番号」（LUN）と「仮想ディスク」は同義 語として使われています。 「LUN」は、Dell/EMC ファイバーチャネル ストレージシステムの環境で通常使われる用語です。「仮想ディスク」 は、Dell PowerVault™ SAS（PowerVault MD3000i/MD3000i +
• デルへのお問い合わせについては、お使いのシステムの 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — トラブルシューティングガイド』を参照して ください。このガイドは、デルサポートサイト support.dell.com から入手できます。 • デルでは、企業向けのトレーニングと資格認証を実施しております。 詳細については、dell.com/training を参照してください。なお、 トレーニングサービスを提供していない地域がありますのでご了承 ください。 Oracle のサポート • Oracle ソフトウェアおよびアプリケーションクラスタウェアのト レーニング、および Oracle へのお問い合わせの方法については、 Oracle のウェブサイト oracle.com または Oracle のマニュアルを 参照してください。 • テクニカルサポート、ダウンロード、その他の技術情報については、 My Oracle Support ウェブサイト metalink.oracle.
概要
ファイバーチャネルクラスタの セットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの 安全にお使いいただくための注意事項をお読みください。ベストプラ クティスの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 2-1. ファイバーチャネルクラスタ用のハードウェアの接続 クライアントシステム ギガビットイーサネットスイッチ （プライベートネットワーク） WAN/LAN PowerEdge システム （Oracle データベース） Dell/EMC ファイ バーチャネルスト レージシステム Dell/EMC ファイバーチャ ネルスイッチ（SAN） CAT 5e/6（パブリック NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル 追加の光ファイバーケーブル 表 2-1.
表 2-1.
作業を開始する前に クラスタについて、以下の各タスクが完了していることを確認します。 • すべてのハードウェアコンポーネントがラックに取り付けてある。 • すべてのハードウェアの接続が 図 2-1、図 2-3、表 2-1 に示すとお りにセットアップされている。 • Dell/EMC ファイバーチャネルストレージシステム上で、すべての LUN（論理ユニット番号）、RAID グループ、ストレージグループが 作成されている。 • クラスタ内の各ノードにストレージグループが割り当ててある。 注意：以下の項で説明する手順を実行する前に、システムのハードウェ アとケーブルが正しく接続されていることを確認してください。 ファイバーチャネルストレージシステムの ケーブル接続 必要に応じて、Oracle データベースのファイバーチャネルクラスタス トレージシステムを次のいずれかの構成にすることができます。 • 直接接続ファイバーチャネル（図 2-2 を参照） • 4 ポート SAN 接続のファイバーチャネル（図 2-3 を参照） 以下の項では、これらの構成のケーブル接続の要件について説明します。 直
SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 2-2 を参照してください。 図 2-2.
5 1 本の光ケーブルを SP-B ポート 0 からファイバーチャネルス イッチ 1 に接続します。 6 1 本の光ケーブルを SP-B ポート 1 からファイバーチャネルス イッチ 0 に接続します。 7 1 本の光ファイバーケーブルを SP-B ポート 2 からファイバーチャ ネルスイッチ 1 に接続します。 8 1 本の光ファイバーケーブルを SP-B ポート 3 からファイバーチャ ネルスイッチ 0 に接続します。 9 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 10 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 11 1 本の光ケーブルをノード 2 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 12 1 本の光ケーブルをノード 2 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 300 ファイバーチャネルクラスタのセットアップ
SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 2-3 を参照してください。 図 2-3.
ファイバーチャネルクラスタのセットアップ
Dell PowerVault MD3000/MD1000 拡張エンクロージャ用の SAS クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの 安全にお使いいただくための注意事項をお読みください。ベストプラク ティスの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 3-1.
表 3-1.
PowerVault MD3000/MD1000 拡張エンクロー ジャを使用した SAS クラスタのセットアップ タスク 1: ハードウェアのセットアップ SAS クラスタは直接接続クラスタ内にのみ取り付け可能で、2 ノードま でに限定されます。 ノードを直接接続構成に設定するには、以下の手順に従います。 1 ノード 1 の SAS コントローラのポートと PowerVault MD3000 スト レージエンクロージャ内の RAID コントローラ 0 の In-0 ポートを 1 本の SAS ケーブルで接続します。 2 ノード 1 の SAS コントローラのもう一方のポートと PowerVault MD3000 ストレージエンクロージャ内の RAID コントローラ 1 の In-0 ポートを 1 本の SAS ケーブルで接続します。 3 ノード 2 の SAS コントローラのポートと PowerVault MD3000 スト レージエンクロージャ内の RAID コントローラ 0 の In-1 ポートを 1 本の SAS ケーブルで接続します。 4 ノード 2 の SAS コントローラのもう一方のポートと Po
図 3-2.
タスク 2: ホストベースのストレージソフトウェアのインストール PowerVault MD3000 ストレージエンクロージャに必要なホストベー スのストレージソフトウェアをインストールするには、システムに付 属の Dell PowerVault Resource メディアを使用します。Modular Disk Storage Manager ソフトウェアをマスターノードに、マルチパス （MPIO）ソフトウェアを残りのノードにインストールするには、 PowerVault MD3000 ストレージエンクロージャのマニュアルに記載 されている手順に従います。 タスク 3: ファームウェアの確認とアップグレード 1 ホストシステムにインストールされている Modular Disk Storage Manager（MDSM）ソフトウェアを使用して、ホストシステムの 直接接続ストレージを検出します。 2 次のストレージコンポーネント用のファームウェアが最低必要な バージョンであることを確認します。 • RAID コントローラファームウェア • PowerVault MD3000 ストレージシステムファームウェア
タスク 5: インストール後 ドライバとソフトウェアをインストールした後で、『PowerVault MD3000 取り付けガイド』に示されているインストール後のタスクを実 行します。『Dell PowerEdge システム — Enterprise Linux x86_64 で使 用する Oracle データベース — OS のインストールとハードウェアの取り 付けガイド』および『Linux ガイド』に示されている環境を構築します。 どちらのマニュアルも、デルサポートサイト support.dell.
MD3000/1000 拡張エンクロージャ用の SAS クラスタのセットアップ
Dell PowerVault MD3000i/MD1000 ストレージエンクロージャ用の iSCSI クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイド の安全にお使いいただくための注意事項をお読みください。ベストプ ラクティスの追加情報については、デルの規制順守に関するウェブ サイト www.dell.com/regulatory_compliance を参照してください。 本項では、Dell™ PowerEdge™ システムと Dell PowerVault™ MD3000i/MD1000 ストレージエンクロージャが Oracle® RAC （Real Application Cluster）環境で機能するように設定するため の情報と手順を示します。 デルサポートサイト support.dell.
表 4-1. iSCSI ハードウェアの相互接続 クラスタのコン ポーネント 接続 PowerEdge シス テムノード • CAT 5e/6 ケーブル 1 本をパブリック NIC から LAN に接続 • CAT 5e/6 ケーブル 1 本をプライベートギガビット NIC か らギガビットイーサネットスイッチに接続（プライベート ネットワーク） • CAT 5e/6 ケーブル 1 本を冗長プライベートギガビット NIC から冗長ギガビットイーサネットスイッチに接続（プライ ベートネットワーク） • CAT 5e/6 ケーブル 1 本を iSCSI ギガビット NIC からギガ ビットイーサネットスイッチに接続（iSCSI ネットワーク） メモ：PowerVault MD3000i ストレージエンクロージャの 詳細については、デルサポートサイト support.dell.
iSCSI クラスタを PowerVault MD3000i/MD1000 拡 張エンクロージャ用にセットアップする方法 タスク 1: ハードウェアのセットアップ 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 4-1.
3 ノード 2 のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コントローラ 0 の In-1 ポート を 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のもう一方のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コント ローラ 1 の In-1 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 （オプション）PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション）PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の MD1000 拡張エンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、デ
ノードをスイッチ式で構成するには、図 4-2 を参照し、以下の手順を実行 します。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと PowerVault MD3000i ストレージエンクロー ジャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 6 スイッチ 1 のもう一方のポートと PowerVault MD3000i ストレージ エンクロージャ内の RAID
タスク 2: ストレージに必要なホストベースソフトウェアのインス トール PowerVault MD3000i ストレージシステムに必要なホストベースのスト レージソフトウェアをインストールするには、PowerVault MD3000i ス トレージシステムに付属の Dell PowerVault の Resource メディアを使用 します。PowerVault MD3000i ストレージエンクロージャのマニュアル （デルサポートサイト support.dell.
Dell EqualLogic PS シリーズのス トレージシステム用の iSCSI ク ラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイド の安全にお使いいただくための注意事項をお読みください。ベストプ ラクティスの追加情報については、デルの規制順守に関するウェブ サイト www.dell.
Dell EqualLogic iSCSI ストレージシステムの セットアップ ホストシステムは、IP SAN 業界標準ギガビットイーサネットスイッ チを経由して Dell™ EqualLogic PS5000XV iSCSI アレイに接続でき ます。図 5-1 は、デュアルコントロールモジュール Dell EqualLogic PS5000XV アレイに推奨されるネットワーク構成を示しています。 Dell PowerConnect™ 6200 シリーズのギガビットイーサネットス イッチ 2 台による構成で、ネットワークの可用性と帯域幅が共に最 大となります。 メモ：ギガビットイーサネットスイッチは 2 台使用することをお勧めし ます。イーサネットスイッチが 1 台のみの環境でスイッチに障害が発生 すると、スイッチを物理的に交換して設定を復元するまで、どのホスト もストレージにアクセスできなくなります。スイッチ 1 台の構成では、 スイッチ間またはトランク間の接続を提供するために、リンクアグリ ゲーションを使用する複数のポートが必要です。各コントロールモ ジュールから、1 つのギガビットインタフェースを 1
図 5-1.
図 5-2. PS5000XV アレイ 3 つを使用した Oracle RAC 構成例 Dell™ Optiplex™ デスクトップ パブリックネットワーク RAC プライベート相互接続 iSCSI SAN LAN/WAN PowerConnect ギガビットイーサネットスイッチ リンクアグリゲー ショングループ PowerConnect 6200 シリーズのギ ガビットイーサネットスイッチ 高帯域幅インター スイッチリンク Dell EqualLogic PS シリーズ のイーサネットスイッチ ストレージメンバー oracle-member01 ストレージメンバー oracle-member02 OCR および CSS 仮想 ディスクボリューム ストレージメンバー oracle-member03 フラッシュリカバ リ領域ボリューム データボリュー RAID-10 ストレージプール RAID-5 スト レージプール ストレージグループ : oracle-group メモ：EqualLogic アレイの初期化の詳細については、デルサポートサイト support.dell.
Dell EqualLogic PS シリーズのストレージグループは、複数の階層また はプールに分割できます。ストレージを階層化すると、ディスクリソー スをより自在に割り当てることができるようになります。メンバーを 同時に複数のプールに割り当てることはできません。メンバーをプー ルに割り当てたり、別のプールに移動する操作は簡単に行うことがで き、データの可用性に何ら影響はありません。プールは、ディスクの タイプ、速度、RAID レベル、アプリケーションのタイプなど、さまざ まな基準に従って組むことができます。 図 5-2 では、プールはメンバーの RAID レベルに従って組まれてい ます。 • RAID-10 という名前のプールは、RAID 10 のメンバーで構成されて います。 • RAID-5 という名前のプールは、RAID 5 のメンバーで構成されてい ます。 ボリュームの作成 データを保存する前に、Dell EqualLogic PS5000XV ストレージアレイ の物理ディスクを設定して、ボリュームと呼ばれる使用可能なコンポー ネントにする必要があります。ボリュームはストレージプールを構成す
表 5-1 はボリューム構成の一例を示したものです。 表 5-1.
iSCSI ネットワークの設定 最適なパフォーマンスが得られるように、iSCSI トラフィック用のホス トネットワークインタフェースがフロー制御とジャンボフレームを使 用するように設定することをお勧めします。ethtool ユーティリティ を使用してフロー制御を設定します。 次のコマンドを使用して、インタフェース上のフロー制御（RX/TX Pause）をチェックします。# ethtool -a < インタフェース > 例： # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on この例は、フロー制御がすでにオンになっていることを示しています。 フロー制御がオンになっていない場合は、次のコマンドを使用してオ ンにします。 # ethtool -A < インタフェース > rx on tx on ジャンボフレームは、/etc/sysconfig/network-scripts/ifcfg-< イン タフェース > スクリプト内に MTU="" パラメータを追加し て設定します。 以下の例では、MTU
ifconfig コマンドを使用して、ジャンボフレームの設定を確認します。 $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 起動時に iSCSI サービスの開始を有効にします。 hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのハードウェアアドレスを取得します。 grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n はネットワークインタフェース番号です。 5 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのインタフェースを作成します。 iscsiadm -m iface -I インタフェース名 --op=new インタフェース名 はインタフェースに割り当てられる名前です。 iscsiadm -m iface -I インタフェース名 --op=update -n iface.
8 新しい構成を有効にするには、iSCSI サービスを再起動します。 service iscsi stop service iscsi start 9 手順 5 で作成したすべての ifaces からターゲットを検出します。 iscsiadm -m discovery -t st -p グループ IP アドレス -interface= インタフェース名 1 --interface= インタフェー ス名 2 --interface= インタフェース名 3 --interface= イン タフェース名 4 グループ IP アドレスは EqualLogic ストレージグループの IP アド レスで、インタフェース名 1、インタフェース名 2、インタフェー ス名 3、インタフェース名 4 ... は、iSCSI トラフィックに使用され るホスト上のネットワークインタフェース（手順 5 で定義）です。 たとえば、次のコマンドを実行すると、eth0-iface および eth1-iface という名前の 2 つのインタフェースを持つホストから、 グループ IP アドレス 10.16.7.
10 ホスト上のすべての ifaces からすべてのボリュームが検出されたこ とを確認します。iscsiadm -m discovery --print=1 例： # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.
11 手順 5 で作成した各インタフェースからすべてのターゲット （ボリューム）にログインします。 iscsiadm -m node -p グループ IP アドレス --interface インタフェース名 --login グループ IP アドレスは EqualLogic ストレージグループの IP アド レスで、インタフェース名は、iSCSI トラフィックに使用されるホ スト上のネットワークインタフェース（手順 5 で定義）です。 次の例のコマンドを実行すると、ホスト上の 2 つのインタフェース （eth0-iface と eth1-iface）のそれぞれから 3 つのボリュームにロ グインします。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 /etc/multipath.conf 内の次のセクションからコメントを削除します。 defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 /etc/multipath.
次のサンプルには、4 つのボリュームの構成が含まれています。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 マルチパスデーモンを再起動し、エイリアス名が multipath -l1 の 出力結果に表示されていることを確認します。 service multipathd restart multipath -ll 例： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Oracle RAC 用のストレージ、 Oracle ユーザー等価、および ネットワークの設定 警告：本項の手順を開始する前に、システムに付属しているガイドの 安全にお使いいただくための注意事項をお読みください。ベストプラ クティスの追加情報については、デルの規制順守に関するウェブサイト www.dell.
利用可能な NIC ポートの数に応じて、表 6-1 に示すとおりにインタ フェースを設定します。 表 6-1.
3 /etc/sysconfig/network ファイルを編集し、必要に応じて、 localhost.localdomain を修飾パブリックノード名に変えます。 たとえば、ノード 1 のコマンドは次のようになります。 hostname=node1.domain.
4 /etc/sysconfig/network-scripts/ ディレクトリで、ifcfg-bond0 設定ファイルを作成または編集します。 たとえは、サンプルネットワークのパラメータを使った場合、ファ イルは次のようになります。 DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.
7 各ノードにプライベート IP アドレスをすべて設定したら、1 つの ノードから各 IP アドレスを ping して、プライベートネットワーク が機能していることを確認します。 8 各ノードに接続します。次のように入力して、プライベートネット ワークと ssh が正しく機能していることを確認します。 ssh < プライベート IP> 9 各ノードで、/etc/hosts ファイルに以下のように入力して各行を修 正します。 127.0.0.1 localhost.
Oracle ユーザー等価用のセキュアシェル （ssh）の設定 1 すべてのノードで oracle ユーザーとしてログインします。 2 次のコマンドを使用して、システム上に RSA キーペアを生成 します。 ssh-keygen -t rsa 3 を押して、キーファイルを保存するデフォルトのフォルダ をそのまま使用します（この場合は /home/oracle/.ssh/id_rsa）。 4 両方のパラフレーズプロンプトで を押すことで、空のパス フレーズを入力します。 5 ssh-keygen ユーティリティによって処理が完了します。次のメッ セージが表示されます。 Your identification has been saved in /home/oracle/.ssh/id.rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub.
（ノード 2）: scp /home/oracle/.ssh/< ノード 2>.pub < ノード 1 の IP>:/home/oracle/.ssh 今、各システムのディレクトリ /home/oracle/.ssh に相手のシステ ムのパブリックキーが保存されています。 9 touch コマンドを使用して、各ノードのディレクトリ /home/oracle.ssh に authorized_keys という名前のファイルを 作成します。 touch authorized_keys 10 各システムで次のコマンドを実行します。 cat < ノード 1 の名前 >.pub >> authorized_keys cat < ノード 2 の名前 >.
表 6-2.
5 /proc/partitions ファイル内で、以下のことを確認します。 • すべての PowerPath 擬似デバイスが、すべてのノードで類 似するデバイス名を持つファイル内に表示されていること。 たとえば、/dev/emcpowera、/dev/emcpowerb、および /dev/emcpowerc です。 • PowerVault MD3000/MD3000i または EqualLogic ストレージ アレイの場合は、すべての仮想ディスクまたはボリュームが、 すべてのノードで類似するデバイス名を持つファイル内に表示 されていること。 たとえば、/dev/sdb、/dev/sdc、および /dev/sdd という表示 です。 • 外付けストレージの論理ボリュームが SCSI デバイスとして表示 され、各ノードが同数の LUN、仮想ディスク、またはボリュー ムで構成されていること。 たとえば、ノードが 3 つの論理ディスクを持つファイバー チャネルストレージデバイスに取り付けられた SCSI ドライブ または RAID コンテナで構成されている場合、sda はノードの RAID コンテナまた
Linux システム用のディスクパーティション の調整 注意：Linux を使用しているシステムでは、データを LUN/ 仮想ディスクに 書き込む前にパーティションテーブルを揃えます。パーティションマップ が書き換えられ、LUN/ 仮想ディスク上のすべてのデータが破棄されます。 例：fdisk ユーティリティの引数 次の例では、fdisk ユーティリティの引数を示します。この例では、 LUN が /dev/emcpowera にマップされ、LUN ストライプエレメント のサイズは 128 ブロックです。 メモ：この例では、ディスク /dev/emcpowera にはプライマリパーティ ション /dev/emcpowera1 が作成済みです。PowerVault MD3000/MD3000i ま たは EqualLogic ストレージアレイの場合、この処理は /dev/sdb1 に対 して実行されます。 fdisk /dev/emcpowera メモ：以下の手順を実行する前に、/dev/emcpowera 上にパーティション を作成します。 x # expert mode（エキスパートモード） b #
手順：ディスクパーティションの調整に fdisk ユーティリティを 使用 fdisk ユーティリティを使用してディスクパーティションを調整する には、次の手順に従います。 1 コマンドプロンプトで、次のように入力します。 fdisk < パーティション名 > < パーティション名 > は、調整するパーティションの名前です。 たとえば、パーティション名が /dev/emcpowera なら、 次のように入力します。fdisk /dev/emcpowera 次のメッセージが表示されます。 The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g.
6 コマンドプロンプトで、fdisk ユーティリティ引数 w を入力します。 次のメッセージが表示されます。 The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks.
5 次のように入力します。 mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 次のような項目を追加することで、新しく作成したファイルシステム 用の /etc/fstab ファイルを編集します。 /dev/emcpowera1 /oradata ext3 defaults 1 2 には /u01/app/oracle と同様のパスを入力します。 7 次のように入力します。 chown -R oracle.
d e クラスタにノードを追加する場合は、Add（追加）をクリック します。ノード名（ホスト名と同じ）とプライベート IP を入力 します。ポート番号はデフォルト値を使用します。すべての情報 を入力したら、OK をクリックします。 手順 d を繰り返して、クラスタにすべてのノードを追加します。 すべてのノードを追加したら、Node Configuration（ノード の構成）ウィンドウで Apply（適用）をクリックし、Close （閉じる）をクリックします。 メモ：手順 e を実行すると Unable to access cluster service（クラスタサービスにアクセスできません）というエラー メッセージが表示される場合は、ファイル /etc/ocfs2/cluster.
5 最初のファイバーチャネルクラスタノードで、次のように fdisk を 使用して、別の 2 つの外付けストレージデバイスにそれぞれ 1 つず つパーティションを作成します。 a 次のように入力して、デバイス全体に対するプライマリパーティ ションを作成します。 fdisk /dev/emcpowerX メモ：fdisk ユーティリティのヘルプを表示するには、 h と入力します。 b 次のように入力して、新しいパーティションが作成されているこ とを確認します。 cat /proc/partitions c 新しいパーティションが見つからない場合は、次のように入力し ます。 sfdisk -R /dev/< デバイス名 > メモ：以下の手順では、サンプルの値を使用します。 • マウントポイント : /u02、 /u03、および /u04 • ラベル : u02、 u03、および u04 • ファイバーチャネルストレージデバイス : emcpowera、 emcpowerb、および emcpowerc 6 いずれか 1 つのノード上で、mkfs.
7 各ノードで、以下の手順を実行します。 350 a 各 OCFS パーティション用にマウントポイントを作成します。 この手順を実行するには、次のように入力して、ターゲット パーティションのディレクトリを作成し、オーナーシップを 設定します。 mkdir -p /u02 /u03 /u04 chown -R oracle.
RAW デバイスインタフェースを使用した共有ストレージの構成 （Enterprise Linux 4 のみ） 1 最初のノードで、fdisk ユーティリティを使って、外付けスト レージデバイスに 6 つのパーティションを作成します。 次のように入力します。fdisk /dev/emcpowerX Oracle Cluster Repository（OCR）、投票ディスク、および Oracle のシステムパラメータファイルのそれぞれに 300 MB のパーティ ションを 6 つ作成します。 2 次のように入力して、新しいパーティションを確認します。 more /proc/partitions /proc/partitions ファイル内に新しいパーティションが表示さ れない場合は、すべてのノードで次のように入力します。 sfdisk -R /dev/<ÉfÉoÉCÉXñº> 3 ファイバーチャネルクラスタ内のすべてのノードで、次の手順を実 行します。 /etc/sysconfig/rawdevices ファイルを編集して、以下の各行を追 加します。 /dev/raw/votingdisk1 /dev/emcpo
ブロックデバイスを使用した共有ストレージの設定 メモ：本項の手順を実行する前に、『OS のインストールとハードウェア の取り付けガイド』の「Oracle データベースをインストールするための OS の設定」に記載されている手順を実行してください。同ガイドはデル サポートサイト support.dell.
b permissions.ini ファイルに投票ディスク名を追加します。 このファイルは、/dell-oracle-deployment/scripts/ ディレ クトリにあります。 [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= たとえば、仮想ディスクが emcpowerb1、emcpowerb2、 emcpowerb3 なら、permissions.ini は次のように変更さ れます。 [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 メモ：5 つの変数 : primary_ocr、mirror_ocr、vote1、vote2、vote3 のみ を変更してください。 4 permissions.ini ファイルを設定したら、/dell-oracledeployment/scripts/ フォルダの下にある permissions.py スクリプトを実行します。 ./permissions.
ASM を使用した共有ストレージの設定 ASM を使用してクラスタの設定を行うには、すべてのノードで、以下の 手順を実行します。 1 root としてログインします。 2 すべてのノードで、次のように fdisk ユーティリティを使用して、 別の 2 つの外付けストレージデバイスに 1 つずつパーティションを 作成します。 a 次のように入力して、デバイス全体に対するプライマリパーティ ションを作成します。 fdisk /dev/emcpowerX メモ：fdisk ユーティリティのヘルプを表示するには、 h と入力します。 b 次のように入力して、新しいパーティションが作成されているこ とを確認します。 cat /proc/partitions.
[asm] asm1=/dev/emcpowerc1 asm2=/dev/emcpowerd1 /dev/emcpowere1 を使用して ASM ディスクグループ ASM3 を 追加するには、次のように入力してセッションにエントリを追加 します。 asm3=/dev/emcpowere1 2 permissions.ini ファイルを設定したら、/dell-oracledeployment/scripts/ フォルダの下にある permissions.py スクリプトを実行します。./permissions.py 3 次のコマンドを実行して、正しいブロックデバイスの権限を設定し ます。/etc/rc.
4 最初のノードのターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm createdisk ASM2 /dev/emcpowerc1 5 ASM ディスクを追加で作成する必要がある場合は、それぞれに 手 順 4 を繰り返します。 6 ASM ディスクが作成され、ASM 使用のマークが付いていることを確 認します。 ターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm listdisks 手順 5 で作成したディスクが表示されます。例： ASM1 ASM2 7 残りのノードが 手順 5 で作成した ASM ディスクにアクセスできる ことを確認します。残りの各ノードでターミナルウィンドウを開き、 次のテキストを入力し、 を押します。 service oracleasm scandisks ASM を使用して新しいノードに共有ストレージを設定する方法 1 root としてログインします。
4 新しいノードでターミナルウィンドウを開き、次の手順を実行し ます。 a 次のように入力します。service oracleasm configure b すべてのノードについて、以下の入力を行います。 Default user to own the driver interface（ドライバインタ フェースを所有するデフォルトユーザー）[ ]: oracle Default group to own the driver interface（ドライバイン タフェースを所有するデフォルトグループ）[ ]: dba Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]: y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクのパーミッションを修正）(y/n) [y]: y 5 手順 5 は、RAC の設定に EqualLogic iSCSI ストレージと Linux Device Mapper Multipath ドラ
Oracle RAC 用のストレージ、Oracle ユーザー等価、およびネットワークの設定
索引 A L ASM ライブラリドライバ , 355 LUN, 298 D Dell/EMC ファイバー チャネル , 297 Dell|EMC ファイバー チャネル スイッチ , 297 ストレージ , 297 M Modular Disk Storage Manager, 308 MPIO ソフトウェア , 308 MTU, 323 N E NIC ポートの割り当て , 336 EMC Navisphere, 342 PowerPath, 342 O Enterprise Linux, 292 OCFS2, 347 I P ifconfig, 337 PowerPath 擬似デバイス , 342 IP アドレス パブリック IP アドレス , 335 プライベート IP アドレス , 335 仮想 IP アドレス , 335 R RSA キーペア , 340 索引 359
S こ SAS クラスタのセットア ップ , 303, 311, 317, 335 高可用性 , 337 し い イーサネットスイッチ , 297 資格認証とトレーニング Oracle, 293 デル , 293 ジャンボフレーム , 323 え エイリアス名 , 331 と 投票ディスク , 352 ドメインネームサービス , 335 か 仮想ディスク , 292 ね ネットワークパラメータ , 338 く クラスタウェア ストレージの設定 , 347 は け ケーブル CAT 5e, 296 CAT 6, 296 ケーブル接続 iSCSI クラスタ , 313 SAS ストレージ , 306 ファイバーチャネルス トレージ , 298 360 ネットワーク ボンディング , 337 索引 パブリックキー , 340 パラフレーズプメンプト , 340
ふ よ ファイバーチャネル SAN 接続構成 , 299 直接接続構成 , 298 用語 グループ , 317 プール , 317 ボリューム , 317 メンバー , 317 へ ヘルプ , 292 Oracle サポート , 293 デルサポート , 292 ほ ボリューム , 321 ボンディング済みのペア , 336 り リソースメディア PowerVault MD3000, 308 リンクの監視 , 337 ろ 論理ユニット番号 , 292 ま マルチパスドライブ , 311 み ミラーパーティション , 352 索引 361
索引
Sistemas Dell™ PowerEdge™ — Base de datos Oracle® en Enterprise Linux® x86_64 Guía de almacenamiento y redes Versión 1.1 w w w. d e l l . c o m | s u p p o r t . d e l l .
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones o incluso la muerte. ____________________ La información contenida en este documento puede modificarse sin previo aviso. © 2009 Dell Inc. Todos los derechos reservados.
Contenido 1 Información general . . . . . . . . . . . . . . . . . . Documentación necesaria para implantar la base de datos Dell|Oracle . . . . . . . . . 369 . . . . . . . . . . 370 . . . . . . . . . . . . . . . . . . . . . . 371 Terminología utilizada en este documento Obtención de ayuda Asistencia de Dell . . . . . . . . . . . . . . . . . . . . Asistencia de Oracle 2 . . . . . . . . . . . . . . . . . . . Configuración del clúster Fibre Channel . . . . . . . . . . . . . . . . . . . . . .
3 Configuración del clúster SAS para los alojamientos de expansión Dell PowerVault MD3000 y MD1000 . . . . . . Configuración del clúster SAS con los alojamientos de expansión PowerVault MD3000 y MD1000 . . . . . . . . . 384 . . . . . . . . . . 384 . . . . . . . . . . . 386 Tarea 1: Configuración del hardware . Tarea 2: Instalación del software de almacenamiento basado en host . . . . . 386 . . . . . . . . . . . 386 Tarea 3: Verificación y actualización del firmware .
5 Configuración del clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS . . . . . . . . . . . Terminología de EqualLogic . . . . . . 395 . . . . . . . . . . . . . . . . . 395 Configuración del sistema de almacenamiento iSCSI Dell EqualLogic . . . . . . . . . . . . . . Creación de volúmenes. . . . . . . . 396 . . . . . . . . . . . . . . . . . 399 Configuración de redes iSCSI . . . . . . . . . . . . . . . . . . 402 . . . . . 413 . . . . . . . . 413 . . . . . . . . . .
Ajuste de las particiones de disco para sistemas que ejecutan el sistema operativo Linux . . . . . . . . . . . 421 . . . . . . . . 421 . . . . . . . . . 422 Ejemplo: Argumentos de la utilidad fdisk . Procedimiento: Uso de la utilidad fdisk para ajustar una partición de disco . . Configuración del almacenamiento de base de datos mediante el sistema de archivos ext3 para un solo nodo . . . . . . . . . . . . . . . . . . . . . . . 423 Configuración del almacenamiento compartido . . . . . . .
Información general Este documento se aplica a: • Base de datos Oracle® 10g R2 con Red Hat® Enterprise Linux® u Oracle Enterprise Linux 4.7 AS x86_64 • Base de datos Oracle 10g R2 con Red Hat Enterprise Linux u Oracle Enterprise Linux 5.2 AS x86_64 • Base de datos Oracle 11g R1 con Red Hat Enterprise Linux u Oracle Enterprise Linux 5.
• Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de configuración e instalación de la base de datos: en ella se describe cómo instalar y configurar la base de datos Oracle. • Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de solución de problemas: en ella se describe cómo añadir un nuevo nodo al clúster y cómo solucionar los errores detectados durante los procedimientos de instalación descritos en los módulos anteriores.
Obtención de ayuda Asistencia de Dell • Para obtener información detallada sobre el uso del sistema, consulte la documentación suministrada con los componentes del sistema. • Para obtener documentos técnicos, las configuraciones admitidas por Dell e información general, visite la página web de bases de datos Oracle y soluciones de aplicaciones en dell.com/oracle.
Información general
Configuración del clúster Fibre Channel AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 2-1. Conexiones de hardware para un clúster Fibre Channel Sistemas cliente Conmutadores Ethernet Gigabit (red privada) WAN/LAN Sistemas PowerEdge (base de datos Oracle) Sistemas de almacenamiento Dell/ EMC Fibre Channel Conmutadores Dell/ EMC Fibre Channel (SAN) CAT 5e/6 (NIC pública) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Cables de fibra óptica adicionales Tabla 2-1.
Tabla 2-1.
Antes de comenzar Compruebe que se han realizado las tareas siguientes en el clúster: • Se han instalado todos los componentes de hardware en el rack. • Se han configurado todas las interconexiones de hardware como se indica en la ilustración 2-1 y en la ilustración 2-3, y se enumeran en la tabla 2-1. • Se han creado todos los números de unidad lógica (LUN), los grupos de RAID y los grupos de almacenamiento en el sistema de almacenamiento Dell/EMC Fibre Channel.
Configuración de Fibre Channel de conexión directa Para configurar los nodos con una configuración de Fibre Channel de conexión directa: 1 Conecte un cable óptico del HBA 0 del nodo 1 al puerto 0 de SP-A. 2 Conecte un cable óptico del HBA 1 del nodo 1 al puerto 0 de SP-B. 3 Conecte un cable óptico del HBA 0 del nodo 2 al puerto 1 de SP-A. 4 Conecte un cable óptico del HBA 1 del nodo 2 al puerto 1 de SP-B.
Configuración de Fibre Channel de conexión mediante SAN Para configurar los nodos con una configuración de conexión mediante SAN de cuatro puertos: 1 Conecte un cable óptico del puerto 0 de SP-A al conmutador 0 Fibre Channel. 2 Conecte un cable óptico del puerto 1 de SP-A al conmutador 1 Fibre Channel. 3 Conecte un cable óptico del puerto 2 de SP-A al conmutador 0 Fibre Channel. 4 Conecte un cable óptico del puerto 3 de SP-A al conmutador 1 Fibre Channel.
En la ilustración 2-3 se muestran las conexiones de cables de un clúster Fibre Channel de conexión mediante SAN. Ilustración 2-3.
Configuración del clúster Fibre Channel
Configuración del clúster SAS para los alojamientos de expansión Dell PowerVault MD3000 y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 3-1 Cableado del clúster SCSI de conexión serie (SAS) y el alojamiento para almacenamiento Dell PowerVault MD3000 Red privada LAN/WAN Sistemas PowerEdge Sistema de almacenamiento PowerVault MD3000 Dos alojamientos de expansión PowerVault MD1000 382 CAT 5e/6 (NIC pública) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Configuración del clúster SAS para el alojamiento de expansión PowerVault
Tabla 3-1.
Configuración del clúster SAS con los alojamientos de expansión PowerVault MD3000 y MD1000 Tarea 1: Configuración del hardware Los clústeres SAS sólo se pueden instalar en un clúster de conexión directa y están limitados a dos nodos únicamente. Para configurar los nodos con una configuración de conexión directa: 1 Conecte un cable SAS de un puerto de la controladora SAS del nodo 1 al puerto In-0 de la controladora RAID 0 en el alojamiento para almacenamiento PowerVault MD3000.
Ilustración 3-2 Cableado del clúster SAS de conexión directa Servidor host de HBA doble Servidor host de HBA doble Módulo 0 de controladora RAID Módulo de controladora RAID 1 Alojamiento RAID de MD3000 Alojamiento de expansión PowerVault MD1000 Alojamiento de expansión PowerVault MD1000 Configuración del clúster SAS para el alojamiento de expansión PowerVault 385
Tarea 2: Instalación del software de almacenamiento basado en host Para instalar el software de almacenamiento basado en host necesario para el alojamiento para almacenamiento PowerVault MD3000, utilice el soporte multimedia de recursos de Dell PowerVault que se incluye con el sistema.
Tarea 5: Tareas posteriores a la instalación Una vez instalados los controladores y el software, realice las tareas posteriores a la instalación indicadas en la Guía de instalación de PowerVault MD3000. Cree el entorno que se muestra en el documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de instalación del sistema operativo y el hardware y en la guía de Linux. Ambos documentos están disponibles en la página web de asistencia de Dell (support.dell.com).
Configuración del clúster SAS para el alojamiento de expansión PowerVault
Configuración del clúster iSCSI para los alojamientos para almacenamiento Dell PowerVault MD3000i y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/ regulatory_compliance.
Tabla 4-1 Interconexiones de hardware iSCSI Componente del clúster Conexiones Nodo del sistema PowerEdge • Un cable CAT 5e/6 de la NIC pública a la red de área local (LAN) • Un cable CAT 5e/6 de la NIC Gigabit privada al conmutador Ethernet Gigabit (red privada) • Un cable CAT 5e/6 de la NIC Gigabit privada redundante al conmutador Ethernet Gigabit redundante (red privada) • Un cable CAT 5e/6 de una NIC Gigabit iSCSI a un conmutador Ethernet Gigabit (red iSCSI) NOTA: Para obtener información adicional
Configuración del clúster iSCSI para los alojamientos de expansión PowerVault MD3000i y MD1000 Tarea 1: Configuración del hardware Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 4-1.
3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 0 en el alojamiento para almacenamiento PowerVault MD3000i. 4 Conecte un cable CAT 5e/6 del otro puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento PowerVault MD3000i.
Para configurar los nodos en una conexión conmutada, vea la ilustración 4-2 y realice los pasos siguientes: 1 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 1. 2 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 2. 3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1.
Tarea 2: Instalación del software basado en host necesario para el almacenamiento Para instalar el software de almacenamiento basado en host necesario para el sistema de almacenamiento PowerVault MD3000i, utilice el software del soporte multimedia de recursos de Dell PowerVault entregado con el sistema de almacenamiento PowerVault MD3000i. Siga los procedimientos descritos en la documentación del alojamiento para almacenamiento PowerVault MD3000i, disponible en la página web de asistencia de Dell (support.
Configuración del clúster iSCSI para los sistemas de almacenamiento Dell EqualLogic serie PS AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Configuración del sistema de almacenamiento iSCSI Dell EqualLogic Los sistemas host se pueden conectar a la matriz iSCSI Dell™ EqualLogic PS5000XV a través de un conmutador Ethernet Gigabit estándar de SAN IP. En la ilustración 5-1 se muestra la configuración de red recomendada para una matriz Dell EqualLogic PS5000XV de módulo de control dual.
Ilustración 5-1.
Ilustración 5-2.
Un grupo de almacenamiento Dell EqualLogic serie PS se puede segregar en varios niveles en cascada o bloques. El almacenamiento en cascada proporciona a los administradores un mayor control sobre la asignación de recursos de disco. Un miembro sólo puede estar asignado a un bloque a la vez. Es fácil asignar un miembro a un bloque y mover un miembro entre bloques sin influir en la disponibilidad de los datos.
En la tabla 5-1 se presenta una configuración de volúmenes de muestra.
Configuración de redes iSCSI Se recomienda configurar las interfaces de red del host para el tráfico iSCSI de modo que utilicen el control de flujo y la trama gigante para obtener un rendimiento óptimo. Con la utilidad ethtool se puede configurar el control de flujo.
Compruebe la configuración de la trama gigante mediante el comando ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 Obtenga la dirección de hardware de cada interfaz de red en el host que se utiliza para el tráfico iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, donde n es el número de interfaz de red. 5 Cree una interfaz para cada interfaz de red en el host que se utiliza para el tráfico iSCSI. iscsiadm -m iface -I iface_name --op=new, donde iface_name es el nombre asignado a la interfaz. iscsiadm -m iface -I iface_name --op=update -n iface.
9 Detecte los destinos de todas las interfaces creadas en el paso 5. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic, iface_name1, iface_name2, iface_name3, iface_name4, etc. son las interfaces de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI.
10 Compruebe que se hayan detectado todas las interfaces del host: iscsiadm -m discovery --print=1 Por ejemplo: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Inicie sesión en todos los destinos (volúmenes) de cada interfaz creada en el paso 5: iscsiadm -m node -p group_ip_address --interface iface_name --login, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name es la interfaz de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI. En el ejemplo siguiente se inicia sesión en tres volúmenes de cada una de las dos interfaces (eth0-iface y eth1-iface) de un host. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Quite la marca de comentario de la sección siguiente de /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Añada la sección siguiente a /etc/multipath.conf. El WWID se obtiene en el paso 1.
En la muestra siguiente se incluyen configuraciones de cuatro volúmenes.
5 Reinicie el daemon multirruta y compruebe que los nombres de alias se muestran en la salida de multipath -l1. service multipathd restart multipath -ll Por ejemplo: fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 Compruebe que se hayan creado los dispositivos de /dev/mapper/*. Los nombres de estos dispositivos se deben utilizar para acceder e interactuar con dispositivos multirruta en las secciones siguientes.
Configuración del almacenamiento, la equivalencia de usuario de Oracle y las redes para Oracle RAC AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Según el número de puertos NIC disponibles, configure las interfaces como se muestra en la tabla 6-1. Tabla 6-1 Asignaciones de puertos NIC Puerto NIC Tres puertos disponibles Cuatro puertos disponibles 1 IP pública e IP virtual IP pública 2 IP privada (bonding) IP privada (bonding) 3 IP privada (bonding) IP privada (bonding) 4 ND IP virtual Configuración de la red pública NOTA: Asegúrese de que su dirección IP pública sea una dirección IP válida y enrutable.
3 Edite el archivo /etc/sysconfig/network y, en caso necesario, sustituya localhost.localdomain por el nombre completo del nodo público. Por ejemplo, el comando para el nodo 1: hostname=node1.domain.com 4 Escriba service network restart. 5 Escriba ifconfig para comprobar que las direcciones IP están definidas correctamente. 6 Para comprobar la configuración de la red, ejecute el comando ping para cada dirección IP pública desde un cliente de la LAN que se encuentre fuera del clúster.
4 En el directorio /etc/sysconfig/network-scripts/, cree o edite el archivo de configuración ifcfg-bond0. Por ejemplo, si se utilizan los parámetros de red de muestra, el archivo queda así: DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.255 ONBOOT=yes BOOTPROTO=none USERCTL=no Las entradas de NETMASK, NETWORK y BROADCAST son opcionales. DEVICE=bondn es el nombre requerido para el bond, donde n es el número de bond. IPADDR es la dirección IP privada.
9 En cada nodo, modifique las líneas del archivo /etc/hosts; para ello, escriba: 127.0.0.1 localhost.localdomain localhost NOTA: Los ejemplos del paso 9 y el paso 10 corresponden a una configuración de dos nodos.
5 La utilidad ssh-keygen finaliza la operación. Aparece el mensaje siguiente: Your identification has been saved in /home/oracle/.ssh/id.rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. The key fingerprint is: xx:xx:xx:xx:xx:xx:xx:xx oracle@ (La identificación se ha guardado en /home/oracle/.ssh/id.rsa. La clave pública se ha guardado en /home/oracle/.ssh/id_rsa.pub. La huella dactilar de clave es: xx:xx:xx:xx:xx:xx:xx:xx oracle@) 6 Vaya a cd /home/oracle/.
Verificación de la configuración de almacenamiento En las secciones siguientes se describe cómo crear y ajustar las particiones de disco para el almacenamiento Fibre Channel, SAS de conexión directa o iSCSI. Creación de particiones de disco en el alojamiento para almacenamiento Al configurar los clústeres, cree particiones en el sistema de almacenamiento Fibre Channel, SAS de conexión directa o iSCSI. Para crear las particiones, todos los nodos deben detectar los dispositivos de almacenamiento externos.
Para verificar que cada nodo puede detectar todos los discos lógicos o LUN de almacenamiento, haga lo siguiente: 1 En el sistema de almacenamiento Dell/EMC Fibre Channel, compruebe que el agente EMC® Navisphere® y la versión correcta de PowerPath® estén instalados en cada nodo. Compruebe que cada nodo esté asignado al grupo de almacenamiento correcto del software EMC Navisphere. Para obtener instrucciones, consulte la documentación suministrada con el sistema de almacenamiento Dell/EMC Fibre Channel.
• Los volúmenes lógicos de almacenamiento externo aparecen como dispositivos SCSI y todos los nodos están configurados con el mismo número de LUN, discos virtuales o volúmenes. Por ejemplo, si el nodo está configurado con una unidad SCSI o un contenedor RAID conectado a un dispositivo de almacenamiento Fibre Channel con tres discos lógicos, sda identifica el contenedor RAID o la unidad interna del nodo, mientras que emcpowera, emcpowerb y emcpowerc identifican los LUN (o pseudodispositivos PowerPath).
x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128 (Éste es el tamaño predeterminado del elemento de banda en el almacenamiento Dell/MC serie CX Fibre Channel.) w # write the new partition El método fdisk es preferible al método de ajuste de alineamiento del LUN para los LUN de los que se creará una instantánea, un clon o una imagen MirrorView. También lo es para los orígenes y destinos de SAN Copy.
2 En el indicador de comandos, escriba el siguiente argumento de la utilidad fdisk: x 3 En el indicador de comandos, escriba el siguiente argumento de la utilidad fdisk: b 4 Cuando se le solicite el número de partición, escríbalo en el indicador de comandos. Por ejemplo: 1 5 Especifique la nueva ubicación en la partición de disco para el inicio de los datos.
3 Escriba mkdir oradata recovery Mediante la utilidad fdisk, cree una partición en la que se almacenarán los archivos de la base de datos. Por ejemplo: Emcpowera1, si el dispositivo de almacenamiento es emcpowera. Mediante la utilidad fdisk, cree una partición en la que se almacenarán los archivos de recuperación. Por ejemplo: Emcpowerb1, si el dispositivo de almacenamiento es emcpowerb.
Configuración del almacenamiento compartido Configuración del almacenamiento compartido para el software de clúster Oracle y la base de datos mediante OCFS2 En el primer nodo: 1 Inicie la sesión como root. 2 Realice los pasos siguientes: a Inicie el sistema X Window escribiendo: startx b Genere el archivo de configuración de OCFS2 /etc/ocfs2/cluster.conf con el nombre de clúster predeterminado de ocfs2.
3 Habilite la pila de clúster en todos los nodos durante el inicio; para ello, escriba: /etc/init.d/o2cb enable 4 Cambie el valor de O2CB_HEARTBEAT_THRESHOLD en todos los nodos: a Detenga el servicio O2CB en todos los nodos; para ello, escriba: /etc/init.d/o2cb stop b Cambie el valor de O2CB_HEARTBEAT_THRESHOLD en /etc/sysconfig/o2cb por 81 en todos los nodos. c Inicie el servicio O2CB en todos los nodos; para ello, escriba: /etc/init.
Archivos de base de datos mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Área de recuperación flash mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 NOTA: Las ranuras de nodos hacen referencia al número de nodos del clúster. NOTA: Para obtener más información sobre cómo establecer los parámetros de formato de los clústeres, visite la página web de preguntas frecuentes de OCFS2 en oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html.
Configuración del almacenamiento compartido mediante la interfaz de dispositivo sin formato sólo para Enterprise Linux 4 1 En el primer nodo, cree seis particiones en un dispositivo de almacenamiento externo con la utilidad fdisk: Escriba fdisk /dev/emcpowerX y cree seis particiones de 300 MB cada una para los repositorios de clúster Oracle (OCR), los discos de votación y el archivo de parámetros del sistema Oracle.
Configuración del almacenamiento compartido mediante los dispositivos de bloque NOTA: Antes de seguir con los pasos de esta sección, realice los procedimientos que se indican en la sección relativa a la configuración del sistema operativo para la instalación de la base de datos Oracle en la Guía de instalación del sistema operativo y el hardware, disponible en la página web de asistencia de Dell (support.dell.com).
b Añada los nombres de los discos de votación al archivo permissions.ini. El archivo está ubicado en el directorio /dell-oracle-deployment/scripts/: [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= Por ejemplo, si los discos de votación son emcpowerb1, emcpowerb2 y emcpowerb3, el archivo permissions.
Configuración del almacenamiento compartido mediante ASM Para configurar el clúster mediante ASM, realice los pasos siguientes en todos los nodos: 1 Inicie la sesión como root. 2 En todos los nodos, cree una partición en cada uno de los otros dos dispositivos de almacenamiento externos con la utilidad fdisk: a Cree una partición principal para todo el dispositivo; para ello, escriba: fdisk /dev/emcpowerX NOTA: Escriba h para obtener ayuda dentro de la utilidad fdisk.
[asm] asm1=/dev/emcpowerc1 asm2=/dev/emcpowerd1 Para añadir un grupo de discos ASM adicional (ASM3) con /dev/emcpowere1, añada otra entrada a la sesión: asm3=/dev/emcpowere1 2 Tras definir el archivo permissions.ini, ejecute la secuencia de comandos permissions.py ubicada en la carpeta /dell-oracle-deployment/scripts/: ./permissions.py 3 Ejecute el comando siguiente para definir los permisos de dispositivos de bloque correctos: /etc/rc.
6 Compruebe que los discos ASM se hayan creado y se hayan marcado para el uso de ASM. En la ventana de terminal, escriba lo siguiente y pulse : service oracleasm listdisks Se muestran los discos que ha creado en el paso 5. Por ejemplo: ASM1 ASM2 7 Asegúrese de que los demás nodos pueden acceder a los discos ASM que ha creado en el paso 5.
5 Realice el paso 5 sólo si la configuración de RAC utiliza un almacenamiento iSCSI EqualLogic y un controlador de Device Mapper Multipath de Linux. Defina el parámetro ORACLEASM_SCANORDER en /etc/sysconfig/oracleasm de la manera siguiente: ORACLEASM_SCANORDER="dm" Reinicie el sistema para aplicar el cambio. 6 Asegúrese de que el nodo nuevo puede acceder a los discos ASM.
Índice A D alta disponibilidad, 415 Dell/EMC Fibre Channel, 375 almacenamiento, 375 conmutador, 375 ASM controlador de biblioteca, 432 ayuda, 371 asistencia de Dell, 371 asistencia de Oracle, 371 dirección IP dirección IP privada, 413 dirección IP pública, 413 dirección IP virtual, 413 disco de votación, 429 B disco virtual, 370 bonding de red, 415 E C cable CAT 5e, 374 CAT 6, 374 cableado almacenamiento Fibre Channel, 376 almacenamiento SAS, 384 clúster iSCSI, 391 certificación y formación Dell, 3
I P ifconfig, 415 par de bonding, 414 indicador de paráfrasis, 417 par de claves RSA, 417 parámetros de red, 416 particiones de duplicación, 429 L LUN, 376 pseudodispositivos PowerPath, 420 M S Modular Disk Storage Manager, 386 SAS configuración del clúster, 381, 389, 395, 413 MTU, 401 servicio de nombres de dominio, 413 N NIC asignaciones de puerto, 414 software de clúster configurar el almacenamiento, 425 nombres de alias, 409 software MPIO, 386 número de unidad lógica, 370 soporte mult
T término bloque, 395 grupo, 395 miembro, 395 volumen, 395 trama gigante, 401 U unidad multirruta, 389 V volúmenes, 399 Índice 437
Índice
