Lnx_Stnwt.book Page 1 Jeudi, 16. juillet 2009 1:36 13 Dell™ PowerEdge™ Systems Oracle® Database on Enterprise Linux® x86_64 Storage and Network Guide Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Lnx_Stnwt.book Page 2 Jeudi, 16. juillet 2009 1:36 13 Notes, Cautions, and Warnings NOTE: A NOTE indicates important information that helps you make better use of your computer. CAUTION: A CAUTION indicates potential damage to hardware or loss of data if instructions are not followed. WARNING: A WARNING indicates a potential for property damage, personal injury, or death. ____________________ Information in this document is subject to change without notice. © 2009 Dell Inc. All rights reserved.
Lnx_Stnwt.book Page 3 Jeudi, 16. juillet 2009 1:36 13 Contents 1 Overview . . . . . . . . . . . . . . . . . . . . . . . . . . Required Documentation for Deploying the Dell|Oracle Database . . . . . . . . . . . 7 Terminology Used in This Document . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . 8 Getting Help Dell Support . . . . . . . . . . . . . . . . . . . . . . Oracle Support 2 7 . . . . . . . . . . . . . . . . . . . . Configuring Your Network . 8 9 . . . . .
Lnx_Stnwt.book Page 4 Jeudi, 16. juillet 2009 1:36 13 3 Fibre Channel Cluster Setup Hardware Connections for a Fibre Channel Cluster . . . . . . . . . . . . . . . . . . . . . . . . . . Cabling Your Fibre Channel Storage System 4 20 Direct-Attached Fibre Channel Configuration . . . . . . . . . . . . . . . 20 SAN-Attached Fibre Channel Configuration . . . . . . . . . . . . . . . 21 SAS Cluster Setup for the Dell™ PowerVault™ MD3000 and MD1000 Expansion Enclosures . . . . 23 . . . . . . . . .
Lnx_Stnwt.book Page 5 Jeudi, 16. juillet 2009 1:36 13 5 iSCSI Cluster Setup for the Dell™ PowerVault ™ MD3000i and MD1000 Storage Enclosures . . . . . . 29 . . . . . . . . . 31 . . . . . . . . . . 31 Setting Up the iSCSI Cluster for PowerVault MD3000i and MD1000 Expansion Enclosures . . . . . . . . . Task 1: Setting up the Hardware Task 2: Installing Host-based Software Needed for Storage. . . . . . . . . . . . . . . . . 34 . . . . . . . . . . . . . . 34 . . . . . . . . . . . . . . .
Lnx_Stnwt.book Page 6 Jeudi, 16. juillet 2009 1:36 13 7 Configuring Database Storage on the Host . . . . . . . . . . . . . . . . . . . . . . . Verifying and Identifying Your Storage Disks . . . . . . 51 . . . . . . . . . 53 . . . . . . . . . . 53 Adjusting Disk Partitions for Systems Running the Linux Operating System . Example: fdisk Utility Arguments Procedure: Using the fdisk Utility to Adjust a Disk Partition . . . . . . . . . . . . . .
Lnx_Stnwt.book Page 7 Jeudi, 16. juillet 2009 1:36 13 Overview This document applies to: • Oracle® Database 10g R2 running on Red Hat® Enterprise Linux® or Oracle Enterprise Linux® 4.7 AS x86_64. • Oracle Database 10g R2 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.3 AS x86_64. • Oracle Database 11g R1 running on Red Hat Enterprise Linux or Oracle Enterprise Linux 5.3 AS x86_64.
Lnx_Stnwt.book Page 8 Jeudi, 16.
Lnx_Stnwt.book Page 9 Jeudi, 16. juillet 2009 1:36 13 • Information about contacting Dell is provided in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Troubleshooting Guide of your system, available on the Dell Support website at support.dell.com/manuals. • Dell Enterprise Training and Certification is now available; see dell.com/training for more information. This training service may not be offered in all locations.
Lnx_Stnwt.book Page 10 Jeudi, 16.
Lnx_Stnwt.book Page 11 Jeudi, 16. juillet 2009 1:36 13 Configuring Your Network This section presents steps to configure the public and private cluster network. NOTE: Each node requires a unique public and private internet protocol (IP) address. An additional public IP address is required to serve as the virtual IP address for the client connections and the connection failover. The virtual IP address must belong to the same subnet as the public IP.
Lnx_Stnwt.book Page 12 Jeudi, 16. juillet 2009 1:36 13 If you have not already configured the public network, perform the following steps on each node: 1 Log in as root. 2 Edit the network device file /etc/sysconfig/network-scripts/ifcfg-eth#, where # is the number of the network device: DEVICE=eth0 ONBOOT=yes IPADDR= NETMASK= BOOTPROTO=static HWADDR= SLAVE=no 3 Edit the /etc/sysconfig/network file, and, if necessary, replace localhost.
Lnx_Stnwt.book Page 13 Jeudi, 16. juillet 2009 1:36 13 3 For high availability, edit the /etc/modprobe.conf file and set the option for link monitoring. The default value for miimon is 0. The default value disables link monitoring. Change the value to 100 milliseconds initially. Adjust it as needed to improve performance. For example, type: options bonding miimon=100 mode=6 max_bonds=2 4 In the /etc/sysconfig/network-scripts/ directory, create or edit the ifcfg-bond0 configuration file.
Lnx_Stnwt.book Page 14 Jeudi, 16. juillet 2009 1:36 13 6 On each node, type ifconfig to verify that the private interface is functioning. The private IP address for the node must be assigned to the private interface bond0. 7 After all the private IP addresses are set up on every node, ping each IP address from one node to ensure that the private network is functioning. 8 Connect to each node.
Lnx_Stnwt.book Page 15 Jeudi, 16. juillet 2009 1:36 13 7 Rename the public key to a name that describes the system from which it originates by using the mv command: mv id_rsa.pub .pub Once the creation and renaming of public keys for all systems is performed, proceed to exchanging keys on the different systems. 8 Perform secure copies of your .pub keys to each of your nodes by using the scp command.
Lnx_Stnwt.book Page 16 Jeudi, 16. juillet 2009 1:36 13 Adding Host Entries Within the /etc/hosts File On each node, modify lines in the /etc/hosts file by typing: 127.0.0.1 localhost.
Lnx_Stnwt.book Page 17 Jeudi, 16. juillet 2009 1:36 13 Fibre Channel Cluster Setup WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Lnx_Stnwt.book Page 18 Jeudi, 16. juillet 2009 1:36 13 Figure 3-1. Hardware Connections for a Fibre Channel Cluster Client Systems Gigabit Ethernet Switches (private network) WAN/LAN Dell™ PowerEdge™ Systems (Oracle Database) Dell/EMC Fibre Channel Switches (SAN) CAT 5e/6 (Public NIC) CAT 5e/6 (Copper Gigabit NIC) Fiber Optic Cables Additional Fiber Optic Cables Dell/EMC Fibre Channel Storage Systems Table 3-1.
Lnx_Stnwt.book Page 19 Jeudi, 16. juillet 2009 1:36 13 Table 3-1. Fibre Channel Hardware Interconnections (continued) Cluster Component Connections Dell/EMC Fibre Channel storage system • Two CAT 5e or CAT 6 cables connected to the LAN • One to four fiber optic cable connections to each Fibre Channel switch.
Lnx_Stnwt.book Page 20 Jeudi, 16. juillet 2009 1:36 13 Cabling Your Fibre Channel Storage System Depending on your requirements, you can configure your Oracle database Fibre Channel cluster storage system in one of the following configurations: • Direct-attached Fibre Channel (see Figure 3-2) • Four-port SAN-attached Fibre Channel (see Figure 3-3) The following sections describe the cabling requirements for these configurations.
Lnx_Stnwt.book Page 21 Jeudi, 16. juillet 2009 1:36 13 SAN-Attached Fibre Channel Configuration To configure your nodes in a four-port SAN-attached configuration: 1 Connect one optical cable from SP-A port 0 to Fibre Channel switch 0. 2 Connect one optical cable from SP-A port 1 to Fibre Channel switch 1. 3 Connect one optical cable from SP-A port 2 to Fibre Channel switch 0. 4 Connect one optical cable from SP-A port 3 to Fibre Channel switch 1.
Lnx_Stnwt.book Page 22 Jeudi, 16. juillet 2009 1:36 13 See Figure 3-3 for the cable connections in a SAN-attached Fibre Channel cluster. Figure 3-3.
Lnx_Stnwt.book Page 23 Jeudi, 16. juillet 2009 1:36 13 SAS Cluster Setup for the Dell™ PowerVault™ MD3000 and MD1000 Expansion Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Lnx_Stnwt.book Page 24 Jeudi, 16. juillet 2009 1:36 13 Figure 4-1. Cabling the Serial-Attached SCSI (SAS) Cluster and the Dell PowerVault MD3000 Storage Enclosure Private Network LAN/WAN PowerEdge Systems PowerVault MD3000 Storage System Two PowerVault MD1000 Expansion Enclosures Table 4-1.
Lnx_Stnwt.book Page 25 Jeudi, 16. juillet 2009 1:36 13 Table 4-1.
Lnx_Stnwt.book Page 26 Jeudi, 16. juillet 2009 1:36 13 5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional). Connect two SAS cables from the two PowerVault MD1000 storage enclosures out ports to the In-0 ports of the second PowerVault MD1000 expansion enclosure.
Lnx_Stnwt.book Page 27 Jeudi, 16. juillet 2009 1:36 13 Task 2: Installing Host-Based Storage Software To install the necessary host-based storage software for the PowerVault MD3000 storage enclosure, use the Dell PowerVault Resource media that was shipped with the system. To install the Modular Disk Storage Manager software on the Master node and the Multi-Path (MPIO) software on the remaining nodes, follow the procedures in the PowerVault MD3000 storage enclosure documentation.
Lnx_Stnwt.book Page 28 Jeudi, 16. juillet 2009 1:36 13 Task 5: Performing the Post Installation Tasks After installing the drivers and the software, perform the post installation tasks listed in the PowerVault MD3000 Installation Guide. Create the environment shown in the Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation, and the Linux Guide. Both documents are available on the Dell Support website at support.dell.com/manuals.
Lnx_Stnwt.book Page 29 Jeudi, 16. juillet 2009 1:36 13 iSCSI Cluster Setup for the Dell™ PowerVault™ MD3000i and MD1000 Storage Enclosures WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance.
Lnx_Stnwt.book Page 30 Jeudi, 16. juillet 2009 1:36 13 Table 5-1.
Lnx_Stnwt.book Page 31 Jeudi, 16. juillet 2009 1:36 13 Setting Up the iSCSI Cluster for PowerVault MD3000i and MD1000 Expansion Enclosures Task 1: Setting up the Hardware Direct-attached iSCSI clusters are limited to two nodes only. Figure 5-1.
Lnx_Stnwt.book Page 32 Jeudi, 16. juillet 2009 1:36 13 4 Connect one CAT 5e/6 cable from the other port (iSCSI HBA or NIC) of node 2 to the In-1 port of RAID controller 1 in the PowerVault MD3000i storage enclosure. 5 (Optional). Connect two SAS cables from the two PowerVault MD3000 storage enclosures out ports to the two In ports of the first PowerVault MD1000 expansion enclosure. 6 (Optional).
Lnx_Stnwt.book Page 33 Jeudi, 16. juillet 2009 1:36 13 To configure your nodes in a switched configuration, see Figure 5-2, and complete the following steps: 1 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 1. 2 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 1 to the port of network switch 2. 3 Connect one CAT 5e/6 cable from a port (iSCSI HBA or NIC) of node 2 to the port of network switch 1.
Lnx_Stnwt.book Page 34 Jeudi, 16. juillet 2009 1:36 13 Task 2: Installing Host-based Software Needed for Storage To install the necessary host-based storage software for the PowerVault MD3000i storage system, use the Dell PowerVault Resource media that came with your PowerVault MD3000i storage system. Follow the procedures in the PowerVault MD3000i storage enclosure documentation, available from the Dell Support website at support.dell.
Lnx_Stnwt.book Page 35 Jeudi, 16. juillet 2009 1:36 13 iSCSI Cluster Setup for the Dell™ EqualLogic™ PS Series Storage System WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. EqualLogic Terminology The EqualLogic PS series storage array includes storage virtualization technology.
Lnx_Stnwt.book Page 36 Jeudi, 16. juillet 2009 1:36 13 NOTE: It is recommended to use two Gigabit Ethernet switches. In the event of a switch failure in a single Ethernet switch environment, all hosts lose access to the storage until the switch is physically replaced and the configuration restored. In such a configuration, there must be multiple ports with link aggregation providing the inter-switch, or trunk connection.
Lnx_Stnwt.book Page 37 Jeudi, 16. juillet 2009 1:36 13 Figure 6-2.
Lnx_Stnwt.book Page 38 Jeudi, 16. juillet 2009 1:36 13 An EqualLogic PS-series storage group can be segregated into multiple tiers or pools. Tiered storage provides administrators with greater control over how disk resources are allocated. At any one time, a member can be assigned to only one pool. It is easy to assign a member to a pool and to move a member between pools with no impact to data availability.
Lnx_Stnwt.book Page 39 Jeudi, 16. juillet 2009 1:36 13 Table 6-1 shows a sample volume configuration. Table 6-1.
Lnx_Stnwt.book Page 40 Jeudi, 16. juillet 2009 1:36 13 Configuring the iSCSI Networks It is recommended to configure the host network interfaces for iSCSI traffic to use Flow Control and Jumbo Frame for optimal performance. Use the ethtool utility to configure Flow Control.
Lnx_Stnwt.book Page 41 Jeudi, 16. juillet 2009 1:36 13 UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.4 GiB) Memory:d5ee0000-d5f00000 Configuring Host Access to Volumes This section details the steps to configure the host access to iSCSI volumes using the iscsiadm tool.
Lnx_Stnwt.book Page 42 Jeudi, 16. juillet 2009 1:36 13 5 Create an interface for each network interface on the host used for iSCSI traffic. iscsiadm -m iface -I iface_name --op=new, where, iface_name is the name assigned to the interface. iscsiadm -m iface -I iface_name --op=update -n iface.hwaddress -v hardware_address where, hardware_address is the hardware address of the interface obtained in step 4.
Lnx_Stnwt.book Page 43 Jeudi, 16. juillet 2009 1:36 13 For example, the following command discovers four volumes at group IP address 10.16.7.100, from a host with two interfaces named as eth0-iface and eth1-iface: # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.
Lnx_Stnwt.book Page 44 Jeudi, 16. juillet 2009 1:36 13 93ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090695ce59d02-2e0f999767f4942e-mdi-data2 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090697be59d02-d7ef99976814942e-mdi-fra1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface iSNS: No targets found.
Lnx_Stnwt.book Page 45 Jeudi, 16. juillet 2009 1:36 13 iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth0-iface, target: iqn.200105.com.
Lnx_Stnwt.book Page 46 Jeudi, 16. juillet 2009 1:36 13 Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
Lnx_Stnwt.book Page 47 Jeudi, 16. juillet 2009 1:36 13 Configuring Device Mapper Multipath to Volumes 1 Run the /sbin/scsi_id command against the devices created for Oracle to obtain their unique device identifiers: /sbin/scsi_id -gus /block/ For example: # scsi_id -gus /block/sda 2 Uncomment the following section in /etc/multipath.conf. blacklist { wwid 26353900f02796769 devnode "^(ram|raw|loop|fd|md|dm|sr|scd|st)[0-9]*" devnode "^hd[a-z]" } 3 Uncomment the following section in /etc/multipath.
Lnx_Stnwt.book Page 48 Jeudi, 16. juillet 2009 1:36 13 4 Add the following section in /etc/multipath.conf. The WWID is obtained from step 1. Ensure the alias names are consistent on all hosts in the cluster. multipaths { multipath { wwid WWID_of_volume1 alias alias_of_volume1 } multipath { wwid WWID_of_volume2 alias alias_of_volume2 } (Add a multipath subsection for each additional volume.) } The following sample includes configurations of four volumes.
Lnx_Stnwt.book Page 49 Jeudi, 16. juillet 2009 1:36 13 5 Restart the multipath daemon and verify the alias names are displayed in the multipath -l1 output. service multipathd restart multipath -ll For example, fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
Lnx_Stnwt.book Page 50 Jeudi, 16. juillet 2009 1:36 13 6 Verify the /dev/mapper/* devices are created. These devices names must be used to access and interact with multipath devices in the subsequent sections.
Lnx_Stnwt.book Page 51 Jeudi, 16. juillet 2009 1:36 13 Configuring Database Storage on the Host WARNING: Before you begin any of the procedures in this section, read the safety information that shipped with your system. For additional best practices information, see the Dell Regulatory Compliance website at www.dell.com/regulatory_compliance. Oracle® Real Application Clusters (RAC) is a complex database configuration that requires an ordered list of procedures.
Lnx_Stnwt.book Page 52 Jeudi, 16. juillet 2009 1:36 13 Table 7-1.
Lnx_Stnwt.book Page 53 Jeudi, 16. juillet 2009 1:36 13 5 In the /proc/partitions file, ensure that: • All PowerPath pseudo devices appear in the file with similar device names across all nodes. For example: /dev/emcpowera, /dev/emcpowerb, and /dev/emcpowerc. • In the case of the PowerVault MD3000 or MD3000i or the EqualLogic storage array, all the virtual disks or volumes appear in the file with similar device names across all nodes.
Lnx_Stnwt.book Page 54 Jeudi, 16. juillet 2009 1:36 13 fdisk /dev/emcpowera NOTE: Create a partition on /dev/emcpowera before performing the following steps. x # expert mode b # adjust starting block number 1 # choose partition 1 128 # set it to 128, (This is the default stripe element size on the Dell/EMC CX series Fibre Channel storage) w # write the new partition The fdisk method is preferable to the LUN alignment offset method for LUNs that have a snapshot, clone, or MirrorView image made of them.
Lnx_Stnwt.book Page 55 Jeudi, 16. juillet 2009 1:36 13 5 Specify the new location on the disk partition for the beginning of data. For example: 128 6 At the command prompt, type the following fdisk utility argument: w The system displays the following message: The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. 7 Repeat step 1 through step 6 for all Oracle data LUNs.
Lnx_Stnwt.book Page 56 Jeudi, 16. juillet 2009 1:36 13 6 Edit the /etc/fstab file for the newly created file system by adding entries such as: /dev/emcpowera1 /oradata ext3 defaults 1 2, where is similar to /u01/app/oracle 7 Type: chown -R oracle.
Lnx_Stnwt.book Page 57 Jeudi, 16. juillet 2009 1:36 13 Configuring Shared Storage Disks for Oracle Clusterware, Database, and Recovery Files Using OCFS2 On the first node: 1 Log in as root. 2 Perform the following steps: a Start the X Window System by typing: startx b Generate the OCFS2 configuration file /etc/ocfs2/cluster.conf with a default cluster name of ocfs2. Type the following in a terminal window: ocfs2console c From the menu, click Cluster→ Configure Nodes.
Lnx_Stnwt.book Page 58 Jeudi, 16. juillet 2009 1:36 13 4 Change the O2CB_HEARTBEAT_THRESHOLD value on all the nodes: a Stop the O2CB service on all the nodes by typing: /etc/init.d/o2cb stop b Edit the O2CB_HEARTBEAT_THRESHOLD value in /etc/sysconfig/o2cb to 81 on all the nodes. c Start the O2CB service on all the nodes by typing: /etc/init.
Lnx_Stnwt.book Page 59 Jeudi, 16. juillet 2009 1:36 13 NOTE: For more information about setting the format parameters of clusters, see the OCFS2 frequently asked questions website at oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html. 7 On each node, perform the following steps: a Create mount points for each OCFS2 partition. To perform this procedure, create the target partition directories and set the ownerships by typing: mkdir -p /u02 /u03 /u04 chown -R oracle.
Lnx_Stnwt.book Page 60 Jeudi, 16. juillet 2009 1:36 13 Configuring Shared Storage Disks for Oracle Clusterware Using Raw Devices 1 On the first node, create six partitions on an external storage device with the fdisk utility: Type: fdisk /dev/emcpowerX, and create six partitions of 300 MB each for the Oracle Cluster Repositories (OCR), Voting Disks, and the Oracle system parameter file.
Lnx_Stnwt.book Page 61 Jeudi, 16. juillet 2009 1:36 13 Configuring Shared Storage Disks for Oracle Database and Recovery Files Using ASM Configuration of disks for Automatic Storage Management (ASM) can be done using either Raw Devices or by using the ORACLEASM library driver. Configuring Disks for ASM Using Raw Devices 1 Log in as root. 2 On the first node, use fdisk to create a single whole-disk primary partition on the disk device that you want to use for Database and Recovery Files.
Lnx_Stnwt.book Page 62 Jeudi, 16. juillet 2009 1:36 13 3 Perform this step only if the RAC configuration uses an EqualLogic iSCSI storage and a Linux Device Mapper Multipath driver. a Set the ORACLEASM_SCANORDER parameter in /etc/sysconfig/oracleasm as follows: ORACLEASM_SCANORDER= "dm" b Reboot the system for the change to take effect.
Lnx_Stnwt.book Page 63 Jeudi, 16. juillet 2009 1:36 13 Configuring Shared Storage Disks for Oracle Clusterware Using Block Devices NOTE: This section assumes that you have followed the procedures listed in the Configuring the Operating System for Oracle Database Installation section of the Operating System and Hardware Installation Guide, available from the Dell Support website at support.dell.com/manuals. 1 On the first node, create six partitions on an external storage device with the fdisk utility.
Lnx_Stnwt.book Page 64 Jeudi, 16. juillet 2009 1:36 13 b Add the voting disk names to the permissions.ini file. The file is located in the /dell-oracle-deployment/scripts/ directory: [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= For example, if the voting disks are emcpowerb1, emcpowerb2, and emcpowerb3, then the permissions.
Lnx_Stnwt.book Page 65 Jeudi, 16. juillet 2009 1:36 13 Configuring Disks for ASM Using Block Devices 1 Log in as root. 2 On the first node, use fdisk to create a single whole-disk primary partition on the disk devices that you want to use for Database and Recovery Files 3 Append the disk devices for asm1 and asm2 to the permissions.ini file. This file is located in the /dell-oracle-deployment/scripts/ directory.
Lnx_Stnwt.book Page 66 Jeudi, 16. juillet 2009 1:36 13 3 Perform step 3 only if the RAC configuration uses an EqualLogic iSCSI storage and a Linux Device Mapper Multipath driver. Set the ORACLEASM_SCANORDER parameter in /etc/sysconfig/oracleasm as follows: ORACLEASM_SCANORDER="dm" Reboot the system for the change to take effect.
Lnx_Stnwt.book Page 67 Jeudi, 16. juillet 2009 1:36 13 3 For Enterprise Linux 4: Copy the /etc/sysconfig/rawdevices file from one of the existing nodes to the same location on the new node. NOTE: Verify that the LUNs are mapped consistently across all of your nodes.
Lnx_Stnwt.book Page 68 Jeudi, 16. juillet 2009 1:36 13 6 Ensure that the new node can access the ASM disks. In the terminal window, enter the following: service oracleasm scandisks 7 Ensure that the ASM disks are available on the new node. In the terminal window, enter the following: service oracleasm listdisks All available disks on the remaining nodes are listed.
Lnx_Stnwt.book Page 69 Jeudi, 16.
Lnx_Stnwt.book Page 70 Jeudi, 16.
Dell™ PowerEdge™ 系统：Enterprise Linux® x86_64 上的 Oracle® Database 存储设备和网络指南 版本 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
注、小心和警告 注： “注”表示可以帮助您更好地使用计算机的重要信息。 小心： “小心”表示如果不遵循说明，就有可能损坏硬件或导致数据丢失。 警告： “警告”表示可能会造成财产损失、人身伤害甚至死亡。 ____________________ 本说明文件中的信息如有更改，恕不另行通知。 © 2009 Dell Inc. 版权所有，翻印必究。 未经 Dell Inc. 书面许可，严禁以任何形式复制这些材料。 本文件中使用的商标：Dell、DELL 徽标、EqualLogic、PowerConnect、PowerEdge 和 PowerVault 是 Dell Inc. 的商标； Broadcom 是 Broadcom Corp 的商标； EMC、Navisphere 和 PowerPath 是 EMC Corporation 的注册商标； Intel 是 Intel 在美国及其它国家 / 地区的注册 商标； Oracle 是 Oracle Corporation 及 / 或其附属公司的注册商标。 本说明文件中述及的其它商标和产品名称是指拥有相应商标和产品名称的公司或其制造的产 品。Dell Inc.
目录 1 概览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 部署 Dell|Oracle Database 所需的说明文件 . . . . . 77 . . . . . . . . . . . . . . . 78 . . . . . . . . . . . . . . . . . . . . . . . . 78 本说明文件中使用的术语 获得帮助 . Dell 支持 . . . . . . . . . . . . . . . . . . . . . . Oracle 支持 . 2 配置网络 78 . . . . . . . . . . . . . . . . . . . . 79 . . . . . . . . . . . . . . . . . . . . . . . . . 81 配置公用网络 . . . . . . . . . . . . . . . . . . . . . . 利用绑定功能配置专用网络 . . . . . . . . . . . . . .
4 Dell™ PowerVault™ MD3000 和 MD1000 扩展盘柜的 SAS 群集设置 . . . . 93 . . . . . 95 . . . . . . . . . . . . . . . . . 95 设置带有 PowerVault MD3000 和 MD1000 扩 展盘柜的 SAS 群集 . . . . . . . . . . . . . . 任务 1：安装硬件 任务 2：安装基于主机的存储软件 任务 3：验证和升级固件 . . . . . . . . 97 . . . . . . . . . . . . 97 任务 4：安装 SAS 5/E 适配器驱动程序 任务 5：执行安装后任务 . 5 . . . . . 97 . . . . . . . . . . . . 98 Dell™ PowerVault™ MD3000i 和 MD1000 存储设备盘柜的 iSCSI 群集设置 . . . . . . . . . . . . . . . . . . . . . . . . .
7 在主机上配置数据库存储设备 . 验证和识别存储磁盘 . . . . . . . 121 . . . . . . . . . . . . . . . . . 调整运行 Linux 操作系统的系统的磁盘分区 . 示例：fdisk 公用程序参数 121 . . . . 123 . . . . . . . . . . . . 123 过程：使用 fdisk 公用程序调整磁盘分区 . 使用 ext3 文件系统配置数据库存储设备 （仅限单个节点）. . . . . . . . . . . . . . . . . 124 . . . . . . 125 在 RAC 环境中为群集件、数据库和恢复文件 配置共享存储设备 . . . . . . . . . . . . . . . . . . . 126 使用 OCFS2 为 Oracle 群集件、数据库和 恢复文件配置共享存储磁盘 . . . . . . . . . . . 127 使用原始设备为 Oracle 群集件配置共享存 储磁盘并使用 ASM 为数据库和恢复文件配 置共享存储磁盘 . . . . . . . . . . .
目录
概览 本说明文件适用于： • 在 Red Hat® Enterprise Linux® 或 Oracle Enterprise Linux® 4.7 AS x86_64 上运行的 Oracle® Database 10g R2。 • 在 Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.3 AS x86_64 上 运行的 Oracle Database 10g R2。 • 在 Red Hat Enterprise Linux 或 Oracle Enterprise Linux 5.
• 《Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Database Setup and Installation Guide》（Dell PowerEdge 系统： Enterprise Linux x86_64 上的 Oracle Database：数据库设置和安装指 南）— 介绍如何安装和配置 Oracle Database • 《Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Troubleshooting Guide》（Dell PowerEdge 系统：Enterprise Linux x86_64 上的 Oracle Database：故障排除指南）— 介绍如何向群集添加新节 点，以及如何在之前模块介绍的安装过程中进行故障排除并解决遇到 的错误。 注： 所有模块均提供有关如何从 Dell 获得技术帮助的信息。 本说明文件中使用的术语 本说明文件中，术语逻辑单元号码 (LUN) 和虚拟磁盘作为同义词使用。术 语 LUN 通
• 与 Dell 联络的有关信息包含在适用于您的系统的《Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Troubleshooting Guide》（Dell PowerEdge 系统：Enterprise Linux x86_64 上的 Oracle Database：故障排除指南）中，该指南可从 Dell 支持 Web 站点 support.dell.com/manuals 获取。 • 我们现在还提供 Dell 企业培训与认证服务，有关详情，请访 问 dell.com/training。此项培训服务并非在所有地区都提供。 Oracle 支持 • 有关 Oracle 软件和应用程序群集件的培训信息，以及有关与 Oracle 联 系的信息，请访问 Oracle 网站 www.oracle.com 或参阅 Oracle 说明文 件。 • 从 My Oracle Support Web 站点 metalink.oracle.
概览
配置网络 本节介绍配置公用和专用群集网络的步骤。 注： 每个节点都需要一个唯一的公用和专用网际协议 (IP) 地址。另外，还需 要一个用作客户端连接和连接故障转移的虚拟 IP 地址的公用 IP 地址。虚拟 IP 地址必须与公用 IP 属于同一个子网。所有公用 IP 地址（包括虚拟 IP 地 址）都必须向域命名服务 (DNS) 注册并且必须可路由。 如表 2-1 中所示，根据可用 NIC 端口的数量配置接口。 表 2-1.
如果您尚未配置公用网络，请在每个节点上执行以下步骤： 1 作为 root 登录。 2 编辑网络设备文件 /etc/sysconfig/network-scripts/ifcfg-eth#， 其中 # 是网络设备的编号： DEVICE=eth0 ONBOOT=yes IPADDR=< 公用 IP 地址 > NETMASK=< 子网掩码 > BOOTPROTO=static HWADDR= SLAVE=no 3 编辑 /etc/sysconfig/network 文件，如果有必要，使用合格的公用节点名 称替换 localhost.localdomain。 例如，用于节点 1 的命令： hostname=node1.domain.
3 为了获得高可用性，请编辑 /etc/modprobe.conf 文件并设置链接监测选 项。 miimon 的默认值是 0。该默认值会禁用链接监测功能。第一次使用 时，将该值更改为 100 毫秒。可根据需要调整该值，以改善性能。例 如，键入： options bonding miimon=100 mode=6 max_bonds=2 4 在 /etc/sysconfig/network-scripts/ 目录中，创建或编辑 ifcfg-bond0 配置 文件。 例如，使用示例网络参数时，该文件会显示如下： DEVICE=bond0 IPADDR=192.168.0.1 NETMASK=255.255.255.0 NETWORK=192.168.0.0 BROADCAST=192.168.0.
6 在每个节点上，键入 ifconfig 以验证专用接口的运行是否正常。 节点的专用 IP 地址必须分配给专用接口 bond0。 7 每个节点上的所有专用 IP 地址设置完成后，请从一个节点对每个 IP 地 址执行 ping 命令，确保专用网络可以正常工作。 8 连接每个节点。通过键入以下命令验证专用网络和 ssh 是否正常运行： ssh < 专用 IP> 安装 Oracle® User Equivalence 配置 Secure Shell (ssh) 84 1 以用户 oracle 登录所有节点。 2 在系统中使用以下命令生成 RSA 密钥对： ssh-keygen -t rsa 3 按 键以接受密钥文件的默认位置（在这种情况下为 /home/oracle/.ssh/id_rsa）。 4 在两个段落提示符下分别都按一下 键以输入一个空密码短 语。 5 ssh-keygen 公用程序将结束该操作。系统将显示以下信息： Your identification has been saved in /home/oracle/.ssh/id.rsa.
7 通过使用 mv 命令，将公共密钥重命名为描述生成该密钥的系统的名 称。 mv id_rsa.pub < 节点名称 >.pub 创建并重命名所有系统的公共密钥后，接下来即可在不同的系统上交 换密钥。 8 使用 scp 命令，可以安全复制每个节点的 < 节点名称 >.pub 密钥。 以下示例为双节点情况： （节点 1：键入以下命令字符串）： scp/home/oracle/.ssh/< 节点 1>.pub< 节点 2 的 ip>: /home/oracle/.ssh （节点 2：键入以下命令字符串）： scp/home/oracle/.ssh/< 节点 2>.pub< 节点 1 的 ip>: /home/oracle/.ssh 现在，每个系统的 /home/oracle/.ssh 目录下均包含有另一个系统的公共 密钥。 9 通过使用 touch 命令，在每个节点的 /home/oracle.ssh 目录下创建名为 authorized_keys 的文件： touch authorized_keys 10 在每个系统上执行以下命令： cat < 节点 1_ 名称 >.
在 /etc/hosts 文件中添加主机条目 在每个节点上，通过键入以下命令修改 /etc/hosts 文件中的行： 127.0.0.1 localhost.
光纤信道群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 更多最佳实践的信息，请访问 Dell Regulatory Compliance（Dell 法规遵从） 网站 www.dell.
图 3-1. 光纤信道群集的硬件连接 客户端系统 千兆位以太网交换机 （专用网络） WAN/LAN Dell™ PowerEdge™ 系统 (Oracle Database) Dell/EMC 光纤信道交换机 (SAN) CAT 5e/6 （公用 NIC） CAT 5e/6 （铜质千兆位 NIC） 光缆 附加光缆 Dell/EMC 光纤信 道存储系统 表 3-1.
表 3-1.
光纤信道存储系统布线 根据您的需要，可在以下其中一个配置中对 Oracle 光纤信道群集存储系统 进行配置： • 直接连接的光纤信道（请参阅图 3-2） • 四个端口的 SAN 连接光纤信道（请参阅图 3-3） 以下各节将说明这些配置的布线要求。 直接连接的光纤信道配置 在直接连接的光纤信道配置中配置节点： 1 使用一根光缆从节点 1 上的 HBA 0 连接至 SP-A 的端口 0。 2 使用一根光缆从节点 1 上的 HBA 1 连接至 SP-B 的端口 0。 3 使用一根光缆从节点 2 上的 HBA 0 连接至 SP-A 的端口 1。 4 使用一根光缆从节点 2 上的 HBA 1 连接至 SP-B 的端口 1。 请参阅图 3-2 以了解 SAN 连接的光纤信道群集中的电缆连接。 图 3-2.
SAN 连接的光纤信道配置 在四个端口的 SAN 连接配置中配置节点： 1 使用一根光缆从 SP-A 端口 0 连接至光纤信道交换机 0。 2 使用一根光缆从 SP-A 端口 1 连接至光纤信道交换机 1。 3 使用一根光缆从 SP-A 端口 2 连接至光纤信道交换机 0。 4 使用一根光缆从 SP-A 端口 3 连接至光纤信道交换机 1。 5 使用一根光缆从 SP-B 端口 0 连接至光纤信道交换机 1。 6 使用一根光缆从 SP-B 端口 1 连接至光纤信道交换机 0。 7 使用一根光缆从 SP-B 端口 2 连接至光纤信道交换机 1。 8 使用一根光缆从 SP-B 端口 3 连接至光纤信道交换机 0。 9 使用一根光缆从节点 1 上的 HBA 0 连接至光纤信道交换机 0。 10 使用一根光缆从节点 1 上的 HBA 1 连接至光纤信道交换机 1。 11 使用一根光缆从节点 2 上的 HBA 0 连接至光纤信道交换机 0。 12 使用一根光缆从节点 2 上的 HBA 1 连接至光纤信道交换机 1。 光纤信道群集设置 91
请参阅图 3-3 以了解 SAN 连接的光纤信道群集中的电缆连接。 图 3-3.
Dell™ PowerVault™ MD3000 和 MD1000 扩展盘柜的 SAS 群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践的信息，请访问 Dell Regulatory Compliance（Dell 法规遵从） 网站 www.dell.
图 4-1. 串行连接的 SCSI (SAS) 群集和 Dell PowerVault MD3000 存储设备盘柜布线 专用网络 LAN/WAN PowerEdge 系统 PowerVault MD3000 存 储系统 两个 PowerVault MD1000 扩展盘柜 CAT 5e/6 （公用 NIC） CAT 5e/6 （铜质千兆位 NIC） 光缆 表 4-1.
表 4-1.
5 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备盘 柜输出端口连接至第一个 PowerVault MD1000 扩展盘柜的两个 In（输 入）端口。 6 （可选）。使用两根 SAS 电缆从两个 PowerVault MD1000 存储设备盘 柜输出端口连接至第二个 PowerVault MD1000 扩展盘柜的两个 In-0 端 口。 注： 有关配置 PowerVault MD1000 扩展盘柜的信息，请参阅 Dell 支持 Web 站 点 support.dell.com/manuals 上提供的 PowerVault MD3000 存储系统说明文件。 图 4-2.
任务 2：安装基于主机的存储软件 要安装 PowerVault MD3000 存储设备盘柜所需的基于主机的存储软件，请使 用随系统附带的 Dell PowerVault Resource 介质。要在主节点上安装 Modular Disk Storage Manager 软件并在其余节点上安装多路径 (MPIO) 软件，请按 照 PowerVault MD3000 存储设备盘柜说明文件中的步骤进行操作。 任务 3：验证和升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager (MDSM) 软件 搜索直接连接的主机系统存储设备。 2 验证以下存储设备组件的固件是否满足最低所需版本： • RAID 控制器固件 • PowerVault MD3000 存储系统固件 • PowerVault MD1000 扩展盘柜固件 注： 有关最低固件版本要求，请选择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序解决方案）Web 站点 dell.
任务 5：执行安装后任务 安装驱动程序和软件后，请执行《PowerVault MD3000 Installation Guide》 （PowerVault MD3000 安装指南） 中列出的安装后任务。创建如《Dell PowerEdge Systems Oracle Database on Enterprise Linux x86_64 Operating System and Hardware Installation Guide》（Dell PowerEdge 系统：Enterprise Linux x86_64 上的 Oracle Database：操作系统和硬件安装指南）和《Linux Guide》（Linux 指南）中所示的环境。可从 Dell 支持 Web 站点 support.dell.
Dell™ PowerVault™ MD3000i 和 MD1000 存储设备盘柜的 iSCSI 群 集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳实践的信息，请访问 Dell Regulatory Compliance（Dell 法规遵从） 网站 www.dell.com/regulatory_compliance。 本节提供有关如何配置 Dell PowerEdge™ 系统以及 PowerVault MD3000i 和 MD1000 存储设备盘柜，使其能在 Oracle® Real Application Cluster (RAC) 环境中正常运行的信息和步骤。 使用 Dell PowerVault MD3000i 支持值表（可从 Dell 支持 Web 站点 support.dell.com/manuals 获取）中的“支持的配置”部分，验证硬件连接 以及硬件和软件配置。 注： 如果将 PowerVault MD3000i 存储设备盘柜与 Oracle Enterprise Linux® 5 配合使用： 1.
表 5-1. iSCSI 硬件互连 群集组件 连接 PowerEdge 系统节点 • 使用一根 CAT 5e/6 电缆从公用 NIC 连接至局域网 (LAN) • 使用一根 CAT 5e/6 电缆从专用千兆位 NIC 连接至千兆位以 太网交换机（专用网络） • 使用一根 CAT 5e/6 电缆从冗余专用千兆位 NIC 连接至冗余 千兆位以太网交换机（专用网络） • 使用一根 CAT 5e/6 电缆从 iSCSI 千兆位 NIC 连接至千兆位 以太网交换机（iSCSI 网络） 注： 有关 PowerVault MD3000i 存储设备盘柜的其它信息， 请参阅 Dell 支持 Web 站点 support.dell.
设置 PowerVault MD3000i 和 MD1000 扩展盘柜 的 iSCSI 群集 任务 1：安装硬件 直接连接的 iSCSI 群集仅限于两个节点。 图 5-1.
4 使用一根 CAT 5e/6 电缆从节点 2 的另一个端口（iSCSI HBA 或 NIC） 连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-1 端口。 5 （可选）。使用两根 SAS 电缆从两个 PowerVault MD3000 存储设备盘 柜输出端口连接至第一个 PowerVault MD1000 扩展盘柜的两个 In（输 入）端口。 6 （可选）。使用两根 SAS 电缆从两个 PowerVault MD1000 存储设备盘 柜输出端口连接至第二个 MD1000 扩展盘柜的 In-0 端口。 注： 有关配置 PowerVault MD1000 扩展盘柜的信息，请参阅 Dell 支持 Web 站 点 support.dell.com/manuals 上提供的 PowerVault MD3000i 存储系统说明文 件。 交换式 iSCSI 群集可以支持最多八个节点。 图 5-2.
要在交换式配置（请参阅图 5-2）中配置节点，请完成以下步骤： 1 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 1 的端口。 2 使用一根 CAT 5e/6 电缆从节点 1 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 2 的端口。 3 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 1 的端口。 4 使用一根 CAT 5e/6 电缆从节点 2 的端口（iSCSI HBA 或 NIC）连接至 网络交换机 2 的端口。 5 使用一根 CAT 5e/6 电缆从交换机 1 的一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 0 的 In-0 端口。 6 使用一根 CAT 5e/6 电缆从交换机 1 的另一个端口连接至 PowerVault MD3000i 存储设备盘柜中 RAID 控制器 1 的 In-0 端口。 7 使用一根 CAT 5e/6 电缆从交换机 2 的一个端口连接至 PowerVault MD3000i 存储设
任务 2：安装存储设备所需的基于主机的软件 要安装用于 PowerVault MD3000i 存储系统的基于主机的必需存储软件，请 使用随 PowerVault MD3000i 存储系统附带的 Dell PowerVault Resource 介 质。按照 Dell 支持 Web 站点 support.dell.com/manuals 上提供的 PowerVault MD3000i 存储设备盘柜说明文件中的步骤进行操作，在主节点上安装 Modular Disk Storage Manager 软件并在其余节点上安装多路径 (MPIO) 软件。 任务 3：验证和升级固件 1 使用安装在主机系统中的 Modular Disk Storage Manager 软件搜索直接 连接的主机系统存储设备。 2 验证以下存储组件的固件是否满足最低所需版本。 • MD3000i 存储系统固件 • MD1000 扩展盘柜固件 注： 有关最低固件版本要求，请选择位于 Oracle Database and Applications Solutions（Oracle 数据库和应用程序解决方案）Web 站点 dell.
Dell™ EqualLogic™ PS 系列存储 系统的 iSCSI 群集设置 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。有关 其它最佳事件的信息，请访问 Dell Regulatory Compliance（Dell 法规遵从） 网站 www.dell.
图 6-1.
图 6-2. 带有三个 PS5000XV 阵列的示例 Oracle® RAC 配置 Dell™ Optiplex™ 台式机 公用网络 RAC 专用互连 iSCSI SAN LAN/WAN PowerConnect 千兆位以太网交换机 链路聚合组 PowerConnect 6200 系列千兆位 以太网交换机 高带宽交换机之间的 链路 Dell EqualLogic PS 系 列以太网交换机 存储设备成员 oraclemember01 存储设备成员 oraclemember02 OCR 和 CSS 投票磁盘 卷 存储设备成员 oracle-member03 快擦写恢复区域卷 数据卷 RAID-10 存储池 RAID-5 存储池 存储组：oracle-group 注： 有关如何初始化 EqualLogic 阵列的详情，请参阅 Dell 支持 Web 站点 support.dell.
一个 EqualLogic PS 系列存储组可以分离到多个层或池中。层叠存储可使管 理员更好地控制磁盘资源的分配方式。每次可将一个成员仅分配到一个池。 将成员分配到池以及在不同池间移动成员很容易，而且不会影响数据的可用 性。池可以根据不同标准（如磁盘类型或速度、RAID 级别和应用类型）加 以组织。 在图 6-2 中，池按照成员 RAID 级别进行组织： • 一个名称为 RAID-10 的池由 RAID 10 成员组成。 • 一个名称为 RAID-5 的池由 RAID 5 成员组成。 创建卷 能够存储数据之前，EqualLogic PS5000XV 存储阵列的物理磁盘必须配置为 可使用组件（称为卷）。卷代表存储池的一部分，具有具体大小、访问控制 和其它属性。卷可以跨越多个磁盘和组成员。它在网络上显示为 iSCSI 目标 设备。卷分配给池并可以在不同的池间轻松移动，而且不会影响数据的可用 性。此外，，池还将根据池中的存储设备硬件资源的总工作负载进行自动数 据分布和自动负载平衡。 表 6-1 是一个卷配置示例。 表 6-1.
在 Dell EqualLogic PS5000XV 阵列中创建卷，然后创建访问列表，以允许所 有主机 iSCSI 网络接口访问这些卷。例如，创建以下卷： • mdi-ocr-css-spfile • mdi-data1 • mdi-data2 • mdi-fra1 配置 iSCSI 网络 建议将用于 iSCSI 通信的主机网络接口配置为使用流控制和超长帧，以实现 最优性能。使用 ethtool 公用程序配置流控制。 使用以下命令检查接口上的流控制（RX/TX 暂停）：# ethtool -a < 接口 > 例如： # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on 此示例显示流控制已开启。如果流控制尚未开启，请使用以下命令开启： # ethtool -A < 接口 > rx on tx on 通过添加 MTU="" 参数，即可在 /etc/sysconfig/networkscripts/ifcfg-< 接口 > 脚本中配置巨型帧。 以下示例中，MTU 被设置为 9000。 #
$ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
5 为用于 iSCSI 通信的主机上的每个网络接口创建接口。 iscsiadm -m iface -I iface_name --op=new， 其中，iface_name 是指定给接口的名称。 iscsiadm -m iface -I iface_name --op=update -n iface.hwaddress -v hardware_address 其中，hardware_address 是在步骤 4 中获取的接口硬件地址。 例如，以下命令为 eth0 接口创建了一个名为 eth0-iface 的接口，该接 口的硬件地址为 00:18:8B:4E:E6:CC： # iscsiadm -m iface -I eth0-iface --op=new 此时将添加新接口 eth0-iface。 # iscsiadm -m iface -I eth0-iface --op=update -n iface.
例如，以下命令从具有两个接口（名为 eth0-iface 和 eth1-iface）的主 机中搜索到在组 IP 地址 10.16.7.100 上有四个卷。 # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-93ee59d02-674f999767d4942e-mdi-data1 10.16.7.100:3260,1 iqn.2001-05.com.
Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090695ce59d02-2e0f999767f4942e-mdi-data2 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090697be59d02-d7ef99976814942e-mdi-fra1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface iSNS: No targets found. STATIC: No targets found.
Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth0-iface, target: iqn.200105.com.
Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260] Login to [iface: eth1-iface, target: iqn.200105.com.
配置有多个路径指向卷的设备映射程序 1 针对为 Oracle 创建的设备运行 /sbin/scsi_id 命令，以获得这些设备的 唯一设备标识符： /sbin/scsi_id -gus /block/< 设备 > 例如： # scsi_id -gus /block/sda 2 取消 /etc/multipath.conf 中以下部分的注释。 blacklist { wwid 26353900f02796769 devnode "^(ram|raw|loop|fd|md|dm|sr|scd|st)[0-9]*" devnode "^hd[a-z]" } 3 116 取消 /etc/multipath.
4 在 in /etc/multipath.
5 重新启动多路径守护程序，并验证是否在 multipath -l1 输出中显示别 名。 service multipathd restart multipath -ll 例如： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 验证是否已创建 /dev/mapper/* 设备。这些设备名称必须用于访问后续 各部分中的多路径设备以及与这些设备交互。 例如： # ls -lt /dev/mapper/* crw------- 1 root root 10, /dev/mapper/control brw-rw---- 1 root disk 253, /dev/mapper/data1 brw-rw---- 1 root disk 253, /dev/mapper/data2 brw-rw---- 1 root disk 253, /dev/mapper/fra1 brw-rw---- 1 root disk 253, /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, /dev/mapper/osvg-home brw-rw---- 1 root disk 253, /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, /dev/m
EqualLogic PS 系列存储系统的 iSCSI 群集设置
在主机上配置数据库存储设备 警告： 开始执行本节中的任何步骤之前，请阅读系统附带的安全信息。 有关其它最佳实践的信息，请访问 Dell Regulatory Compliance （Dell 法规遵 从）网站 www.dell.
表 7-1.
5 6 在 /proc/partitions 文件中，确保： • 对于所有节点，出现在该文件中的所有 PowerPath 虚拟设备使用类似的设 备名称。 例如：/dev/emcpowera、/dev/emcpowerb 和 /dev/emcpowerc。 • 如果是 PowerVault MD3000、MD3000i 或 EqualLogic 存储阵列，则对于所 有节点，在该文件中显示的所有虚拟磁盘或卷都具有类似的设备名称。 例如：/dev/sdb、/dev/sdc 和 /dev/sdd • 外部存储设备的逻辑卷显示为 SCSI 设备，并且每个节点配置相同数目的 LUN、虚拟磁盘或卷。 例如，如果对节点进行配置，使 SCSI 驱动器或 RAID 容器连接至具有三 个逻辑磁盘的光纤信道存储设备，则 sda 可以识别节点的 RAID 容器或内 部驱动器，而 emcpowera、emcpowerb 和 emcpowerc 可以识别 LUN（或 PowerPath 虚拟设备）。 如果对节点进行配置，使 SCSI 驱动器或 RAID 容器连接至具有三个虚拟磁 盘的直接连接 SAS 或 iSCSI 存储设备
fdisk /dev/emcpowera 注： 执行以下步骤之前，请在 /dev/emcpowera 上创建一个分区。 x # expert mode（专家模式） b # adjust starting block number（调整起始数据块编号） 1 # choose partition 1（选择分区 1） 128 # set it to 128（将其设置为 128），（这是 Dell/EMC CX 系列 光纤信道存储设备上的默认条带元素大小） w # write the new partition（写入新分区） 对于将进行快照、克隆或 MirrorView 映像的 LUN，fdisk 方法比 LUN 对齐 偏移方法更好。SAN Copy 的源和目标也首选使用此方法。 过程：使用 fdisk 公用程序调整磁盘分区 可通过以下步骤使用 fdisk 公用程序调整磁盘分区。 1 124 在命令提示符下，键入以下命令： fdisk < 分区名称 >，其中 < 分区名称 > 是您要调整的分区的名 称。 例如，如果分区名称为 /dev/emcpowera，键入： fdisk /dev/emcpowera 系统会
2 在命令提示符下，键入以下 fdisk 公用程序参数：x 3 在命令提示符下，键入以下 fdisk 公用程序参数：b 4 当提示输入分区编号时，在命令提示符下键入分区编号： 例如：1 5 指定磁盘分区上的新位置用于数据的起始。例如：128 6 在命令提示符下，键入以下 fdisk 公用程序参数：w 系统会显示以下信息： The partition table has been altered!（分区表已变 更！） Calling ioctl() to re-read partition table.（调用 ioctl() 以重新读取分区表。） Syncing disks.
6 通过添加如下条目编辑新建文件系统的 /etc/fstab 文件： /dev/emcpowera1 /oradata ext3 defaults 1 2， 其中 类似于 /u01/app/oracle 7 键入： chown -R oracle.
使用 OCFS2 为 Oracle 群集件、数据库和恢复文件配置共 享存储磁盘 在第一个节点上： 1 作为 root 登录。 2 请按照以下步骤执行： a 通过键入以下命令启动 X Window 系统：startx b 生成使用 ocfs2 默认群集名称的 OCFS2 配置文件 /etc/ocfs2/cluster.
4 5 更改所有节点上的 O2CB_HEARTBEAT_THRESHOLD 值： a 通过键入以下命令，在所有节点上停止 O2CB 服务： /etc/init.d/o2cb stop b 将所有节点上的 /etc/sysconfig/o2cb 中 O2CB_HEARTBEAT_THRESHOLD 的值编辑为 81。 c 通过键入以下命令，启动所有节点上的 O2CB 服务： /etc/init.
7 在每个节点上，执行以下步骤： a 为每个 OCFS2 分区创建安装点。要执行此过程，请键入以下命令 创建目标分区目录并设置所有权： mkdir -p /u02 /u03 /u04 chown -R oracle.
使用原始设备为 Oracle 群集件配置共享存储磁盘 1 在第一个节点上，使用 fdisk 公用程序在外部存储设备上创建六个分 区： 键入：fdisk /dev/emcpowerX，然后创建六个 300 MB 的分区， 分别用于 Oracle 群集库 (OCR)、投票磁盘以及 Oracle 系统参数文件。 2 通过键入以下命令验证新分区：more /proc/partitions 如果 /proc/partitions 文件中没有显示新分区，请在所有节点上键入以 下命令：sfdisk -R /dev/< 设备名称 > 3 在光纤信道群集中的所有节点上，编辑 /etc/sysconfig/rawdevices 文件并添加以下行： /dev/raw/votingdisk1 /dev/emcpowera1 /dev/raw/votingdisk2 /dev/emcpowera2 /dev/raw/votingdisk3 /dev/emcpowera3 /dev/raw/ocr1.dbf /dev/emcpowera4 /dev/raw/ocr2.
使用 ASM 为 Oracle 数据库和恢复文件配置共享存储磁盘 可以使用原始设备或 ORACLEASM 库驱动程序配置自动存储管理 (ASM) 磁盘。 使用原始设备配置 ASM 磁盘 1 作为 root 登录。 2 在第一个节点上，使用 fdisk 在要用于数据库和恢复文件的磁盘设备上 创建一个包含整个磁盘的主分区。 3 编辑 etc/sysconfig/rawdevices 文件并添加附加的条目： /dev/raw/ASM1 /dev/emcpowerb1 /dev/raw/ASM2 /dev/emcpowerc1 其中，/dev/emcpowerb1 和 /dev/emcpowerc1 分别代表数据库和恢复磁 盘设备分区。 4 通过键入以下命令，重新启动原始设备服务：service rawdevices restart 使用 ORACLEASM 库驱动程序配置 ASM 磁盘 执行以下步骤以配置 ASM 磁盘： 1 作为 root 登录。 2 打开终端窗口，并在所有节点上执行以下步骤： a 键入：service oracleasm configure b 为所有节点键入以
3 4 仅当 RAC 配置使用 EqualLogic iSCSI 存储设备和 Linux Device Mapper Multipath 驱动程序时，才执行此步骤。 a 按如下方法在 /etc/sysconfig/oracleasm 中设置 ORACLEASM_SCANORDER 参数： ORACLEASM_SCANORDER="dm" b 重新启动系统以使更改生效。 在终端窗口中的第一个节点上，键入以下命令并按 键： service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm createdisk ASM2 /dev/emcpowerc1 5 对所有需要创建的附加 ASM 磁盘，重复步骤 4。 6 验证是否已创建和标记针对 ASM 用途的 ASM 磁盘。在终端窗口中， 键入以下命令并按 键：service oracleasm listdisks 此时将显示在步骤 5 中创建的磁盘。例如： ASM1 ASM2 7 确保其余节点可以访问您在步骤 5 中创建的 ASM 磁盘。在其余每
使用块设备为 Oracle 群集件配置共享存储磁盘 注： 本节假定您已经执行了《操作系统和硬件安装指南》的“为 Oracle Database 安装配置操作系统”一节中列出的步骤，该指南可从 Dell 支持 Web 站点 support.dell.com/manuals 获取。 1 在第一个节点上，使用 fdisk 公用程序在外部存储设备上创建六个分 区。键入：fdisk /dev/emcpowerX, 然后创建六个 300 MB 的分区，分别用 OCR、投票磁盘以及 Oracle 系统参数文件。 2 通过键入以下命令验证新分区：more /proc/partitions 如果 /proc/partitions 文件中没有显示新分区，请在所有节点 上，键入以下命令：sfdisk -R /dev/< 设备名称 > 3 在光纤信道群集中的所有节点上，按照以下步骤进行操作： a 将主 OCR 和镜像 OCR 的分区名称添加到 permissions.
b 将投票磁盘的名称添加到 permissions.ini 文件。该文件位于 /delloracle-deployment/scripts/ 目录中： [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= 例如，如果投票磁盘为 emcpowerb1、emcpowerb2 和 emcpowerb3，则 permissions.ini 修改为如下形式： [vote] vote1=/dev/emcpowerb1 vote2=/dev/emcpowerb2 vote3=/dev/emcpowerb3 注： 仅修改以下五个变量：primary_ocr、mirror_ocr、vote1、 vote2 和 vote3。 4 设置 permissions.ini 文件后，运行 permissions.py 脚本，该脚本位于 /dell-oracle-deployment/scripts/ 文件夹下： ./permissions.py 5 134 运行以下命令以设置正确的块设备权限：/etc/rc.
使用 ASM 为 Oracle 数据库和恢复文件配置共享存储磁盘 注： 本节假定您已经执行了《操作系统和硬件安装指南》的“为 Oracle Database 安装配置操作系统”一节中列出的步骤，该指南可从 Dell 支持 Web 站点 support.dell.com/manuals 获取。 可以使用块设备或 ORACLEASM 库驱动程序配置 ASM 磁盘。 使用块设备配置 ASM 磁盘 1 作为 root 登录。 2 在第一个节点上，使用 fdisk 在要用于数据库和恢复文件的磁盘设备上 创建单一全磁盘主分区。 3 将 asm1 和 asm2 的磁盘设备附加到 permissions.ini 文件中。此文件位 于 /dell-oracle-deployment/scripts/ 目录中。 请确保自紧接第 133 页上的“使用块设备为 Oracle 群集件配置共享存 储磁盘”一节后的步骤中，保留此文件中的群集件配置。 例如，如果 ASM1 和 ASM2 磁盘设备是分别用于数据库和恢复文件的 /dev/emcpowerc1 和 /dev/emcpowerd1，则 permissions.
使用 ORACLEASM 库驱动程序配置 ASM 磁盘 136 1 作为 root 登录。 2 打开终端窗口，并在所有节点上执行以下步骤： a 键入：service oracleasm configure b 为所有节点键入以下输入： 拥有驱动程序接口的默认用户 [ ]: oracle 拥有驱动程序接口的默认组 [ ]: dba 引导时启动 Oracle ASM 库驱动程序 (y/n) [n]: y 引导时修复 Oracle ASM 磁盘的权限 (y/n) [y]: y 3 仅当 RAC 配置使用 EqualLogic iSCSI 存储设备和 Linux 设备映射程序 多路径驱动程序时，才执行步骤 3。按如下方式设置 /etc/sysconfig/oracleasm 中的 ORACLEASM_SCANORDER 参数： ORACLEASM_SCANORDER="dm" 重新引导系统以使更改生效。 4 在终端窗口中的第一个节点上，键入以下命令并按 键： service oracleasm createdisk ASM1 /dev/emcpowerb1 service or
使用 ASM 在新节点上配置共享的存储设备 1 作为 root 登录。 2 打开终端窗口，然后作为 root 登录。 3 对于 Enterprise Linux 4： 从其中一个现有节点将 /etc/sysconfig/rawdevices 文件复制到新节点上 的相同位置。 注： 验证 LUN 是否在所有节点中映射一致。 对于 Enterprise Linux 5： 有关说明，请参阅《Dell PowerEdge Systems Oracle Database 10gR2 on Redhat Enterprise Linux or Oracle Enterprise Linux Advanced Server Storage and Network Guide version 1.0》（Dell PowerEdge 系统：Redhat Enterprise Linux 或 Oracle Enterprise Linux Advanced Server 上的 Oracle Database 10gR2：存储设备和网络指南（版本 1.
6 确保新节点可以访问 ASM 磁盘。 在终端窗口中，输入以下命令： service oracleasm scandisks 7 确保 ASM 磁盘在新节点上可用。 在终端窗口中，输入以下命令： service oracleasm listdisks 此时列出其余节点上所有的可用磁盘。 例如： ASM1 ASM2 在主机上配置数据库存储设备
索引 B E 绑定对 ,81 EMC Navisphere,122 PowerPath,122 帮助 Dell 支持 ,78 Oracle 支持 ,79 Enterprise Linux,78 别名 ,117 布线 光纤信道存储设备 ,90 iSCSI 群集 ,101 SAS 存储设备 ,95 C 超长帧 ,109 D Dell/EMC 光纤信道 ,89 交换机 ,89 电缆 CAT 5e,88 CAT 6,88 多路径驱动器 ,99 G 高可用性 ,83 公共密钥 ,85 光纤信道 SAN 连接配置 ,91 直接连接配置 ,90 J ifconfig,82 IP 地址 公用 IP 地址 ,81 虚拟 IP 地址 ,81 专用 IP 地址 ,81 镜像分区 ,133 卷 ,108 索引 139
L Q 链接监测 ,83 群集件 配置存储设备 ,127 LUN,89 逻辑单元编号 ,78 R RSA 密钥对 ,84 M Modular Disk Storage Manager,97 MPIO 软件 ,97 MTU,109 S N NIC 端口分配 ,81 O OCFS2,127 P PowerConnect 交换机 ,105 PowerPath 虚拟设备 ,122 140 认证与培训 Dell,79 Oracle,79 索引 SAS 群集设置 ,93 , 99 , 105 , 121 释义提示 ,84 T 投票磁盘 ,133
W Z 网络绑定 ,82 术语 成员 ,105 池 ,105 卷 ,105 组 ,105 网络参数 ,83 X 虚拟磁盘 ,78 资源介质 PowerVault MD3000,97 Y 以太网交换机 ,89 域命名服务 ,81 索引 141
索引
Oracle® Database sous Enterprise Linux® x86_64 pour systèmes Dell™ PowerEdge™ Guide de stockage et de mise en réseau Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Remarques, précautions et avertissements REMARQUE : Une REMARQUE indique des informations importantes qui peuvent vous aider à mieux utiliser votre ordinateur. PRÉCAUTION : Une PRÉCAUTION indique un risque de dommage matériel ou de perte de données en cas de non-respect des instructions. AVERTISSEMENT : Un AVERTISSEMENT vous avertit d'un risque d'endommagement du matériel, de blessure corporelle ou de mort.
Table des matières 1 Présentation . . . . . . . . . . . . . . . . . . . . . Documentation requise pour déployer Dell|Oracle Database . . . . . . . . . . . . . . . . . . Terminologie utilisée dans le présent document . 149 . . . 150 Obtention d'aide . . . . . . . . . . . . . . . . . . . . . 150 Support Dell . . . . . . . . . . . . . . . . . . . . . 150 . . . . . . . . . . . . . . . . . . . 151 Oracle Support 2 149 Configuration du réseau Configuration du réseau public . . . . . . . . .
3 Configuration d'un cluster Fibre Channel . . . . . . . . . . . . . . . . . . . . Connexions matérielles pour un cluster Fibre Channel. . . . . . . . . . . . . . . . . . . . . . 159 . . . 162 . . . . 162 Câblage du système de stockage Fibre Channel Configuration Fibre Channel à connexion directe . . . . . . . . . . . . . . . . . . . 4 Configuration Fibre Channel avec connexion à un SAN . . . . . . . . . . . . . . . . . . . . .
5 Configuration du cluster iSCSI pour un système Dell ™ PowerVault™ MD3000i et des boîtiers de stockage MD1000 . . . . . . . . . . . . . . . . . . . . . . . Configuration d'un cluster iSCSI comprenant un système PowerVault MD3000i et des boîtiers d'extension MD1000 . . . . . . . . . . . . . . . Tâche 1 : Configuration du matériel . . . . 175 175 . . . . . 178 . . . . . . 178 . . . . . . . . . . . . 179 Tâche 3 : Vérification et mise à niveau du micrologiciel . . . . . . . . . . . . .
7 Configuration du stockage de la base de données sur l'hôte . . . . . . . . Vérification et identification des disques de stockage . . . . . . . . . . . . . . . . . . . . . . 199 199 Définition des partitions de disque pour les systèmes exécutant Linux . . . . . . . . . . . . . . . 202 Exemple : arguments de l'utilitaire fdisk . . . . . 202 Procédure : Utilisation de fdisk pour le paramétrage d'une partition de disque . . . . . .
Présentation Ce document s'applique aux configurations suivantes : • Oracle Database® 10g R2 exécuté sous Red Hat® Enterprise Linux® ou Oracle Enterprise Linux® 4.7 AS x86_64. • Oracle Database 10g R2 exécuté sous Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.3 AS x86_64. • Oracle Database 11g R1 exécuté sous Red Hat Enterprise Linux ou Oracle Enterprise Linux 5.3 AS x86_64.
• Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide d'installation et de configuration : indique comment installer et configurer Oracle Database. • Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide de dépannage : explique comment ajouter un nouveau nœud au cluster et résoudre les erreurs rencontrées lors des procédures d'installation présentées dans les modules précédents.
• Pour plus d'informations sur les coordonnées de Dell, voir le document Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide de dépannage disponible sur le site web du support technique de Dell, support.dell.com/manuals. • Des formations et certifications Dell Enterprise sont disponibles. Pour plus d'informations, voir le site Web dell.com/training. Ce service n'est disponible que dans certains pays.
Présentation
Configuration du réseau Cette section explique comment configurer les réseaux public et privé du cluster. REMARQUE : Chaque nœud doit posséder une adresse IP publique et privée unique. Une adresse IP publique supplémentaire doit être utilisée comme adresse IP virtuelle pour les connexions des clients et le basculement en cas de panne. L'adresse IP virtuelle doit appartenir au même sous-réseau que l'adresse IP publique.
Si le réseau public n'est pas déjà configuré, exécutez la procédure suivante sur chaque nœud : 1 Ouvrez une session en tant que root. 2 Modifiez le fichier /etc/sysconfig/network-scripts/ifcfg-eth# du périphérique réseau,où # correspond au numéro de ce dernier : DEVICE=eth0 ONBOOT=yes IPADDR= NETMASK= BOOTPROTO=static HWADDR= SLAVE=no 3 Modifiez le fichier /etc/sysconfig/network. Le cas échéant, remplacez localhost.
Configuration du réseau privé à l'aide de liens (bonding) Avant de déployer le cluster, vous devez configurer le réseau privé de manière à permettre aux nœuds de communiquer entre eux. Pour ce faire, il est nécessaire de configurer des liens réseau et d'attribuer une adresse IP privée et un nom d'hôte à chaque nœud du cluster.
5 Pour chaque périphérique membre d'un lien, effectuez les opérations suivantes : a Dans le répertoire /etc/sysconfig/network-scripts/, modifiez le fichier ifcfg-ethn : DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Tapez service network restart et ne tenez pas compte des avertissements. 6 Sur chaque nœud, tapez ifconfig pour vérifier le bon fonctionnement de l'interface privée.
4 À l'apparition des deux invites de mot de passe, appuyez sur afin de laisser le champ vide. 5 L'utilitaire ssh-keygen termine l'opération. Le message suivant s'affiche : Votre identifiant est enregistré sous /home/oracle/.ssh/id.rsa. Votre clé publique est enregistrée sous /home/oracle/.ssh/id_rsa.pub. L'empreinte de la clé est : xx:xx:xx:xx:xx:xx:xx:xx oracle@ 6 Accédez à cd /home/oracle/.ssh, puis utilisez la commande ls -al pour vérifier que les fichiers id_rsa et id_rsa.
11 Une fois l'étape 10 exécutée sur tous les nœuds, vous pouvez lancer la commande ssh à partir de chaque nœud sans avoir à fournir un mot de passe. Création du fichier /etc/hosts.equiv Sur chaque nœud, créez ou modifiez le fichier /etc/hosts.equiv en y répertoriant l'ensemble de vos adresses IP ou noms d'hôte publics.
Configuration d'un cluster Fibre Channel AVERTISSEMENT : Avant d'exécuter les opérations décrites dans cette section, lisez les consignes de sécurité fournies avec votre ordinateur. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 3-1. Connexions matérielles pour un cluster Fibre Channel Systèmes clients Commutateurs Ethernet Gigabit (réseau privé) LAN/WAN Systèmes Dell™ PowerEdge™ (Oracle Database) Commutateurs Fibre Channel Dell/EMC (SAN) CAT 5e/6 (carte du réseau public) CAT5e/6 (carte du réseau Gigabit cuivre) Câbles à fibre optique Câbles à fibre optique supplémentaires Systèmes de stockage Fibre Channel Dell/EMC Tableau 3-1.
Tableau 3-1.
Câblage du système de stockage Fibre Channel Selon vos besoins, vous pouvez configurer le système de stockage du cluster Fibre Channel de votre base de données Oracle de différentes façons : • Environnement Fibre Channel à connexion directe (voir la figure 3-2) • Environnement Fibre Channel relié à un SAN et comprenant quatre ports (voir la figure 3-3) Les sections suivantes décrivent le câblage requis pour ces configurations.
Pour les connexions d'un cluster Fibre Channel relié à un SAN, voir la figure 3-2. Figure 3-2.
7 Installez un câble à fibre optique entre le port 2 du processeur de stockage PS-B et le commutateur Fibre Channel 1. 8 Installez un câble à fibre optique entre le port 3 du processeur de stockage PS-B et le commutateur Fibre Channel 0. 9 Installez un câble à fibre optique entre l'adaptateur HBA 0 du nœud 1 et le commutateur Fibre Channel 0. 10 Installez un câble à fibre optique entre l'adaptateur HBA 1 du nœud 1 et le commutateur Fibre Channel 1.
Pour les connexions d'un cluster Fibre Channel relié à un SAN, voir la figure 3-3. Figure 3-3.
Configuration d'un cluster Fibre Channel
Configuration d'un cluster SAS pour un système Dell™ PowerVault™ MD3000 et des boîtiers d'extension MD1000 AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Figure 4-1. Câblage du cluster SAS (SCSI série) et du boîtier de stockage Dell PowerVault MD3000 Réseau privé LAN/WAN Systèmes PowerEdge Système de stockage PowerVault MD3000 Deux boîtiers d'extension PowerVault MD1000 Tableau 4-1.
Tableau 4-1.
5 (Facultatif). Connectez deux câbles SAS entre les deux ports de sortie du boîtier de stockage PowerVault MD3000 et les deux ports d'entrée («In») du premier boîtier d'extension PowerVault MD1000. 6 (Facultatif). Connectez deux câbles SAS entre les deux ports de sortie du boîtier de stockage PowerVault MD1000 et les ports In-0 du second boîtier d'extension PowerVault MD1000.
Tâche 2 : Installation des logiciels hôtes requis pour le stockage Pour installer les logiciels hôtes requis pour le stockage sur un boîtier PowerVault MD3000, utilisez le support Dell PowerVault Resource livré avec le système. Pour installer le logiciel Modular Disk Storage Manager sur le nœud principal et le logiciel multiacheminement (MPIO) sur les autres nœuds, suivez les procédures décrites dans la documentation du boîtier de stockage PowerVault MD3000.
Tâche 5 : Réalisation des tâches de post-installation Une fois les pilotes et les logiciels installés, exécutez les tâches de postinstallation décrites dans le document PowerVault MD3000 - Guide d'installation. Créez l'environnement décrit dans le document Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide d'installation du système d'exploitation et du matériel et dans le Guide Linux. Ces documents sont disponibles sur le site web du support technique de Dell, support.dell.
Configuration du cluster iSCSI pour un système Dell™ PowerVault™ MD3000i et des boîtiers de stockage MD1000 AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 5-1.
Configuration d'un cluster iSCSI comprenant un système PowerVault MD3000i et des boîtiers d'extension MD1000 Tâche 1 : Configuration du matériel Les clusters iSCSI à connexion directe sont limités à deux nœuds. Figure 5-1.
3 Installez un câble CAT 5e/6 entre un port (adaptateur HBA iSCSI ou carte réseau) du nœud 2 et le port In-1 du contrôleur RAID 0 du boîtier de stockage Dell PowerVault MD3000i. 4 Installez un câble CAT 5e/6 entre l'autre port (adaptateur HBA iSCSI ou carte réseau) du nœud 2 et le port In-1 du contrôleur RAID 1 du boîtier de stockage PowerVault MD3000i. 5 (Facultatif).
Figure 5-2.
7 Installez un câble CAT 5e/6 entre un port du commutateur 2 et le port In-1 du contrôleur RAID 0 du boîtier de stockage PowerVault MD3000i. 8 Installez un câble CAT 5e/6 entre l'autre port du commutateur 2 et le port In-1 du contrôleur RAID 1 du boîtier de stockage PowerVault MD3000i. 9 (Facultatif). Connectez deux câbles SAS entre les deux ports de sortie du boîtier de stockage PowerVault MD3000i et les deux ports d'entrée (“In”) du premier boîtier d'extension PowerVault MD1000. 10 (Facultatif).
REMARQUE : Pour afficher les versions minimales requises, cliquez sur le lien Dell Validated Components de la page Oracle Database and Applications Solutions du site web dell.com/oracle. Tâches de post-installation Une fois les pilotes et les logiciels installés, exécutez les tâches de postinstallation décrites dans le document PowerVault MD3000i - Guide d'installation, disponible sur le site web du support technique de Dell, support.dell.
Configuration du cluster iSCSI pour le boîtier PowerVault
Configuration du cluster iSCSI pour un système de stockage Dell™ EqualLogic™ série PS AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, consultez la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Configuration du système de stockage iSCSI Dell EqualLogic Les systèmes hôtes peuvent être connectés à la baie iSCSI EqualLogic PS5000XV via un réseau de stockage (SAN) IP et un commutateur Ethernet Gigabit standard. La figure 6-1 présente la configuration réseau recommandée pour une baie Dell EqualLogic PS5000XV à double module de contrôle. Cette configuration inclut deux commutateurs Ethernet Gigabit Dell PowerConnect™ série 6200, destinés à optimiser la disponibilité et la bande passante du réseau.
Figure 6-1.
Figure 6-2.
Un groupe de stockage Dell EqualLogic série PS peut être divisé en plusieurs niveaux ou pools. Le stockage à plusieurs niveaux offre aux administrateurs la possibilité de mieux contrôler l'allocation des ressources de disque. Un membre ne peut être attribué qu'à un seul pool à la fois. On peut facilement affecter un membre à un pool ou le déplacer d'un pool à un autre sans aucune incidence sur la disponibilité des données.
Le tableau 6-1 présente un exemple de configuration d'un volume. Tableau 6-1.
Configuration des réseaux iSCSI Il est recommandé de configurer les interfaces réseau hôtes pour le trafic iSCSI afin d'optimiser les performances à l'aide des paramètres Flow Control (Contrôle de flux) et Jumbo Frame (Trame Jumbo). Pour configurer le paramètre Flow Control (Contrôle de flux), utilisez l'utilitaire ethtool. Pour vérifier le paramètre Flow Control (RX/TX Pause) [Contrôle de flux (Pause RX/TX)] sur les interfaces, utilisez la commande suivante : # ethtool -a .
Pour vérifier la valeur du paramètre Jumbo Frame (Trame Jumbo), utilisez la commande ifconfig : $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.
3 Activez le lancement du service iSCSI au démarrage. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Procurez-vous l'adresse matérielle de chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, où n est le numéro de l'interface réseau. 5 Créez une interface pour chaque interface réseau de l'hôte utilisé pour le trafic iSCSI. iscsiadm -m iface -I nom_iface --op=new, où nom_iface est le nom affecté à l'interface.
8 Redémarrez le service iSCSI pour que la nouvelle configuration prenne effet. service iscsi stop service iscsi start 9 Détectez les cibles des interfaces créées à l'étape 5.
SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090695ce59d02-2e0f999767f4942e-mdi-data2 Portal: 10.16.7.
Dans l'exemple ci-dessous, l'utilisateur se connecte à trois volumes à partir de chacune des deux interfaces (eth0-iface et eth1-iface) d'un hôte. # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.
# iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.
13 Vérifiez que les partitions sont visibles dans le système d'exploitation : cat /proc/partitions 14 Répétez l'étape 1 à l'étape 13 pour tous les autres hôtes du cluster. Configuration de Device Mapper Multipath sur les volumes 1 Exécutez la commande /sbin/scsi_id sur les périphériques créés pour Oracle afin d'obtenir leur identifiant unique : /sbin/scsi_id -gus /block/ Par exemple : # scsi_id -gus /block/sda 2 Supprimez les commentaires de la section suivante du fichier /etc/multipath.conf.
4 Ajoutez la section ci-dessous au fichier /etc/multipath.conf. Le WWID est obtenu à partir de l'étape 1. Vérifiez que les alias concordent sur tous les hôtes du cluster. multipaths { multipath { wwid WWID_of_volume1 alias alias_of_volume1 } multipath { wwid WWID_of_volume2 alias alias_of_volume2 } (Ajoutez une sous-section multipath pour chaque volume supplémentaire.) } L'exemple ci-dessous inclut les configurations de quatre volumes.
5 Redémarrez le démon du multiacheminement, puis vérifiez que les alias s'affichent dans la sortie multipath -l1. service multipathd restart multipath -ll Par exemple, fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.0G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 96:0:0:0 sds 65:32 [active][ready] \_ 92:0:0:0 sdab 65:176 [active][ready] ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
6 Vérifiez que les périphériques /dev/mapper/* ont été créés. Vous devez utiliser leurs noms pour communiquer avec les périphériques multiacheminement dans les sections suivantes.
Configuration de clusters iSCSI pour les systèmes de stockage EqualLogic
Configuration du stockage de la base de données sur l'hôte AVERTISSEMENT : Avant de commencer toute procédure de cette section, lisez les informations de sécurité fournies avec votre système. Pour plus d'informations sur les meilleures pratiques en matière de sécurité, voir la page dédiée à la conformité et aux réglementations à l'adresse suivante : www.dell.com/regulatory_compliance.
Tableau 7-1.
5 Dans le fichier /proc/partitions, vérifiez que : • Tous les périphériques virtuels PowerPath apparaissent dans le fichier avec des noms similaires sur tous les nœuds. Exemple : /dev/emcpowera, /dev/emcpowerb et /dev/emcpowerc. • Pour PowerVault MD3000 ou MD3000i ou la baie de stockage EqualLogic, tous les disques ou volumes virtuels apparaissent dans le fichier avec des noms de périphérique similaires sur tous les nœuds.
Définition des partitions de disque pour les systèmes exécutant Linux PRÉCAUTION : Dans un système exécutant Linux, alignez la table de partition avant l'écriture de données sur le LUN ou le disque virtuel. La carte de partition est réécrite et toutes les données figurant sur le LUN ou le disque virtuel détruites. Exemple : arguments de l'utilitaire fdisk L'exemple suivant présente les arguments pouvant être utilisés avec fdisk.
Par exemple, si le nom de la partition est /dev/emcpowera, tapez : fdisk /dev/emcpowera Le système affiche le message suivant pour indiquer que le nombre de cylindres du disque risque de poser problème dans certaines configurations : The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g.
Configuration du stockage de la base de données à l'aide du système de fichiers ext3 pour un seul nœud Si vous disposez d'un périphérique de stockage supplémentaire, procédez comme suit : 1 Ouvrez une session en tant que root. 2 Entrez : cd /opt/oracle $> cd , où est similaire à /u01/app/oracle. 3 Tapez : mkdir oradata recovery À l'aide de fdisk, créez une partition pour le stockage des fichiers de la base de données.
7 Entrez : chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, où est similaire à /u01/app/oracle.
Configuration des disques de stockage partagé pour Oracle Clusterware, la base de données et les fichiers de récupération à l'aide d'OCFS2 Sur le premier nœud : 1 Ouvrez une session en tant que root. 2 Effectuez les opérations suivantes : a Démarrez le système X Window en entrant : startx b Générez le fichier de configuration OCFS2 /etc/ocfs2/cluster.conf avec le nom de cluster par défaut ocfs2.
3 Sur tous les nœuds, tapez la commande suivante pour activer la pile du cluster au démarrage : /etc/init.d/o2cb enable 4 Modifiez la valeur O2CB_HEARTBEAT_THRESHOLD sur tous les nœuds : a Arrêtez le service O2CB sur tous les nœuds en tapant : /etc/init.d/o2cb stop b Modifiez O2CB_HEARTBEAT_THRESHOLD (dans le fichier /etc/sysconfig/o2cb) en indiquant la valeur 81 sur tous les nœuds. c Démarrez le service O2CB sur tous les nœuds en tapant : /etc/init.
Fichiers de base de données mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Zone de récupération Flash mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 REMARQUE : Le terme «emplacements» désigne le nombre de nœuds d'un cluster. REMARQUE : Pour plus d'informations sur la définition des paramètres de format des clusters, voir les questions fréquentes concernant OCFS2 sur le site web oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html.
Configuration des disques de stockage partagé à l'aide de périphériques bruts pour Oracle Clusterware et à l'aide d'ASM pour la base de données et les fichiers de récupération REMARQUE : Dell prend en charge la configuration de disques Oracle Clusterware à l'aide des périphériques bruts et les disques de récupération à l'aide d'ASM uniquement avec les systèmes d'exploitation Red Hat® Enterprise Linux® 4 et Oracle Enterprise Linux® 4.
4 Vérifiez que les scripts /etc/udev/scripts/raw-dev.sh et /etc/udev/rules.d/60rawdevices.rules existent. Dans l'affirmative, passez à l'étape suivante du Guide d'installation. Dans le cas contraire, installez les scripts d'automatisation de déploiement Dell|Oracle en suivant les instructions du document Oracle Database sous Enterprise Linux x86_64 pour systèmes Dell PowerEdge - Guide d'installation du système d'exploitation et du matériel. 5 Tapez : chkconfig networkwait off.
Configuration de la fonction ASM sur les disques à l'aide du pilote de bibliothèque ORACLEASM Pour configurer la fonction ASM sur les disques, procédez comme suit : 1 Ouvrez une session en tant que root. 2 Ouvrez une fenêtre de terminal et effectuez les opérations suivantes sur tous les nœuds : a Tapez : service oracleasm configure.
7 Vérifiez que les autres nœuds peuvent accéder aux disques ASM créés à l'étape 5.
vote3= [asm] asm1= asm2= Par exemple, si les partitions des OCR principal et miroir sont /dev/emcpowera1 et /dev/emcpowera2, le fichier permissions.ini sera modifié comme suit : [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Ajoutez le nom des disques de vote dans le fichier permissions.ini.
Configuration des disques de stockage partagé pour la base de données Oracle et les fichiers de récupération à l'aide d'ASM REMARQUE : Avant d'exécuter les procédures décrites dans cette section, vous devez suivre celles de la section Configuration du système d'exploitation pour l'installation d'Oracle Database du Guide d'installation du système d'exploitation et du matériel, disponible sur le site web du support de Dell, support.dell.com/manuals.
4 Une fois le fichier permissions.ini défini, exécutez le script permissions.py contenu dans le dossier /dell-oracle-deployment/scripts/ : ./permissions.py 5 Exécutez la commande suivante pour définir les permissions appropriées pour les périphériques de bloc : /etc/rc.local Configuration de la fonction ASM sur les disques à l'aide du pilote de bibliothèque ORACLEASM 1 Ouvrez une session en tant que root.
7 Vérifiez que les autres nœuds peuvent accéder aux disques ASM créés à l'étape 5. Sur chaque nœud restant, ouvrez une fenêtre de terminal, tapez la commande suivante, puis appuyez sur : service oracleasm scandisks Configuration du stockage partagé sur un nouveau nœud à l'aide d'ASM 1 Ouvrez une session en tant que root. 2 Ouvrez une fenêtre de terminal, puis ouvrez une session en tant que root.
5 Exécutez l'étape 5 uniquement si la configuration RAC utilise un système de stockage iSCSI EqualLogic et le pilote Linux Device Mapper Multipath. Définissez le paramètre ORACLEASM_SCANORDER dans /etc/sysconfig/oracleasm comme suit : ORACLEASM_SCANORDER="dm" Redémarrez le système pour que la modification prenne effet. 6 Vérifiez que le nouveau nœud peut accéder aux disques ASM.
Configuration du stockage de la base de données sur l'hôte
Index A commutateur PowerConnect, 182 adresse IP adresse IP privée, 153 adresse IP publique, 153 adresse IP virtuelle, 153 D aide, 150 support Dell, 150 support Oracle, 151 disponibilité optimale, 155 disque de vote, 212 disque virtuel, 150 alias, 195 E C câblage cluster iSCSI, 175 stockage Fibre Channel, 162 stockage SAS, 169 câble CAT 5e, 160 CAT 6, 160 carte réseau affectation des ports, 153 certifications et formations Dell, 151 Oracle, 151 clé publique, 157 EMC Navisphere, 200 PowerPath, 200 En
I partitions miroir, 213 ifconfig, 154 périphérique PowerPath fictif, 200 invite de mot de passe, 157 S J Jumbo Frame, 187 SAS configuration d'un cluster, 167 , 173 , 181 , 199 service DNS (Domain Naming Service), 153 L lecteur multiacheminement, 173 liens réseau, 155 logiciel MPIO, 171 LUN, 161 support Resource PowerVault MD3000, 171 surveillance des liaisons, 155 LUN (numéro d'unité logique), 150 T M terme groupe, 181 membre, 181 pool, 181 volume, 181 Modular Disk Storage Manager, 171 MTU, 18
Oracle® Database auf Dell™ PowerEdge™-Systemen mit Enterprise Linux® x86_64 Speicher- und Netzwerkhandbuch Version 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Anmerkungen, Vorsichtshinweise und Warnungen ANMERKUNG: Eine ANMERKUNG macht auf wichtige Informationen aufmerksam, mit denen Sie das System besser einsetzen können. VORSICHTSHINWEIS: Durch VORSICHTSHINWEISE werden Sie auf potenzielle Gefahrenquellen hingewiesen, die Hardwareschäden oder Datenverlust zur Folge haben könnten, wenn die Anweisungen nicht befolgt werden.
Inhalt 1 Übersicht . . . . . . . . . . . . . . . . . . . . . . . . Benötigte Dokumentation zum Bereitstellen der Dell|Oracle-Datenbank . . . . . . . . . . . . . . . . . 227 . . . . 228 . . . . . . . . . . . . . . . . 228 . . . . . . . . . . . . . . . . . . . . 228 In diesem Dokument verwendete Terminologie Wie Sie Hilfe bekommen Dell Support . Oracle-Support . 2 227 . . . . . . . . . . . . . . . . . . Konfiguration des Netzwerks . . . . . . . . 231 . . . . . . . . .
3 4 Einrichten von Fibre-ChannelClustern . . . . . . . . . . . . . . . . . . . . . . . . . 239 Hardwareverbindungen für einen FibreChannel-Cluster . . . . . . . . . . . . . . . . . . . . 239 Verkabeln des Fibre-Channel-Speichersystems . . . 242 Direct-Attach-Fibre-Channel-Konfiguration . . . 242 SAN-Attach-Fibre-Channel-Konfiguration . . . . 243 SAS-Cluster-Einrichtung für Dell™ PowerVault™ MD3000 und MD1000-Erweiterungsgehäuse . . . . . . .
5 iSCSI-Cluster-Einrichtung für Dell™ PowerVault ™ MD3000i und Erweiterungsgehäuse PowerVault MD1000 . . . . . . . . . . . . . . . . . . . . . . . Einrichten eines iSCSI-Clusters für PowerVault MD3000i und MD1000-Erweiterungsgehäuse . . Aufgabe 1: Einrichten der Hardware . 257 . . . . . . . 257 . . . . . 260 . . . . . . . 260 . . . . . . . . 260 Aufgabe 3: Überprüfung und Upgrade der Firmware . . . . . . . . . . . . .
7 Konfigurieren des Datenbankspeichers auf dem Hostsystem . . . . . . . 279 Überprüfen und Identifizieren Ihrer Speicherlaufwerke 279 Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem . . . . . . . . . . Beispiel: Parameter des Dienstprogramms fdisk . . . . . . . . . . . . . . . . . . . . . . . . 282 Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk . . . . . . . . . .
Übersicht Dieses Dokument gilt für folgende Konfigurationen: • Oracle® Database 10g R2 auf Red Hat® Enterprise Linux® oder Oracle Enterprise Linux® 4.7 AS x86_64. • Oracle Database 10g R2 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.3 AS x86_64. • Oracle Database 11g R1 unter Red Hat Enterprise Linux oder Oracle Enterprise Linux 5.3 AS x86_64.
• Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Setup- und Installationshandbuch für die Datenbank – Beschreibt die Installation und Konfiguration der Oracle-Datenbank • Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 Fehlerbehebungshandbuch – Beschreibt das Hinzufügen eines neuen Knotens zum Cluster und das Erkennen und Beheben von Fehlern während der in den obenstehenden Modulen beschriebenen Installationsvorgänge ANMERKUNG: Alle Module enthalten Info
• Informationen zur Kontaktaufnahme mit Dell finden Sie in der mit Ihrem System ausgelieferten Dokumentation Oracle Database auf Dell PowerEdgeSystemen mit Enterprise Linux x86_64 – Fehlerbehebungshandbuch. Diese Dokumentation können Sie auf der Dell Support-Website unter support.dell.com/manuals herunterladen. • Unternehmensschulungen und Zertifizierungen sind verfügbar (Dell Enterprise Training and Certification). Nähere Informationen finden Sie unter dell.com/training.
Übersicht
Konfiguration des Netzwerks In diesem Abschnitt werden die erforderlichen Schritte zur Konfiguration des öffentlichen und privaten Clusternetzwerks beschrieben. ANMERKUNG: Für jeden Knoten wird eine eindeutige öffentliche und private IPAdresse benötigt. Zusätzlich wird eine weitere öffentliche IP-Adresse benötigt, die als virtuelle IP-Adresse für die Clientverbindungen und als Failover-Verbindung dient. Die virtuelle IP-Adresse muss dem gleichen Subnetz wie die öffentliche IPAdresse angehören.
Falls noch nicht erfolgt, konfigurieren Sie das öffentliche Netzwerk, indem Sie für jeden Knoten die folgenden Schritte durchführen: 1 Melden Sie sich als root beim System an.
Konfiguration des privaten Netzwerks mit Bündelung Bevor Sie den Cluster in Betrieb nehmen, müssen Sie das private Clusternetzwerk konfigurieren, damit die Knoten miteinander kommunizieren können. Dazu müssen Sie die Netzwerkbündelung (Bonding) konfigurieren und jedem Knoten im Cluster eine private IP und einen Hostnamen zuweisen.
wobei n für die Bündelungsnummer steht. IPADDR ist die private IPAdresse. Um bond0 als virtuelles Gerät zu benutzen, müssen Sie festlegen, welche Geräte als Slave eingebunden werden sollen.
Einrichten von Oracle® Benutzeräquivalenz Konfiguration von Secure Shell (SSH) 1 Melden Sie sich auf allen Knoten als Benutzer oracle an. 2 Generieren Sie auf Ihrem System ein RSA-Schlüsselpaar, indem Sie folgenden Befehl eingeben: ssh-keygen -t rsa 3 Drücken Sie die , um den Standard-Speicherort für die Schlüsseldatei zu übernehmen (in diesem Fall /home/oracle/.ssh/id_rsa). 4 Sie werden zweimal zur Eingabe einer Paraphrase aufgefordert.
(Knoten2: Geben Sie folgenden Befehl ein): scp/home/oracle/.ssh/.pub : /home/oracle/.ssh Jedes System hat nun den öffentlichen Schlüssel des anderen Systems im Verzeichnis /home/oracle/.ssh gespeichert. 9 Erstellen Sie auf jedem Knoten im Verzeichnis /home/oracle.ssh eine Datei namens authorized_keys. Verwenden Sie dazu den Befehl touch: touch authorized_keys 10 Führen Sie auf jedem System den folgenden Befehl aus: cat .pub >> authorized_keys cat .
Hinzufügen von Hosteinträgen zur Datei /etc/hosts Ändern Sie für jeden Knoten die Datei /etc/hosts durch Hinzufügen der unten angegebenen Zeilen: 127.0.0.1 localhost.
Konfiguration des Netzwerks
Einrichten von Fibre-ChannelClustern WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 3-1. Hardwareverbindungen für einen Fibre-Channel-Cluster Clientsysteme Gigabit-Ethernet-Switches (privates Netzwerk) WAN/LAN Dell™ PowerEdge™Systeme (Oracle Database) Dell/EMC Fibre-Channel-Switches (SAN) CAT 5e/6 (öffentlicher NIC) CAT 5e/6 (Kupfer-Gigabit-NIC) Glasfaserkabel Zusätzliche Glasfaserkabel Dell/EMC FibreChannelSpeichersysteme Tabelle 3-1.
Tabelle 3-1. Fibre-Channel-Hardwareverbindungen (Fortsetzung) Clusterkomponente Verbindungen Dell/EMC FibreChannelSpeichersystem • Zwei CAT 5e- oder CAT 6-Kabel zum LAN Dell/EMC FibreChannel-Switch • Ein bis vier Glasfaserverbindungen zum Dell/EMC FibreChannel-Speichersystem • Ein bis vier Glasfaserverbindungen zu jedem Fibre-ChannelSwitch.
Verkabeln des Fibre-Channel-Speichersystems Sie können Ihr Oracle-Database-Fibre-Channel-Clustersystem je nach Ihren Anforderungen wie folgt konfigurieren: • Direct-Attach-Fibre-Channel (siehe Abbildung 3-2) • SAN-Attach-Fibre-Channel-Konfiguration mit vier Ports (siehe Abbildung 3-3) In den folgenden Abschnitten werden die Verkabelungsanforderungen für diese Konfigurationen beschrieben.
Abbildung 3-2 zeigt die Kabelverbindungen in einem SAN-Attach-FibreChannel-Cluster. Abbildung 3-2. Verkabelung bei einem direkt verbundenen Fibre-Channel-Cluster Zwei HBA-Ports für Knoten 1 Zwei HBA-Ports für Knoten 2 0 1 0 1 SP-B 1 1 SP-A 0 0 Dell/EMC CX4-480 Fibre-Channel-Speicher SAN-Attach-Fibre-Channel-Konfiguration So konfigurieren Sie Ihre Knoten in einer SAN-Attach-Konfiguration mit vier Ports: 1 Verbinden Sie Port 0 von SP-A durch ein Glasfaserkabel mit FibreChannel-Switch 0.
7 Verbinden Sie Port 2 von SP-B durch ein Glaserfaserkabel mit FibreChannel-Switch 1. 8 Verbinden Sie Port 3 von SP-B durch ein Glaserfaserkabel mit FibreChannel-Switch 0. 9 Verbinden Sie HBA 0 von Knoten 1 durch ein Glaserfaserkabel mit FibreChannel-Switch 0. 10 Verbinden Sie HBA 1 von Knoten 1 durch ein Glaserfaserkabel mit FibreChannel-Switch 1. 11 Verbinden Sie HBA 0 von Knoten 2 durch ein Glaserfaserkabel mit FibreChannel-Switch 0.
Abbildung 3-3 zeigt die Kabelverbindungen in einem SAN-Attach-FibreChannel-Cluster. Abbildung 3-3.
Einrichten von Fibre-Channel-Clustern
SAS-Cluster-Einrichtung für Dell™ PowerVault™ MD3000 und MD1000Erweiterungsgehäuse WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Abbildung 4-1.
Tabelle 4-1.
Einrichten eines SAS-Clusters mit PowerVault MD3000 und MD1000-Erweiterungsgehäusen Aufgabe 1: Einrichten der Hardware SAS-Cluster lassen sich nur in einem Direct-Attach-Cluster installieren und sind auf zwei Knoten beschränkt. So konfigurieren Sie Ihre Knoten in einer Direct-Attach-Konfiguration: 1 Verbinden Sie einen Port des SAS-Controllers von Knoten 1 durch ein SAS-Kabel mit Port In-0 von RAID-Controller 0 im PowerVault MD3000Speichergehäuse.
Abbildung 4-2.
Aufgabe 2: Installieren der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichergehäuse PowerVault MD3000 zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem System geliefert wurde. Um die Modular Disk Storage Manager Software auf dem Master-Knoten und die MultipathTreiber (MPIO) Software auf den restlichen Knoten zu installieren, folgen Sie den Anleitungen in der Dokumentation zum Speichergehäuse PowerVault MD3000.
Aufgabe 5: Aufgaben nach der Installation Nachdem Sie Treiber und Software installiert haben, führen Sie die in der Installationsanleitung für den MD3000 genannten Aufgaben nach der Installation durch.Erstellen Sie die in der Dokumentation Oracle Database auf Dell PowerEdge-Systemen mit Enterprise Linux x86_64 – Installationshandbuch für Betriebssystem und Hardware und im Linux-Handbuch gezeigte Umgebung. Diese Dokumente sind auf der Dell Support-Website unter support.dell.com/manuals verfügbar.
Einrichtung eines SAS Clusters für das PowerVault Erweiterungsgehäuse
iSCSI-Cluster-Einrichtung für Dell™ PowerVault™ MD3000i und Erweiterungsgehäuse PowerVault MD1000 WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 5-1.
Einrichten eines iSCSI-Clusters für PowerVault MD3000i und MD1000-Erweiterungsgehäuse Aufgabe 1: Einrichten der Hardware Direkt verbundene iSCSI-Cluster sind auf zwei Knoten beschränkt. Abbildung 5-1.
3 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 0 im PowerVault MD3000i-Speichergehäuse. 4 Verbinden Sie den anderen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit Port In-1 von RAID-Controller 1 im PowerVault MD3000i-Speichergehäuse. 5 (Optional). Verbinden Sie die beiden Ausgänge des PowerVault MD3000Speichergehäuses durch zwei SAS-Kabel mit den beiden Eingängen des ersten PowerVault MD1000-Erweiterungsgehäuses.
Um die Knoten über Switches zu konfigurieren (siehe Abbildung 5-2), gehen Sie wie folgt vor: 1 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerk-Switch 1. 2 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 1 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerk-Switch 2. 3 Verbinden Sie einen Port (iSCSI-HBA oder NIC) von Knoten 2 durch ein CAT 5e/6-Kabel mit dem Port von Netzwerk-Switch 1.
Aufgabe 2: Installation der hostbasierten Speichersoftware Um die erforderliche hostbasierte Software für das Speichersystem PowerVault MD3000i zu installieren, verwenden Sie das Dell PowerVault Resource-Medium, das mit dem MD3000i-Speichersystem geliefert wurde. Um die Modular Disk Storage Manager Software auf dem Master-Knoten und die Multipath-Treiber (MPIO)-Software auf den restlichen Knoten zu installieren, folgen Sie den Anleitungen in der Dokumentation zum Speichergehäuse PowerVault MD3000i.
iSCSI-Cluster-Setup für Dell™ EqualLogic™ PS-Speichersystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
ANMERKUNG: Es wird empfohlen, zwei Gigabit-Ethernet-Switches zu verwenden. In einer Umgebung mit nur einem Ethernet-Switch verlieren bei einem Ausfall des Switches alle Hosts den Zugriff auf den Speicher, bis das Switchmodul ausgetauscht und die Konfiguration wiederhergestellt wird. Bei einer solchen Konfiguration müssen mehrere Ports mit Link-Aggregation vorhanden sein, um die Verbindung zwischen den Switches herzustellen (Trunk).
Abbildung 6-2.
Eine EqualLogic PS-Speichergruppe kann in mehrere Ebenen oder Pools unterteilt werden. Mit gestaffeltem Speicher haben Administratoren mehr Kontrolle über die Zuweisung von Datenträgerressourcen. Zu jedem Zeitpunkt kann ein Mitglied nur einem einzigen Pool zugewiesen werden. Ein Mitglied lässt sich einem Pool problemlos zuweisen und zwischen Pools verschieben, ohne dass dies die Datenverfügbarkeit beeinflusst.
Tabelle 6-1 zeigt eine Volume-Beispielkonfiguration. Tabelle 6-1.
Konfigurieren der iSCSI-Netzwerke Es wird empfohlen, die Host-Netzwerkschnittstellen für iSCSI-Datenverkehr mit Flusskontrolle und Jumbo-Frames zu konfigurieren, um die Leistung zu optimieren. Verwenden Sie das Dienstprogramm ethtool, um Flow Control (Flusskontrolle) zu konfigurieren.
Überprüfen Sie die Jumbo-Frame-Einstellung mit dem Befehl ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
3 Aktivieren Sie den iSCSI-Dienst für Autostart beim Hochfahren des Systems. hkconfig --add iscsi chkconfig iscsi on chkconfig --list iscsi 4 Sie benötigen die Hardwareadresse jeder Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n = die Netzwerkschnittstellennummer. 5 Erstellen Sie eine Schnittstelle für jede Netzwerkschnittstelle auf dem Host, die für iSCSI-Datenverkehr verwendet wird.
8 Starten Sie den iSCSI-Dienst neu, damit die neue Konfiguration wirksam wird. service iscsi stop service iscsi start 9 Führen Sie eine Erkennung der Ziele von allen ifaces (Schnittstellen) durch, die in Schritt 5 erstellt wurden. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, dabei gilt: group_ip_address = die IP-Adresse der EqualLogicSpeichergruppe, iface_name1, iface_name2, iface_name3, iface_name4 usw.
10 Vergewissern Sie sich, dass alle Volumes von allen ifaces (Schnittstellen) auf dem Hostsystem erkannt werden: iscsiadm -m discovery --print=1 Beispiel: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Melden Sie sich an allen Zielen (Volumes) von jeder in Schritt 5 erstellten Schnittstelle aus an: iscsiadm -m node -p group_ip_address --interface iface_name --login, dabei gilt: group_ip_address = die IP-Adresse der EqualLogicSpeichergruppe und iface_name = die Netzwerkschnittstelle (die in Schritt 5 auf dem für iSCSI-Datenverkehr verwendeten Hostsystem definiert wird). Im folgenden Beispiel erfolgt die Anmeldung an drei Volumes von jeder der zwei ifaces (eth0-iface und eth1-iface) auf einem Host.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.
3 Heben Sie die Kommentierung des folgenden Abschnitts in /etc/multipath .conf auf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Fügen Sie den nachstehenden Abschnitt in /etc/multipath .conf ein. Die WWID wird von Schritt 1 bezogen.
6797996fe2 alias } multipath { wwid ocr-css-spfile 36090a028d059ee932e94d4 6797994f67 alias } multipath { wwid data1 36090a028d059ce952e94f4 6797990f2e alias } multipath { wwid data2 36090a028d059be972e9414 689799efd7 alias fra1 } } 5 Starten Sie den Multipath-Daemon neu, und vergewissern Sie sich, dass die Aliasnamen in der multipath -l1-Ausgabe angezeigt werden. service multipathd restart multipath -ll Beispiel: fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
\_ 93:0:0:0 sdf 8:80 [active][ready] \_ round-robin 0 [prio=0][enabled] \_ 86:0:0:0 sdad 65:208 [active][ready] data2 (36090a028d059ce952e94f46797990f2e) dm-8 EQLOGIC,100E-00 [size=20G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 97:0:0:0 sdc 8:32 [active][ready] \_ 98:0:0:0 sdd 8:48 [active][ready] data1 (36090a028d059ee932e94d46797994f67) dm-18 EQLOGIC,100E-00 [size=20G][features=1 queue_if_no_path][hwhandler=0] \_ round-robin 0 [prio=0][enabled] \_ 95:0:0:0 sdq 65:0 [a
brw-rw---- 1 root disk /dev/mapper/osvg-opt brw-rw---- 1 root disk /dev/mapper/osvg-root brw-rw---- 1 root disk /dev/mapper/osvg-swap brw-rw---- 1 root disk /dev/mapper/osvg-tmp brw-rw---- 1 root disk /dev/mapper/osvg-usr brw-rw---- 1 root disk /dev/mapper/osvg-var 253, 4 Dec 15 11:22 253, 0 Dec 15 11:22 253, 7 Dec 15 11:22 253, 1 Dec 15 11:22 253, 2 Dec 15 11:22 253, 5 Dec 15 11:22 7 Wiederholen Sie Schritt 1 bis Schritt 7 auf allen anderen Hosts im Cluster.
iSCSI-Cluster-Setup für EqualLogic- Speichersysteme
Konfigurieren des Datenbankspeichers auf dem Hostsystem WARNUNG: Bevor Sie gemäß den in diesem Abschnitt beschriebenen Anleitungen verfahren, lesen Sie zunächst die Sicherheitshinweise in der entsprechenden Dokumentation im Lieferumfang Ihres Systems. Ergänzende Informationen zur bestmöglichen Einhaltung der Sicherheitsrichtlinien finden Sie auf der Dell Website zur Einhaltung gesetzlicher Vorschriften unter www.dell.com/regulatory_compliance.
Tabelle 7-1.
5 Stellen Sie in der Datei /proc/partitions Folgendes sicher: • Alle PowerPath-Pseudogeräte erscheinen in der Datei mit ähnlichen Gerätepfaden auf allen Knoten. Zum Beispiel /dev/emcpowera, dev/emcpowerb und /dev/emcpowerc. • Bei einem PowerVault MD3000- oder MD3000i-Speichersystem oder dem EqualLogic-Speicherarray erscheinen alle virtuellen Laufwerke bzw. Volumes in der Datei mit ähnlichen Gerätepfaden auf allen Knoten.
Anpassen von Datenträgerpartitionen bei Systemen mit Linux-Betriebssystem VORSICHTSHINWEIS: Bei Systemen, die mit Linux betrieben werden, muss die Partitionstabelle angeglichen werden, bevor Daten auf die LUN/das virtuelle Laufwerk geschrieben werden. Die Partitionszuordnung wird neu erstellt, und alle Daten auf der LUN /dem virtuellen Laufwerk werden zerstört. Beispiel: Parameter des Dienstprogramms fdisk Das folgende Beispiel verdeutlicht die Parameter für das Dienstprogramm fdisk.
Anleitung: Anpassen einer Datenträgerpartition mit dem Dienstprogramm fdisk Um eine Datenträgerpartition mit dem Dienstprogramm fdisk anzupassen, gehen Sie wie folgt vor: 1 Geben Sie an der Eingabeaufforderung Folgendes ein: fdisk , wobei der Name der Partition ist, die angepasst werden soll.
Konfiguration des Datenbankspeichers mit ext3Dateisystem für einen einzelnen Knoten Wenn Sie über ein zusätzliches Speichergerät verfügen, führen Sie folgende Schritte aus: 1 Melden Sie sich als root an. 2 Geben Sie Folgendes ein: cd /opt/oracle $> cd , wobei /u01/app/oracle entspricht. 3 Geben Sie Folgendes ein: mkdir oradata recovery Erstellen Sie mit dem Dienstprogramm fdisk eine Partition zum Speichern Ihrer Datenbankdateien.
7 Geben Sie Folgendes ein: chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, wobei /u01/app/oracle entspricht.
Konfigurieren von gemeinsamen Speicherlaufwerken für Oracle Clusterware, Datenbank und Wiederherstellungsdateien mit OCFS2 Auf dem ersten Knoten: 1 Melden Sie sich als root an. 2 Führen Sie folgende Schritte durch: a Starten Sie das X-Window-System, indem Sie Folgendes eingeben: startx b Generieren Sie die OCFS2-Konfigurationsdatei /etc/ocfs2/cluster.conf mit dem vorgegebenen Clusternamen ocfs2.
3 Aktivieren Sie auf allen Knoten den Cluster-Stack beim Systemstart, indem Sie eingeben: /etc/init.d/o2cb enable 4 Ändern Sie den Wert O2CB_HEARTBEAT_THRESHOLD auf allen Knoten: a Halten Sie den O2CB-Dienst auf allen Knoten an, indem Sie Folgendes eingeben: /etc/init.d/o2cb stop b Ändern Sie auf allen Knoten in /etc/sysconfig/o2cb den Wert O2CB_HEARTBEAT_THRESHOLD auf 81. c Starten Sie den O2CB-Dienst auf allen Knoten, indem Sie Folgendes eingeben: /etc/init.
Datenbankdateien mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Wiederherstellungsbereich mkfs.ocfs2 -b 4K-C128K-N4-Lu03/dev/emcpowerc1 ANMERKUNG: Die Knotensteckplätze verweisen auf die Anzahl der Clusterknoten. ANMERKUNG: Weitere Informationen über das Einstellen der Formatparameter bei Clustern erhalten Sie auf der Website mit häufig gestellten Fragen zu OCFS2 unter oss.oracle.com/projects/ocfs2/dist/documentation/ocfs2_faq.html.
Konfigurieren von gemeinsamen Speicherlaufwerken für Oracle Clusterware auf Raw Devices und für Datenbank und Wiederherstellungsdateien auf ASM ANMERKUNG: Dell unterstützt die Konfiguration von Oracle ClusterwareLaufwerken auf Raw Devices und Laufwerken für Datenbank und Wiederherstellungsdateien auf ASM nur unter den Betriebssystemen Red Hat® Enterprise Linux® 4 oder Oracle Enterprise Linux® 4.
4 Vergewissern Sie sich, dass die Skripts /etc/udev/scripts/raw-dev.sh und /etc/udev/rules.d/60-rawdevices.rules vorhanden sind. Wenn die Skripts vorhanden sind, fahren Sie mit dem nächsten Schritt im Installationshandbuch fort.
Konfiguration von Laufwerken für ASM mit dem ORACLEASM-Bibliothekstreiber Führen Sie die folgenden Schritte durch, um die ASM-Laufwerke zu konfigurieren: 1 Melden Sie sich als root beim System an.
7 Stellen Sie sicher, dass die übrigen Knoten auf die in Schritt 5 erstellten ASM-Laufwerke zugreifen können.
primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= Wenn Ihre OCR- und OCR-Spiegelpartitionen zum Beispiel /dev/emcpowera1 und /dev/emcpowera2 sind, wird die Datei permissions.ini folgendermaßen geändert: [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Fügen Sie die Voting-Datenträgernamen der Datei permissions.ini hinzu.
4 Nachdem Sie die Datei permissions.ini eingerichtet haben, führen Sie das Skript permissions.py aus. Es befindet sich im Verzeichnispfad /dell-oracle-deployment/scripts/ : ./permissions.py 5 Geben Sie den folgenden Befehl ein, um die korrekten Blockgerätberechtigungen festzulegen: /etc/rc.
asm2=/dev/emcpowerd1 Um einen weiteren ASM-Datenträger hinzuzufügen, zum Beispiel ASM3 mit dem Namen /dev/emcpowere1, fügen Sie der Sitzung einen weiteren Eintrag hinzu: asm3=/dev/emcpowere1 4 Nachdem Sie die Datei permissions.ini eingerichtet haben, führen Sie das Skript permissions.py aus. Es befindet sich im Verzeichnispfad /dell-oracle-deployment/scripts/ :./permissions.py 5 Geben Sie den folgenden Befehl ein, um die korrekten Blockgerätberechtigungen festzulegen: /etc/rc.
6 Überprüfen Sie, ob die ASM-Datenträger erstellt wurden und für ASMVerwendung gekennzeichnet sind. Geben Sie im Terminalfenster den folgenden Befehl ein, und drücken Sie die : service oracleasm listdisks Die in Schritt 5 erstellten Laufwerke werden angezeigt. Beispiel: ASM1 ASM2 7 Stellen Sie sicher, dass die übrigen Knoten auf die in Schritt 5 erstellten ASM-Laufwerke zugreifen können.
4 Öffnen Sie ein Terminalfenster und führen Sie auf dem neuen Knoten die folgenden Schritte durch: a Geben Sie ein: service oracleasm configure b Machen Sie auf allen Knoten die folgenden Eingaben: Default user to own the driver interface [ ]: oracle Default group to own the driver interface [ ]: dba Start Oracle ASM library driver on boot (y/n) [n]: y Fix permissions of Oracle ASM disks on boot (y/n) [y]: y 5 Führen Sie Schritt 5 nur dann aus, wenn die RAC-Konfiguration einen EqualLogic iSCSI-Speicher
Konfigurieren des Datenbank-speichers auf dem Hostsystem
Stichwortverzeichnis A Aliasnamen, 274 B Begriff Gruppe, 261 Mitglied, 261 Pool, 261 Volume, 261 C Clusterware Speicherkonfiguration für, 286 D Dell/EMC Fibre Channel, 241 Switch, 241 Speicher, 241 Domain Naming Service (DNS), 231 E EMC Navisphere, 280 PowerPath, 280 Enterprise Linux, 228 Ethernet-Switch, 241 F Fibre-Channel Direct-Attach-Konfiguration, 242 SAN-Attach-Konfiguration, 243 G Gebundenes Paar, 231 H Hilfe, 228 Dell Support, 228 Oracle-Support, 229 Hohe Verfügbarkeit, 233 I ifconfig, 232
J P Jumbo Frame, 266 Paraphrasen-Eingabeaufforderung, 235 PowerConnect-Switch, 261 PowerPath-Pseudogeräte, 280 K Kabel CAT 5e, 240 CAT 6, 240 L Logische Gerätenummer, 228 LUNs, 241 M Modular Disk Storage Manager, 252 MPIO-Software, 252 MTU, 266 Multipath-Treiber, 255 N Netzwerkbündelung, 233 Netzwerkparameter, 233 NIC Port-Zuordnungen, 231 R Resource-Medium PowerVault MD3000, 252 RSA-Schlüsselpaar, 235 S SAS Cluster-Einrichtung, 247 , 255 , 261 , 279 Spiegelpartitionen, 293 V Verbindungsüberwachun
Dell™ PowerEdge™ システム — Enterprise Linux® x86_64 で使用する Oracle® データベース ストレージ & ネットワークガイド バージョン 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
メモ、注意、警告 メモ：コンピュータを使いやすくするための重要な情報を説明しています。 注意：手順に従わない場合は、ハードウェアの損傷やデータの損失の可能 性があることを示しています。 警告： 物的損害、けが、または死亡の原因となる可能性があることを示 しています。 ____________________ 本書の内容は予告なく変更されることがあります。 © 2009 すべての著作権は Dell Inc. にあります。 Dell Inc. の書面による許可のない複製は、いかなる形態においても厳重に禁じられています。 本書に使用されている商標：Dell、DELL ロゴ、EqualLogic、PowerConnect、 PowerEdge および PowerVault は Dell Inc.
目次 1 概要 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 307 Dell|Oracle データベースの導入に必要なマニュアル . . . . . . 307 . . . . . . . . . . . . . . . . . . . . . 308 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 本書で使用されている用語 困ったときは デルサポート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 Oracle のサポート . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 309 2 ネットワークの設定 . . . . . . . . . . . . . . . . . . 311 パブリックネットワークの設定 . . .
4 Dell™ PowerVault™ MD3000/ MD1000 拡張エンクロージャ用の SAS クラス タのセットアップ . . . . . . . . . . . . . . . . . . . . . PowerVault MD3000/MD1000 拡張エンクロージャを使用 した SAS クラスタのセットアップ . . . . . . . . . . . . . . . . 323 325 タスク 1: ハードウェアのセットアップ . . . . . . . . . . . . . . . . . . 325 タスク 2: ホストベースのストレージソフトウェ アのインストール . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 327 タスク 3: ファームウェアの確認とアップグレード. . . . . . . . 327 タスク 4: SAS 5/E アダプタドライバのインストール . . . . . . . 327 タスク 5: インストール後の作業 . . . . . . . . . .
6 Dell™ EqualLogic™ PS シリーズのスト レージシステム用の iSCSI クラスタ のセットアップ . . . . . . . . . . . . . . . . . . . EqualLogic の用語 . . . . . 335 . . . . . . . . . . . . . . . . . . . . . . . . . . EqualLogic iSCSI ストレージシステムのセットアップ . . . . . . 335 335 ボリュームの作成 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 iSCSI ネットワークの設定 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 ホストからボリュームへのアクセスの設定 . . . . . . . . . . . . . . 341 7 ホストのデータベースストレージ （記憶域）の設定 . . . . . . . . . . . . . .
RAC 環境におけるクラスタウェア、データベース、およ びリカバリファイル用の共有ストレージの設定 . . . . . . . . 360 OCFS2 を使用して Oracle Clusterware、データベース、 およびリカバリファイル用の共有ストレージディ スクを設定する方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 360 Oracle Clusterware 用には raw デバイスを使用し、 データベースおよびリカバリファイル用には ASM を使用して、共有ストレージディスクを設定する方法 . . . . 363 Oracle Clusterware 用にはブロックデバイスを使用し、 データベースおよびリカバリファイル用には ASM を使用して、共有ストレージディスクを設定する方法 . . . . 367 ASM を使用して Oracle Database およびリカバリフ ァイル用の共有ストレージディスクを設定する方法 . . . . . .
概要 本書の説明は次の製品に適用されます。 • Red Hat® Enterprise Linux® または Oracle Enterprise Linux® 4.7 AS x86_64 で使用する Oracle® Database 10g R2 • Red Hat Enterprise Linux または Oracle Enterprise Linux 5.3 AS x86_64 で使用する Oracle Database 10g R2 • Red Hat Enterprise Linux または Oracle Enterprise Linux 5.
• 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — データベースセットアップ & インストール ガイド』では、Oracle データベースのインストールと設定の方法に ついて説明しています。 • 『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — トラブルシューティングガイド』では、クラ スタに新しいノードを追加する方法と、前の分冊で説明されている インストール手順中に発生するエラーの解決方法について説明して います。 メモ：各分冊のいずれにも、デルのテクニカルサポートを利用する方法 が記されています。 本書で使用されている用語 本書では、「論理ユニット番号」（LUN）と「仮想ディスク」は同義語と して使われています。 「LUN」は、Dell/EMC ファイバーチャネルスト レージシステムの環境で通常使われる用語です。「仮想ディスク」は、 Dell PowerVault™ シリアル接続 SCSI（SAS）（PowerVault MD30
• デルへのお問い合わせについては、お使いのシステムの『Dell PowerEdge システム — Enterprise Linux x86_64 で使用する Oracle データベース — トラブルシューティングガイド』を参照してくださ い。このガイドは、デルサポートサイト support.dell.com/manuals から入手できます。 • デルでは、企業向けのトレーニングと資格認証を実施しております。 詳細については、dell.com/training を参照してください。なお、 トレーニングサービスを提供していない地域がありますのでご了承 ください。 Oracle のサポート • Oracle ソフトウェアおよびアプリケーションクラスタウェアのト レーニング、および Oracle へのお問い合わせの方法については、 Oracle のウェブサイト oracle.com または Oracle のマニュアルを 参照してください。 • テクニカルサポート、ダウンロード、その他の技術情報については、 My Oracle Support ウェブサイト metalink.oracle.
概要
ネットワークの設定 本項ではパブリックおよびプライベートのクラスタネットワークの設定 手順について説明します。 メモ：各ノードには、固有のパブリックおよびプライベート IP アドレス を設定する必要があります。クライアント接続および接続のフェイルオー バーのために、仮想 IP アドレスとしての機能を果たす追加のパブリック IP アドレスが必要です。仮想 IP アドレスはパブリック IP と同じサブネッ トに属していなければなりません。仮想 IP アドレスを含むすべてのパブ リック IP アドレスは、ドメインネームシステム（DNS）に登録する必要が あり、ルータブルでなければなりません。 利用可能な NIC ポートの数に応じて、表 2-1 に示すとおりにインタ フェースを設定します。 表 2-1.
パブリックネットワークの設定をまだ行っていない場合は、次の手順を 各ノードで実行します。 1 root としてログインします。 2 ネットワークデバイスファイル /etc/sysconfig/networkscripts/ifcfg-eth# を編集します。# はネットワークデバイ スの番号です。 DEVICE=eth0 ONBOOT=yes IPADDR=< パブリック IP アドレス > NETMASK=< サブネットマスク > BOOTPROTO=static HWADDR= SLAVE=no 3 /etc/sysconfig/network ファイルを編集し、必要に応じて、 localhost.localdomain を修飾パブリックノード名に変えます。 たとえば、ノード 1 のコマンドは次のようになります。 hostname=node1.domain.
ボンディングを使用したプライベートネット ワークの設定 クラスタを導入する前に、プライベートクラスタネットワークを設定 し、ノード間で通信できるようにします。このためには、ネットワーク ボンディングを設定して、プライベート IP アドレスとホスト名をクラ スタ内の各ノードに割り当てます。 Broadcom® または Intel® の NIC でネットワークボンディングを行い、 プライベートネットワークを設定するには、各ノードで次の手順を実行 します。 1 root としてログインします。 2 /etc/modprobe.conf ファイルに、次の行を追加します。 alias bond0 bonding 3 可用性を高めるためには、/etc/modprobe.
5 ボンドの各メンバーデバイスについて、次の手順を実行します。 a /etc/sysconfig/network-scripts/ ディレクトリで、ifcfg-ethn ファイルを次のように編集します。 DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b service network restart と入力し、表示される警告はす べて無視します。 6 各ノードで ifconfig と入力して、プライベートインタフェースが 機能していることを確認します。 ノードのプライベート IP アドレスはプライベートインタフェース bond0 に割り当てる必要があります。 7 各ノードにプライベート IP アドレスをすべて設定したら、1 つの ノードから各 IP アドレスを ping して、プライベートネットワーク が機能していることを確認します。 8 各ノードに接続します。次のように入力して、プライベートネット ワークと ssh が正しく機能しているこ
5 ssh-keygen ユーティリティによって処理が完了します。次のメッ セージが表示されます。 Your identification has been saved in /home/oracle/.ssh/id.rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. The key fingerprint is: xx:xx:xx:xx:xx:xx:xx:xx oracle@< ノード名 >（ID は /home/oracle/.ssh/id.rsa に保存されました。パブリックキーは /home/oracle/.ssh/id_rsa.pub に保存されました。キーの 指紋は、xx:xx:xx:xx:xx:xx:xx:xx です。） 6 cd /home/oracle/.ssh に移動し、ls -al コマンドを使用して、ファ イル id_rsa と id_rsa.pub が作成されていることを確認します。 7 mv コマンドを使用して、パブリックキーの名前を生成元のシステ ムを示す名前に変更します。 mv id_rsa.
10 各システムで次のコマンドを実行します。 cat < ノード 1 の名前 >.pub >> authorized_keys cat < ノード 2 の名前 >.pub >> authorized_keys 11 すべてのノードで 手順 10 を完了すると、パスワードの入力を求め られることなく各ノードから ssh を実行できるようになります。 /etc/hosts.equiv ファイルの作成 各ノードで、/etc/hosts.
ファイバーチャネルクラスタの セットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 3-1. ファイバーチャネルクラスタ用のハードウェアの接続 クライアントシステム ギガビットイーサネットス イッチ（プライベートネッ トワーク） WAN/LAN Dell™ PowerEdge™ システ ム (Oracle データベース） Dell/EMC ファイバーチャネルスイッチ （SAN） Dell/EMC ファ イバーチャネ ルストレージ システム 表 3-1.
表 3-1.
ファイバーチャネルストレージシステムの ケーブル接続 必要に応じて、Oracle データベースのファイバーチャネルクラスタス トレージシステムを次のいずれかの構成にすることができます。 • 直接接続ファイバーチャネル（図 3-2 を参照） • 4 ポート SAN 接続のファイバーチャネル（図 3-3 を参照） 以下の項では、これらの構成のケーブル接続の要件について説明します。 直接接続ファイバーチャネル構成 ノードを直接接続ファイバーチャネル構成にするには、以下の手順を実行 します。 1 1 本の光ケーブルをノード 1 の HBA 0 から SP-A のポート 0 に接続 します。 2 1 本の光ケーブルをノード 1 の HBA 1 から SP-B のポート 0 に接続し ます。 3 1 本の光ケーブルをノード 2 の HBA 0 から SP-A のポート 1 に接続 します。 4 1 本の光ケーブルをノード 2 の HBA 1 から SP-B のポート 1 に接続し ます。 SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 3-2 を参照してください。 320 ファイバー
図 3-2.
8 1 本の光ファイバーケーブルを SP-B ポート 3 からファイバーチャネ ルスイッチ 0 に接続します。 9 1 本の光ケーブルをノード 1 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 10 1 本の光ケーブルをノード 1 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 11 1 本の光ケーブルをノード 2 の HBA 0 からファイバーチャネルス イッチ 0 に接続します。 12 1 本の光ケーブルをノード 2 の HBA 1 からファイバーチャネルス イッチ 1 に接続します。 SAN 接続のファイバーチャネルクラスタのケーブル接続については、 図 3-3 を参照してください。 図 3-3.
Dell™ PowerVault™ MD3000/ MD1000 拡張エンクロージャ用の SAS クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
図 4-1. SAS（シリアル接続 SCSI）クラスタと Dell PowerVault MD3000 ストレー ジエンクロージャのケーブル接続 プライベートネットワーク LAN/WAN PowerEdge システム PowerVault MD3000 スト レージシステム PowerVault MD1000 拡張 エンクロージャ 2 台 CAT 5e/6（パブリック NIC） CAT 5e/6（銅線ギガビット NIC） 光ファイバーケーブル 表 4-1.
表 4-1.
5 （オプション） PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション） PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の PowerVault MD1000 拡張エンクロー ジャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、デルサ ポートサイト support.dell.com/manuals で PowerVault MD3000 ストレージシス テムのマニュアルを参照してください。 図 4-2.
タスク 2: ホストベースのストレージソフトウェアのインストール PowerVault MD3000 ストレージエンクロージャに必要なホストベース のストレージソフトウェアをインストールするには、システムに付属の Dell PowerVault Resource メディアを使用します。Modular Disk Storage Manager ソフトウェアをマスターノードに、マルチパス （MPIO）ソフトウェアを残りのノードにインストールするには、 PowerVault MD3000 ストレージエンクロージャのマニュアルに記載さ れている手順に従います。 タスク 3: ファームウェアの確認とアップグレード 1 ホストシステムにインストールされている Modular Disk Storage Manager（MDSM）ソフトウェアを使用して、ホストシステムの直 接接続ストレージを検出します。 2 次のストレージコンポーネント用のファームウェアが最低必要な バージョンであることを確認します。 • RAID コントローラファームウェア • PowerVault MD3000 ストレージシステムファームウェア
タスク 5: インストール後の作業 ドライバとソフトウェアをインストールした後で、『PowerVault MD3000 取り付けガイド』に示されているインストール後のタスクを実 行します。『Dell PowerEdge システム — Enterprise Linux x86_64 で使用 する Oracle データベース — OS のインストールとハードウェアの取り付 けガイド』および『Linux ガイド』に示されている環境を構築します。ど ちらのマニュアルも、デルサポートサイト support.dell.
Dell™ PowerVault™ MD3000i/ MD1000 ストレージエンクロー ジャ用の iSCSI クラスタのセッ トアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.com/regulatory_compliance を参照してください。 本項では、Dell PowerEdge™ システムと PowerVault MD3000i/MD1000 ストレージエンクロージャが Oracle® RAC（Real Application Cluster） 環境で機能するように設定するための情報と手順を示します。 デルサポートサイト support.dell.
表 5-1. iSCSI ハードウェアの相互接続 クラスタのコン ポーネント 接続 PowerEdge シス テムノード • CAT 5e/6 ケーブル 1 本をパブリック NIC から LAN に接続 • CAT 5e/6 ケーブル 1 本をプライベートギガビット NIC か らギガビットイーサネットスイッチに接続（プライベー トネットワーク） • CAT 5e/6 ケーブル 1 本を冗長プライベートギガビット NIC から冗長ギガビットイーサネットスイッチに接続 （プライベートネットワーク） • CAT 5e/6 ケーブル 1 本を iSCSI ギガビット NIC からギガ ビットイーサネットスイッチに接続（iSCSI ネットワーク） メモ：PowerVault MD3000i ストレージエンクロージャの詳 細については、デルサポートサイト support.dell.
iSCSI クラスタを PowerVault MD3000i/MD1000 拡 張エンクロージャ用にセットアップする方法 タスク 1: ハードウェアのセットアップ 直接接続の iSCSI クラスタは 2 ノードまでに限定されています。 図 5-1.
4 ノード 2 のもう一方のポート（iSCSI HBA または NIC）と PowerVault MD3000i ストレージエンクロージャ内の RAID コント ローラ 1 の In-1 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 （オプション） PowerVault MD3000 ストレージエンクロージャの 2 個の出力ポートと 1 台目の PowerVault MD1000 拡張エンクロー ジャの 2 個の入力ポートを 2 本の SAS ケーブルで接続します。 6 （オプション） PowerVault MD1000 ストレージエンクロージャの 2 個の出力ポートと 2 台目の MD1000 拡張エンクロージャの In-0 ポートを 2 本の SAS ケーブルで接続します。 メモ：PowerVault MD1000 拡張エンクロージャの設定については、デルサ ポートサイト support.dell.
ノードをスイッチ式で構成するには、図 5-2 を参照し、以下の手順を実 行します。 1 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 2 ノード 1 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 3 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 1 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 4 ノード 2 のポート（iSCSI HBA または NIC）とネットワークスイッチ 2 のポートを 1 本の CAT 5e/6 ケーブルで接続します。 5 スイッチ 1 のポートと PowerVault MD3000i ストレージエンクロー ジャ内の RAID コントローラ 0 の In-0 ポートを 1 本の CAT 5e/6 ケーブルで接続します。 6 スイッチ 1 のもう一方のポートと PowerVault MD3000i ストレージ エンクロージャ内の RAID
タスク 2: ストレージに必要なホストベースソフトウェアのインス トール PowerVault MD3000i ストレージシステムに必要なホストベースのス トレージソフトウェアをインストールするには、PowerVault MD3000i ストレージシステムに付属の Dell PowerVault の Resource メディアを 使用します。PowerVault MD3000i ストレージエンクロージャのマ ニュアル（デルサポートサイト support.dell.
Dell™ EqualLogic™ PS シリーズ のストレージシステム用の iSCSI クラスタのセットアップ 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
メモ：ギガビットイーサネットスイッチは 2 台使用することをお勧めし ます。イーサネットスイッチが 1 台のみの環境でスイッチに障害が発生す ると、スイッチを物理的に交換して設定を復元するまで、どのホストもス トレージにアクセスできなくなります。スイッチ 1 台の構成では、スイッ チ間またはトランク間の接続を提供するために、リンクアグリゲーション を使用する複数のポートが必要です。各コントロールモジュールから、1 つのギガビットインタフェースを 1 台のイーサネットスイッチに、残りの 2 つのギガビットインタフェースをもう 1 台のイーサネットスイッチに接 続する構成をお勧めします。 図 6-1.
図 6-2. PS5000XV アレイ 3 つを使用した Oracle® RAC 構成例 Dell™ Optiplex™ デスクトップ パブリックネットワーク RAC プライベート相互接続 iSCSI SAN LAN/WAN PowerConnect ギガビットイーサネットスイッチ リンクアグリゲーショングループ PowerConnect 6200 シリー ズのギガビットイーサ ネットスイッチ 高帯域幅インター スイッチリンク Dell EqualLogic PS シリーズのイーサ ネットスイッチ ストレージメン ストレージメン バー バー oracle-member01 oracle-member02 OCR および CSS 仮 想ディスクボリ ューム データボリューム RAID-10 ストレージプール ストレージメン バー oracle-member03 フラッシュリカバ リ領域ボリューム RAID-5 ストレージ プール ストレージグループ : oracle-group メモ：EqualLogic アレイの初期化の詳細については、デルサポートサイト support.dell.
EqualLogic PS シリーズのストレージグループは、複数の階層または プールに分割できます。ストレージを階層化すると、ディスクリソース をより自在に割り当てることができるようになります。メンバーを同時 に複数のプールに割り当てることはできません。メンバーをプールに割 り当てたり、別のプールに移動する操作は簡単に行うことができ、デー タの可用性に何ら影響はありません。プールは、ディスクのタイプ、速 度、RAID レベル、アプリケーションのタイプなど、さまざまな基準に 従って組むことができます。 図 6-2 では、プールはメンバーの RAID レベルに従って組まれています。 • RAID-10 という名前のプールは、RAID 10 のメンバーで構成されて います。 • RAID-5 という名前のプールは、RAID 5 のメンバーで構成されてい ます。 ボリュームの作成 データを保存する前に、EqualLogic PS5000XV ストレージアレイの物 理ディスクを設定して、ボリュームと呼ばれる使用可能なコンポーネン トにする必要があります。ボリュームはストレージプールを構成する一 部であり、特定の
表 6-1 はボリューム構成の一例を示したものです。 表 6-1.
iSCSI ネットワークの設定 最適なパフォーマンスが得られるように、iSCSI トラフィック用のホス トネットワークインタフェースがフロー制御とジャンボフレームを使用 するように設定することをお勧めします。ethtool ユーティリティを 使用してフロー制御を設定します。 次のコマンドを使用して、インタフェース上のフロー制御（RX/TX Pause）をチェックします。# ethtool -a < インタフェース > 例： # ethtool -a eth2 Pause parameters for eth2: Autonegotiate: on RX: on TX: on この例は、フロー制御がすでにオンになっていることを示しています。 フロー制御がオンになっていない場合は、次のコマンドを使用してオン にします。 # ethtool -A < インタフェース > rx on tx on ジャンボフレームは、/etc/sysconfig/network-scripts/ifcfg-< インタ フェース > スクリプト内に MTU="" パラメータを追加して 設定します。 以下の例では、MTU
Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのハードウェアアドレスを取得します。 grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, n はネットワークインタフェース番号です。 5 iSCSI トラフィックに使用されるホスト上の各ネットワークインタ フェースのインタフェースを作成します。 iscsiadm -m iface -I インタフェース名 --op=new インタフェース名 はインタフェースに割り当てられる名前です。 iscsiadm -m iface -I インタフェース名 --op=update -n iface.
フェース名 2 --interface= インタフェース名 3 -interface= インタフェース名 4 グループ IP アドレスは EqualLogic ストレージグループの IP アドレスで、インタフェース名 1、インタフェース名 2、インタフェース名 3、インタフェース名 4 ... は、iSCSI トラフィックに使用されるホスト上のネットワークインタ フェース（手順 5 で定義）です。 たとえば、次のコマンドを実行すると、eth0-iface および eth1iface という名前の 2 つのインタフェースを持つホストから、グルー プ IP アドレス 10.16.7.100 で 4 つのボリュームが検出されます。 # iscsiadm -m discovery -t st -p 10.16.7.100 -interface=eth0-iface --interface=eth1-iface 10.16.7.100:3260,1 iqn.2001-05.com.equallogic:08a0906-90ee59d02-e26f999767b4942e-mdi-ocr-cssspfile 10.16.
SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090695ce59d02-2e0f999767f4942e-mdi-data2 Portal: 10.16.7.
次の例のコマンドを実行すると、ホスト上の 2 つのインタフェース （eth0-iface と eth1-iface）のそれぞれから 3 つのボリュームにロ グインします。 # iscsiadm -m node -p 10.16.7.100 --interface eth0-iface --login Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.100,3260] Logging in to [iface: eth0-iface, target: iqn.2001-05.com.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.100,3260] Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-95ce59d022e0f999767f4942e-mdi-data2, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful 12 アクティブな接続とセッションのすべてを表示し、確認します。 iscsiadm -m session -i 13 パーティションが OS から認識できることを確認します。 cat /proc/partitions 14 クラスタ内の残りのすべてのホストで 手順 1 ～ 手順 13 を繰り返し ます。 ボリュームに対する Device-Mapper Multipath の設定 1 Oracle 用に作成したデバイスに対して /sbin/scsi_id コマン ドを実行し、一意のデバイス ID を取得します。 /sbin/scsi_id -gus /block/< デバイス > 例： # scsi_id -gus /block/sda 2 /etc/multipath.
rr_min_io max_fds rr_weight failback no_path_retry user_friendly_names } 100 8192 priorities immediate fail yes 4 /etc/multipath.
次のサンプルには、4 つのボリュームの構成が含まれています。 multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 マルチパスデーモンを再起動し、エイリアス名が multipath -l1 の 出力結果に表示されていることを確認します。 service multipathd restart multipath -ll 例： fra1 (36090a028d059be972e9414689799efd7) dm-13 EQLOGIC,100E-00 [size=5.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
EQL ストレージシステム用の iSCSI クラスタのセットアップ
ホストのデータベースストレー ジ（記憶域）の設定 警告：本項の手順を開始する前に、システムに付属しているガイドの安 全にお使いいただくための注意事項をお読みください。ベストプラクティ スの追加情報については、デルの規制順守に関するウェブサイト www.dell.
表 7-1.
5 /proc/partitions ファイル内で、以下のことを確認します。 • すべての PowerPath 擬似デバイスが、すべてのノードで類似す るデバイス名を持つファイル内に表示されていること。たとえ ば、/dev/emcpowera、/dev/emcpowerb、および /dev/emcpowerc です。 • PowerVault MD3000/MD3000i または EqualLogic ストレージア レイの場合は、すべての仮想ディスクまたはボリュームが、すべ てのノードで類似するデバイス名を持つファイル内に表示されて いること。たとえば、/dev/sdb、/dev/sdc、および /dev/sdd です。 • 外付けストレージの論理ボリュームが SCSI デバイスとして表示 され、各ノードが同数の LUN、仮想ディスク、またはボリュー ムで構成されていること。たとえば、ノードが 3 つの論理ディ スクを持つファイバーチャネルストレージデバイスに取り付けら れた SCSI ドライブまたは RAID コンテナで構成されている場合、 sda はノードの RAID コンテナまたは内蔵ドライブ
Linux システム用のディスクパーティション の調整 警告：Linux を使用しているシステムでは、データを LUN/ 仮想ディスクに 書き込む前にパーティションテーブルを揃えます。パーティションマップ が書き換えられ、LUN/ 仮想ディスク上のすべてのデータが破棄されます。 例：fdisk ユーティリティの引数 次の例では、fdisk ユーティリティの引数を示します。この例では、LUN が /dev/emcpowera にマップされ、LUN ストライプエレメントのサイ ズは 128 ブロックです。 メモ：この例では、ディスク /dev/emcpowera にはプライマリパーティ ション /dev/emcpowera1 が作成済みです。PowerVault MD3000/MD3000i また は EqualLogic ストレージアレイの場合、この処理は /dev/sdb1 に対して実行 されます。 fdisk /dev/emcpowera メモ：以下の手順を実行する前に、/dev/emcpowera 上にパーティションを 作成します。 x # expert mode（エキスパートモード） b # a
手順：ディスクパーティションの調整に fdisk ユーティリティを 使用 fdisk ユーティリティを使用してディスクパーティションを調整するに は、次の手順に従います。 1 コマンドプロンプトで、次のように入力します。 fdisk < パーティション名 > < パーティション名 > は、調整するパーティションの名前です。 たとえば、パーティション名が /dev/emcpowera なら、 次のように入力します。 fdisk /dev/emcpowera 次のメッセージが表示されます。 The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g.
6 コマンドプロンプトで、fdisk ユーティリティ引数 w を入力します。 次のメッセージが表示されます。 The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks.
4 次のように入力して、新しいパーティションを確認します。 cat /proc/partitions 新しいパーティションが見つからない場合は、次のように入力 します。 sfdisk -R /dev/emcpowera sfdisk -R /dev/emcpowerb 5 次のように入力します。 mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 次のような項目を追加することで、新しく作成したファイルシステ ム用の /etc/fstab ファイルを編集します。 /dev/emcpowera1 /oradata ext3 defaults 1 2 には /u01/app/oracle と同様のパスを入力 します。 7 次のように入力します。 chown -R oracle.
RAC 環境におけるクラスタウェア、データ ベース、およびリカバリファイル用の共有ス トレージの設定 本項では、RAC 環境で共有ストレージディスクを設定する方法につい て説明します。以下の 3 つの方法のいずれか 1 つを使用してください。 • • • クラスタウェア、データベース、およびリカバリファイル用に OCFS2（Oracle Cluster File System）を使用する場合は、360 ページ の「OCFS2 を使用して Oracle Clusterware、データベース、および リカバリファイル用の共有ストレージディスクを設定する方法」を 参照してください。 クラスタウェア用には raw デバイスを使用し、データベースおよび リカバリファイル用には ASM を使用する場合は、363 ページの 「Oracle Clusterware 用には raw デバイスを使用し、データベース およびリカバリファイル用には ASM を使用して、共有ストレージ ディスクを設定する方法」を参照してください。 クラスタウェア用にはブロックデバイスを使用し、データベースお よびリカバリ用には ASM を使用す
Node Configuration（ノードの構成）ウィンドウが表 示されます。 d クラスタにノードを追加する場合は、Add（追加）をクリックし ます。ノード名（ホスト名と同じ）とプライベート IP を入力し ます。ポート番号はデフォルト値を使用します。すべての情報を 入力したら、OK をクリックします。手順 d を繰り返して、クラ スタにすべてのノードを追加します。 e すべてのノードを追加したら、Node Configuration（ノードの 構成）ウィンドウで Apply（適用）をクリックし、Close（閉じ る）をクリックします。 メモ：手順 e を実行すると Unable to access cluster service（クラスタサービスにアクセスできません）というエラー メッセージが表示される場合は、ファイル /etc/ocfs2/cluster.
5 最初のファイバーチャネルクラスタノードで、次のように fdisk を 使用して、別の 2 つの外付けストレージデバイスにそれぞれ 1 つず つパーティションを作成します。 a 次のように入力して、デバイス全体に対するプライマリパーティ ションを作成します。 fdisk /dev/emcpowerX メモ： fdisk ユーティリティのヘルプを表示するには、h と入 力します。 b 次のように入力して、新しいパーティションが作成されているこ とを確認します。 cat /proc/partitions c 新しいパーティションが見つからない場合は、次のように入力し ます。 sfdisk -R /dev/< デバイス名 > メモ：以下の手順では、サンプルの値を使用します。 • マウントポイント : /u02、/u03、および /u04 • ラベル : u02、u03、および u04 • ファイバーチャネルストレージデバイス : emcpowera、 emcpowerb、および emcpowerc 6 いずれか 1 つのノード上で、mkfs.
7 各ノードで、以下の手順を実行します。 a 各 OCFS2 パーティション用にマウントポイントを作成します。 この手順を実行するには、次のように入力して、ターゲットパー ティションのディレクトリを作成し、オーナーシップを設定 します。 mkdir -p /u02 /u03 /u04 chown -R oracle.
raw デバイスを使用して Oracle Clusterware 用の共有ストレージディスクを 設定する方法 1 最初のノードで、fdisk ユーティリティを使って、外付けストレー ジデバイスに 6 つのパーティションを作成します。 fdisk /dev/emcpowerX と入力して、 Oracle Cluster Repository（OCR）、投票ディスク、および Oracle の システムパラメータファイルのそれぞれに 300 MB のパーティショ ンを 6 つ作成します。 2 次のように入力して、新しいパーティションを確認します。more /proc/partitions /proc/partitions ファイル内に新しいパー ティションが表示されない場合は、すべてのノードで次のように入 力します。sfdisk -R /dev/< デバイス名 > 3 ファイバーチャネルクラスタ内のすべてのノードで、 /etc/sysconfig/rawdevices ファイルを編集し、以下の行を追加し ます。 /dev/raw/votingdisk1 /dev/emcpowera1 /dev/raw/votin
ASM を使用して Oracle Database およびリカバリファイル用の共有ストレー ジディスクを設定する方法 自動ストレージ管理（ASM）用のディスク設定には、raw デバイスま たは ORACLEASM ライブラリドライバのいずれかを使用できます。 raw デバイスを使用してディスクを ASM 用に設定する方法 1 root としてログインします。 2 最初のノードで、fdisk を使用して、データベースファイルとリカ バリファイルに使用するディスクデバイスに、ディスク全体にまた がる単一のプライマリパーティションを作成します。 3 etc/sysconfig/rawdevices ファイルを編集し、次のエントリを追 加します。 /dev/raw/ASM1 /dev/emcpowerb1 /dev/raw/ASM2 /dev/emcpowerc1 /dev/emcpowerb1 および /dev/emcpowerc1 はそれぞれ、デー タベースおよびリカバリディスクデバイスのパーティションを表し ます。 4 service rawdevices restart と入力して RAW デバイスサ
Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]:y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクのパーミッションを修正）(y/n) [y]:y 3 この手順は、RAC の構成に EqualLogic iSCSI ストレージと Linux Device Mapper Multipath ドライバを使用する場合にのみ行ってく ださい。 a /etc/sysconfig/oracleasm 内の ORACLEASM_SCANORDER パ ラメータを次のように設定します。ORACLEASM_SCANORDER= "dm" b 変更を有効にするためにシステムを再起動します。 4 最初のノードのターミナルウィンドウで次のテキストを入力し、 を押します。 service oracleasm createdisk ASM1 /dev/emcpowerb1 service oracleasm created
Oracle Clusterware 用にはブロックデバイスを使用し、データベー スおよびリカバリファイル用には ASM を使用して、共有スト レージディスクを設定する方法 メモ：Red Hat Enterprise Linux 5 または Oracle Enterprise Linux 5 の場合は、 ASM を使用するブロックデバイスとリカバリディスクでのみ Oracle Clusterware ディスクを使用することをお勧めします。 ブロックデバイスを使用して Oracle Clusterware 用の共有ストレージディス クを設定する方法 メモ：本項で説明する手順は、 『OS のインストールとハードウェアの取り 付けガイド』の「Oracle データベースをインストールするための OS の設定」 に記載されている手順が実行済みであることが前提になっています。同ガ イドはデルサポートサイト support.dell.
[asm] asm1= asm2= たとえば、OCR と OCR ミラーのパーティションが /dev/emcpowera1 と /dev/emcpowera2 なら、 permissions.ini ファイルは次のように変更されます。 [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b permissions.ini ファイルに投票ディスク名を追加します。この ファイルは、/dell-oracle-deployment/scripts/ ディレクトリ にあります。 [ocr] primary_ocr= mirror_ocr1= [vote] vote1= vote2= vote3= [asm] asm1= asm2= たとえば、仮想ディスクが emcpowerb1、emcpowerb2、 emcpowerb3 なら、permissions.
ASM を使用して Oracle Database およびリカバリファイル用の共 有ストレージディスクを設定する方法 メモ：本項で説明する手順は、 『OS のインストールとハードウェアの取り 付けガイド』の「Oracle データベースをインストールするための OS の設定」 に記載されている手順が実行済みであることが前提になっています。同ガ イドはデルサポートサイト support.dell.com/manuals で入手できます。 ASM 用のディスク設定には、ブロックデバイスまたは ORACLEASM ラ イブラリドライバのいずれかを使用できます。 ブロックデバイスを使用してディスクを ASM 用に設定する方法 1 root としてログインします。 2 最初のノードで、fdisk を使用して、データベースファイルとリカ バリファイルに使用するディスクデバイスに、ディスク全体にまた がる単一のプライマリパーティションを作成します。 3 permissions.
5 次のコマンドを実行して、正しいブロックデバイスの権限を設定し ます。 /etc/rc.
手順 5 で作成したディスクが表示されます。例： ASM1 ASM2 7 残りのノードが 手順 5 で作成した ASM ディスクにアクセスできる ことを確認します。残りの各ノードでターミナルウィンドウを開き、 次のテキストを入力し、 を押します。 service oracleasm scandisks ASM を使用して新しいノードに共有スト レージを設定する方法 1 root としてログインします。 2 ターミナルウィンドウを開き、root としてログインします。 3 Enterprise Linux 4 の場合は、次の手順を実行します。 /etc/sysconfig/rawdevices ファイルを、既存のノードの 1 つから 新しいノードの同じ場所にコピーします。 メモ：LUN がすべてのノードにまたがって一貫してマップされてい ることを確認します。 Enterprise Linux 5 の場合は、次の手順を実行します。 『Dell PowerEdge システム — Redhat Enterprise Linux で使用する Oracle Database 10gR2』または『Orac
4 新しいノードでターミナルウィンドウを開き、次の手順を実行 します。 a service oracleasm configure と入力します。 b すべてのノードについて、以下の入力を行います。 Default user to own the driver interface（ドライバインタ フェースを所有するデフォルトユーザー）[ ]: oracle Default group to own the driver interface（ドライバイン タフェースを所有するデフォルトグループ）[ ]: dba Start Oracle ASM library driver on boot（起動時に Oracle ASM ライブラリドライバを開始する）(y/n) [n]: y Fix permissions of Oracle ASM disks on boot（起動時に Oracle ASM ディスクのパーミッションを修正）(y/n) [y]: y 5 手順 5 は、RAC の設定に EqualLogic iSCSI ストレージと Linux Device Mapper Multipath ドライバを
索引 D M Dell/EMC ファイバーチャ ネル , 319 スイッチ , 319 ストレージ , 319 Modular Disk Storage Manager, 327 E EMC Navisphere, 354 PowerPath, 354 MPIO ソフトウェア , 327 MTU, 340 N NIC ポートの割り当て , 311 Enterprise Linux, 308 O I OCFS2, 360 ifconfig, 312 IP アドレス 仮想 IP アドレス , 311 パブリック IP アドレス , 311 プライベート IP アドレス , 311 P L R LUN, 319 RSA キーペア , 314 PowerConnect スイッチ , 335 PowerPath 擬似デバイス , 354 索引 373
S こ SAS クラスタのセットアップ , 323, 329, 335, 353 高可用性 , 313 し い イーサネットスイッチ , 319 資格認証とトレーニング Oracle, 309 デル , 309 ジャンボフレーム , 340 え エイリアス名 , 348 と 投票ディスク , 367 ドメインネームサービス , 311 か 仮想ディスク , 308 ね ネットワークパラメータ , 313 く クラスタウェア ストレージの設定 , 360 ネットワークボンディング , 313 は け パブリックキー , 315 ケーブル CAT 5e, 318 CAT 6, 318 パラフレーズプメンプト , 314 ケーブル接続 iSCSI クラスタ , 331 SAS ストレージ , 325 ファイバーチャネルスト レージ , 320 374 索引 ふ ファイバーチャネル SAN 接続構成 , 321 直接接続構成 , 320
へ よ ヘルプ , 308 Oracle サポート , 309 デルサポート , 308 用語 グループ , 335 プール , 335 ボリューム , 335 メンバー , 335 ほ ボリューム , 338 ボンディング済みのペア , 311 ま り リソースメディア PowerVault MD3000, 327 リンクの監視 , 313 マルチパスドライブ , 329 ろ み 論理ユニット番号 , 308 ミラーパーティション , 368 索引 375
索引
Sistemas Dell™ PowerEdge™ — Base de datos Oracle® en Enterprise Linux® x86_64 Guía de almacenamiento y redes versión 1.2 w w w. d e l l . c o m | s u p p o r t . d e l l .
Notas, precauciones y avisos NOTA: Una NOTA proporciona información importante que le ayudará a utilizar mejor el ordenador. PRECAUCIÓN: Un mensaje de PRECAUCIÓN indica la posibilidad de daños en el hardware o la pérdida de datos si no se siguen las instrucciones. AVISO: Un mensaje de AVISO indica el riesgo de daños materiales, lesiones o incluso la muerte. ____________________ La información contenida en este documento puede modificarse sin previo aviso. © 2009 Dell Inc. Todos los derechos reservados.
Contenido 1 Información general 383 Documentación necesaria para implantar la base de datos Dell|Oracle . . . . . . . . . . . . . . 383 Terminología utilizada en este documento . . . . . . . 384 . . . . . . . . . . . . . . . . . . . 384 . . . . . . . . . . . . . . . . . 384 . . . . . . . . . . . . . . . . 385 Obtención de ayuda Asistencia de Dell Asistencia de Oracle 2 . . . . . . . . . . . . . . . Configuración de la red . . . . . . . . . . . . .
3 4 Configuración del clúster Fibre Channel . . . . . . . . . . . . . . . . . . . . Conexiones de hardware para un clúster Fibre Channel. . . . . . . . . . . . . . . . . . . . . . 393 Cableado del sistema de almacenamiento Fibre Channel. . . . . . . . . . . . . . . . . . . . . . 396 Configuración de Fibre Channel de conexión directa . . . . . . . . . . . . . . . . 396 Configuración de Fibre Channel de conexión mediante SAN . . . . . . . . . . . .
5 Configuración del clúster iSCSI para los alojamientos para almacenamiento Dell™ PowerVault ™ MD3000i y MD1000 . . . . . . . . . . . . . . . . . . . . . . . . 407 Configuración del clúster iSCSI para los alojamientos de expansión PowerVault MD3000i y MD1000 . . . . . 409 Tarea 1: Configuración del hardware. . . . . . . . Tarea 2: Instalación del software basado en host necesario para el almacenamiento . . . . 412 . . . . . . . 412 . . . . . . . .
Ejemplo: Argumentos de la utilidad fdisk . . . . . Procedimiento: Uso de la utilidad fdisk para ajustar una partición de disco . . . . . . . . Configuración del almacenamiento de base de datos mediante el sistema de archivos ext3 para un solo nodo . . . . . . . . . . . . . . . . . . 434 . . . 436 Configuración del almacenamiento compartido para archivos de recuperación, de base de datos y de software de clúster en un entorno RAC . . . . .
Información general Este documento se aplica a: • Base de datos Oracle® 10g R2 en Red Hat® Enterprise Linux® u Oracle Enterprise Linux® 4.7 AS x86_64 • Base de datos Oracle 10g R2 en Red Hat Enterprise Linux u Oracle Enterprise Linux 5.3 AS x86_64 • Base de datos Oracle 11g R1 en Red Hat Enterprise Linux u Oracle Enterprise Linux 5.
• Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de configuración e instalación de la base de datos: en ella se describe cómo instalar y configurar la base de datos Oracle. • Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de solución de problemas: en ella se describe cómo añadir un nuevo nodo al clúster y cómo solucionar los errores detectados durante los procedimientos de instalación descritos en los módulos anteriores.
• Para obtener información sobre cómo ponerse en contacto con Dell, consulte el documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de solución de problemas correspondiente a su sistema, disponible en la página web de asistencia de Dell en support.dell.com/manuals. • Ahora tiene a su disposición el servicio de formación y certificación Dell para empresas. Para obtener más información, visite dell.com/training.
Información general
Configuración de la red En esta sección se presentan los pasos necesarios para configurar las redes de clúster pública y privada. NOTA: Cada nodo requiere una dirección IP pública y privada exclusiva. Se requiere otra dirección IP pública que sirva de dirección IP virtual en las conexiones de cliente y en caso de sustitución tras error de las conexiones. La dirección IP virtual debe pertenecer a la misma subred que la IP pública.
Si todavía no ha configurado la red pública, realice los pasos siguientes en cada nodo para configurarla: 1 Inicie la sesión como root. 2 Edite el archivo del dispositivo de red /etc/sysconfig/network-scripts/ ifcfgeth#, donde # es el número del dispositivo de red: DEVICE=eth0 ONBOOT=yes IPADDR= NETMASK= BOOTPROTO=static HWADDR= SLAVE=no 3 Edite el archivo /etc/sysconfig/network y, en caso necesario, sustituya localhost.
Configuración de la red privada mediante bonding Antes de implantar el clúster, configure la red de clúster privada para permitir que los nodos se comuniquen entre sí. Para ello, es necesario configurar el bonding de red y asignar una dirección IP privada y un nombre de host a cada nodo del clúster. Para establecer el bonding de red para las NIC Broadcom® o Intel® y configurar la red privada, realice los pasos siguientes en todos los nodos: 1 Inicie la sesión como root.
5 Para cada uno de los dispositivos miembros del bond: a En el directorio /etc/sysconfig/network-scripts/, edite el archivo ifcfg-ethn: DEVICE=ethn HWADDR= ONBOOT=yes TYPE=Ethernet USERCTL=no MASTER=bond0 SLAVE=yes BOOTPROTO=none b Escriba service network restart e ignore todos los avisos. 6 En cada nodo, escriba ifconfig para comprobar que la interfaz privada está operativa. La dirección IP privada del nodo debe asignarse a la interfaz privada bond0.
5 La utilidad ssh-keygen finaliza la operación. Aparece el mensaje siguiente: Your identification has been saved in /home/oracle/.ssh/id.rsa. Your public key has been saved in /home/oracle/.ssh/id_rsa.pub. The key fingerprint is: xx:xx:xx:xx:xx:xx:xx:xx oracle@ (La identificación se ha guardado en /home/oracle/.ssh/id.rsa. La clave pública se ha guardado en /home/oracle/.ssh/id_rsa.pub. La huella dactilar de clave es: xx:xx:xx:xx:xx:xx:xx:xx oracle@) 6 Vaya a cd /home/oracle/.
10 Ejecute el comando siguiente en cada sistema: cat .pub >> authorized_keys cat .pub >> authorized_keys 11 Cuando haya realizado el paso 10 en todos los nodos, podrá ejecutar ssh en cada nodo sin que se le solicite una contraseña. Creación del archivo /etc/hosts.equiv En cada nodo, cree o modifique el archivo /etc/hosts.equiv enumerando todas las direcciones IP públicas o nombres de host.
Configuración del clúster Fibre Channel AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 3-1. Conexiones de hardware para un clúster Fibre Channel Sistemas cliente Conmutadores Ethernet Gigabit (red privada) WAN/LAN Sistemas Dell™ PowerEdge™ (base de datos Oracle) Conmutadores Dell/EMC Fibre Channel (SAN) CAT 5e/6 (NIC pública) CAT 5e/6 (NIC Gigabit de cobre) Cables de fibra óptica Cables de fibra óptica adicionales Sistemas de almacenamiento Dell/EMC Fibre Channel Tabla 3-1.
Tabla 3-1. Interconexiones de hardware Fibre Channel (continuación) Componente del clúster Conexiones • Dos cables CAT 5e o CAT 6 conectados a la LAN Sistema de almacenamiento • De una a cuatro conexiones de cable de fibra óptica a cada Dell/EMC Fibre conmutador Fibre Channel.
Cableado del sistema de almacenamiento Fibre Channel Puede configurar el sistema de almacenamiento del clúster Fibre Channel de la base de datos Oracle con una de las configuraciones siguientes según sus necesidades: • Fibre Channel de conexión directa (vea la ilustración 3-2) • Fibre Channel de conexión mediante SAN de cuatro puertos (vea la ilustración 3-3) En las secciones siguientes se describen los requisitos de cableado para estas configuraciones.
Ilustración 3-2. Cableado de un clúster Fibre Channel de conexión directa Dos puertos HBA para el nodo 2 Dos puertos HBA para el nodo 1 0 1 0 1 SP-B 1 1 SP-A 0 0 Almacenamiento Dell/EMC CX4-480 Fibre Channel Configuración de Fibre Channel de conexión mediante SAN Para configurar los nodos con una configuración de conexión mediante SAN de cuatro puertos: 1 Conecte un cable óptico del puerto 0 de SP-A al conmutador 0 Fibre Channel.
6 Conecte un cable óptico del puerto 1 de SP-B al conmutador 0 Fibre Channel. 7 Conecte un cable óptico del puerto 2 de SP-B al conmutador 1 Fibre Channel. 8 Conecte un cable óptico del puerto 3 de SP-B al conmutador 0 Fibre Channel. 9 Conecte un cable óptico del HBA 0 del nodo 1 al conmutador 0 Fibre Channel. 10 Conecte un cable óptico del HBA 1 del nodo 1 al conmutador 1 Fibre Channel. 11 Conecte un cable óptico del HBA 0 del nodo 2 al conmutador 0 Fibre Channel.
En la ilustración 3-3 se muestran las conexiones de cables de un clúster Fibre Channel de conexión mediante SAN. Ilustración 3-3.
Configuración del clúster Fibre Channel
Configuración del clúster SAS para los alojamientos de expansión Dell™ PowerVault™ MD3000 y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Ilustración 4-1. Cableado del clúster SCSI de conexión serie (SAS) y el alojamiento para almacenamiento Dell PowerVault MD3000 Red privada LAN/WAN Sistemas PowerEdge Sistema de almacenamiento PowerVault MD3000 Dos alojamientos de expansión PowerVault MD1000 Tabla 4-1.
Tabla 4-1.
4 Conecte un cable SAS del otro puerto de la controladora SAS del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento PowerVault MD3000. 5 (Opcional) Conecte dos cables SAS de los dos puertos de salida de los alojamientos para almacenamiento PowerVault MD3000 a los dos puertos de entrada del primer alojamiento de expansión PowerVault MD1000.
Tarea 2: Instalación del software de almacenamiento basado en host Para instalar el software de almacenamiento basado en host necesario para el alojamiento para almacenamiento PowerVault MD3000, utilice el soporte multimedia de recursos de Dell PowerVault que se incluye con el sistema.
Tarea 5: Realización de las tareas posteriores a la instalación Una vez instalados los controladores y el software, realice las tareas posteriores a la instalación indicadas en la guía de instalación de PowerVault MD3000. Cree el entorno que se muestra en el documento Sistemas Dell PowerEdge — Base de datos Oracle en Enterprise Linux x86_64 — Guía de instalación del sistema operativo y el hardware y en la guía de Linux. Ambos documentos están disponibles en la página web de asistencia de Dell en support.
Configuración del clúster iSCSI para los alojamientos para almacenamiento Dell™ PowerVault™ MD3000i y MD1000 AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Tabla 5-1.
Configuración del clúster iSCSI para los alojamientos de expansión PowerVault MD3000i y MD1000 Tarea 1: Configuración del hardware Los clústeres iSCSI de conexión directa están limitados a dos nodos únicamente. Ilustración 5-1.
3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 0 en el alojamiento para almacenamiento PowerVault MD3000i. 4 Conecte un cable CAT 5e/6 del otro puerto (NIC o HBA iSCSI) del nodo 2 al puerto In-1 de la controladora RAID 1 en el alojamiento para almacenamiento PowerVault MD3000i.
Para configurar los nodos en una conexión conmutada, vea la ilustración 5-2 y realice los pasos siguientes: 1 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 1. 2 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 1 al puerto del conmutador de red 2. 3 Conecte un cable CAT 5e/6 de un puerto (NIC o HBA iSCSI) del nodo 2 al puerto del conmutador de red 1.
Tarea 2: Instalación del software basado en host necesario para el almacenamiento Para instalar el software de almacenamiento basado en host necesario para el sistema de almacenamiento PowerVault MD3000i, utilice el software del soporte multimedia de recursos de Dell PowerVault entregado con el sistema de almacenamiento PowerVault MD3000i.
Configuración del clúster iSCSI para los sistemas de almacenamiento Dell™ EqualLogic™ serie PS AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance.
Configuración del sistema de almacenamiento iSCSI EqualLogic Los sistemas host se pueden conectar a la matriz iSCSI EqualLogic PS5000XV a través de un conmutador Ethernet Gigabit estándar de SAN IP.En la ilustración 6-1 se muestra la configuración de red recomendada para una matriz EqualLogic PS5000XV de módulo de control dual. Esta configuración incluye dos conmutadores Ethernet Gigabit Dell PowerConnect™ serie 6200, que ofrecen la mayor disponibilidad de red y la máxima amplitud de banda de red.
En la ilustración 6-2 se ofrece una visión general de la arquitectura de una configuración de Oracle® Real Application Cluster (RAC) de muestra con tres matrices Dell EqualLogic PS5000XV. Las matrices de almacenamiento Dell EqualLogic PS5000XV ofrecen la capacidad de almacenamiento físico para la base de datos RAC. El grupo oracle-group incluye tres miembros Dell EqualLogic PS5000XV: oracle-member01, oraclemember02 y oracle-member03.
Ilustración 6-2.
Un grupo de almacenamiento EqualLogic serie PS se puede segregar en varios niveles en cascada o bloques. El almacenamiento en cascada proporciona a los administradores un mayor control sobre la asignación de recursos de disco. Un miembro sólo se puede asignar a un bloque a la vez. Es fácil asignar un miembro a un bloque y mover un miembro entre bloques sin influir en la disponibilidad de los datos.
En la tabla 6-1 se presenta una configuración de volúmenes de muestra. Tabla 6-1.
Configuración de redes iSCSI Se recomienda configurar las interfaces de red del host para el tráfico iSCSI de modo que utilicen el control de flujo y la trama gigante para obtener un rendimiento óptimo. Con la utilidad ethtool se puede configurar el control de flujo.
Compruebe la configuración de la trama gigante mediante el comando ifconfig: $ ifconfig eth2 eth2 Link encap:Ethernet HWaddr 00:15:17:80:43:50 inet addr:10.16.7.125 Bcast:10.16.7.255 Mask:255.255.255.0 inet6 addr: fe80::215:17ff:fe80:4350/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:9000 Metric:1 RX packets:3348411 errors:0 dropped:0 overruns:0 frame:0 TX packets:2703578 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:1000 RX bytes:10647052076(9.9 GiB)TX bytes:11209177325(10.
4 Obtenga la dirección de hardware de cada interfaz de red en el host que se utiliza para el tráfico iSCSI. grep -i hwaddr /etc/sysconfig/networkscripts/ifcfg-ethn, donde n es el número de interfaz de red. 5 Cree una interfaz para cada interfaz de red en el host que se utiliza para el tráfico iSCSI. iscsiadm -m iface -I iface_name --op=new, donde iface_name es el nombre asignado a la interfaz. iscsiadm -m iface -I iface_name --op=update -n iface.
9 Detecte los destinos de todas las interfaces creadas en el paso 5. iscsiadm -m discovery -t st -p group_ip_address -interface=iface_name1 --interface=iface_name2 -interface=iface_name3 --interface=iface_name4, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name1, iface_name2, iface_name3, iface_name4, etc. son las interfaces de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI.
10 Compruebe que se hayan detectado todas las interfaces del host: iscsiadm -m discovery --print=1 Por ejemplo: # iscsiadm -m discovery --print=1 SENDTARGETS: DiscoveryAddress: 10.16.7.100,3260 Target: iqn.2001-05.com.equallogic:0-8a090690ee59d02-e26f999767b4942e-mdi-ocr-css-spfile Portal: 10.16.7.100:3260,1 Iface Name: eth0-iface Iface Name: eth1-iface Target: iqn.2001-05.com.equallogic:0-8a090693ee59d02-674f999767d4942e-mdi-data1 Portal: 10.16.7.
11 Inicie sesión en todos los destinos (volúmenes) de cada interfaz creada en el paso 5: iscsiadm -m node -p group_ip_address --interface iface_name --login, donde group_ip_address es la dirección IP del grupo de almacenamiento EqualLogic e iface_name es la interfaz de red (como se define en el paso 5) del host que se utiliza para el tráfico iSCSI. En el ejemplo siguiente se inicia sesión en tres volúmenes de cada una de las dos interfaces (eth0-iface y eth1-iface) de un host. # iscsiadm -m node -p 10.16.7.
Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth0-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful # iscsiadm -m node -p 10.16.7.100 --interface eth1-iface --login Logging in to [iface: eth1-iface, target: iqn.2001-05.com.equallogic:0-8a0906-90ee59d02e26f999767b4942e-mdi-ocr-css-spfile, portal: 10.16.7.
Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-93ee59d02674f999767d4942e-mdi-data1, portal: 10.16.7.100,3260]: successful Login to [iface: eth1-iface, target: iqn.200105.com.equallogic:0-8a0906-97be59d02d7ef99976814942e-mdi-fra1, portal: 10.16.7.100,3260]: successful 12 Visualice y compruebe todas las conexiones y las sesiones activas: iscsiadm -m session -i. 13 Compruebe que las particiones estén visibles en el sistema operativo: cat /proc/partitions.
3 Quite la marca de comentario de la sección siguiente de /etc/multipath.conf. defaults { udev_dir /dev polling_interval 10 selector "round-robin 0" path_grouping_policy multibus getuid_callout "/sbin/scsi_id -g -u -s /block/%n" prio_callout /bin/true path_checker readsector0 rr_min_io 100 max_fds 8192 rr_weight priorities failback immediate no_path_retry fail user_friendly_names yes } 4 Añada la sección siguiente a /etc/multipath.conf. El WWID se obtiene en el paso 1.
En la muestra siguiente se incluyen configuraciones de cuatro volúmenes. multipaths { multipath { wwid 6797996fe2 alias } multipath { wwid 6797994f67 alias } multipath { wwid 6797990f2e alias } multipath { wwid 689799efd7 alias } } 36090a028d059ee902e94b4 ocr-css-spfile 36090a028d059ee932e94d4 data1 36090a028d059ce952e94f4 data2 36090a028d059be972e9414 fra1 5 Reinicie el daemon multirruta y compruebe que los nombres de alias se muestran en la salida de multipath -l1.
ocr-css-spfile (36090a028d059ee902e94b46797996fe2) dm-11 EQLOGIC,100E-00 [size=2.
brw-rw---- 1 root disk 253, 11 Dec 15 11:51 /dev/mapper/ocr-css-spfile brw-rw---- 1 root disk 253, 6 Dec 15 11:22 /dev/mapper/osvg-crs brw-rw---- 1 root disk 253, 3 Dec 15 11:22 /dev/mapper/osvg-home brw-rw---- 1 root disk 253, 4 Dec 15 11:22 /dev/mapper/osvg-opt brw-rw---- 1 root disk 253, 0 Dec 15 11:22 /dev/mapper/osvg-root brw-rw---- 1 root disk 253, 7 Dec 15 11:22 /dev/mapper/osvg-swap brw-rw---- 1 root disk 253, 1 Dec 15 11:22 /dev/mapper/osvg-tmp brw-rw---- 1 root disk 253, 2 Dec 15 11:22 /dev/mapper
Configuración del almacenamiento de base de datos en el host AVISO: Antes de iniciar cualquiera de los procedimientos descritos en esta sección, lea la información de seguridad suministrada con el sistema. Para obtener información adicional sobre prácticas recomendadas, visite la página web sobre el cumplimiento de normativas en www.dell.com/regulatory_compliance. Oracle® Real Application Clusters (RAC) es una configuración de base de datos compleja que requiere una lista ordenada de procedimientos.
Tabla 7-1.
5 En el archivo /proc/partitions, compruebe lo siguiente: • Todos los pseudodispositivos PowerPath aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/emcpowera, /dev/emcpowerb y /dev/emcpowerc. • En el caso de las matrices de almacenamiento PowerVault MD3000, MD3000i o EqualLogic, todos los discos o volúmenes virtuales aparecen en el archivo con nombres de dispositivo similares en todos los nodos. Por ejemplo, /dev/sdb, /dev/sdc y /dev/sdd.
NOTA: En este ejemplo, el disco /dev/emcpowera ya tiene creada una partición principal /dev/emcpowera1. En el caso de la matriz de almacenamiento PowerVault MD3000, MD3000i o EqualLogic, el proceso se realiza en /dev/sdb1. fdisk /dev/emcpowera NOTA: Cree una partición en /dev/emcpowera antes de realizar los pasos siguientes.
1 En el indicador de comandos, escriba: fdisk , donde es el nombre de la partición que está ajustando. Por ejemplo, si el nombre de la partición es /dev/emcpowera, escriba: fdisk /dev/emcpowera El sistema muestra el mensaje siguiente: The number of cylinders for this disk is set to 8782. There is nothing wrong with that, but this is larger than 1024, and could in certain setups cause problems with: 1) software that runs at boot time (e.g.
6 En el indicador de comandos, escriba el siguiente argumento de la utilidad fdisk: w El sistema muestra el mensaje siguiente: The partition table has been altered! Calling ioctl() to re-read partition table. Syncing disks. (La tabla de particiones se ha modificado. Se está llamando a IOCTL() para volver a leer la tabla de particiones. Se están sincronizando los discos.) 7 Repita del paso 1 al paso 6 para el resto de los LUN con datos de Oracle.
5 Escriba: mke2fs -j /dev/emcpowera1 mke2fs -j /dev/emcpowerb1 6 Edite el archivo /etc/fstab para el sistema de archivos recién creado añadiendo entradas como por ejemplo: /dev/emcpowera1 /oradata ext3 defaults 1 2, donde es parecido a /u01/app/oracle. 7 Escriba: chown -R oracle.dba oradata recovery /dev/emcpowerb1 /recovery ext3 defaults 1 2, donde es parecido a /u01/app/oracle.
• Para utilizar dispositivos de bloque para software de clúster y ASM en archivos de recuperación y de base de datos, consulte “Configuración de discos de almacenamiento compartido para software de clúster Oracle mediante dispositivos de bloque y para archivos de recuperación y de base de datos mediante ASM” en la página 444.
f g En el menú, haga clic en Cluster (Clúster)→ Propagate Configuration (Propagar configuración). Aparece la ventana Propagate Cluster Configuration (Propagar configuración del clúster). Espere hasta que aparezca el mensaje Finished (Finalizado) en la ventana. Haga clic en Close (Cerrar). Seleccione File (Archivo)→ Quit (Salir). 3 Habilite la pila de clúster en todos los nodos durante el inicio; para ello, escriba: /etc/init.
6 En cualquiera de los nodos, formatee los dispositivos de almacenamiento externos con un tamaño de bloque de 4 KB, un tamaño de clúster de 128 KB y cuatro ranuras de nodo mediante la utilidad de línea de comandos mkfs.ocfs2: ocr.dbf y disco de votación mkfs.ocfs2-b 4K-C128K-N4-Lu01/dev/emcpowera1 Archivos de base de datos mkfs.ocfs2 -b 4K-C128K-N4-Lu02/dev/emcpowerb1 Área de recuperación flash mkfs.
c Escriba lo siguiente en cada nodo para montar todos los volúmenes que aparecen en el archivo /etc/fstab: mount -a -t ocfs2 d En cada nodo, añada el comando siguiente al archivo /etc/rc.
NOTA: Si las tres particiones de pseudodispositivos PowerPath no son coherentes en los nodos, modifique el archivo de configuración /dev/sysconfig/rawdevices según sea necesario. 4 Compruebe que existan las secuencias de comandos /etc/udev/scripts/rawdev.sh y /etc/udev/rules.d/60-rawdevices.rules. Si existen, continúe con el paso siguiente de la guía de instalación.
Configuración de discos para ASM mediante el controlador de biblioteca ORACLEASM Para configurar los discos ASM, realice los pasos siguientes: 1 Inicie la sesión como root.
7 Asegúrese de que los demás nodos pueden acceder a los discos ASM que ha creado en el paso 5.
vote1= vote2= vote3= [asm] asm1= asm2= Por ejemplo, si las particiones de OCR y de duplicación de OCR son /dev/emcpowera1 y /dev/emcpowera2, el archivo permissions.ini se modifica de la manera siguiente: [ocr] primary_ocr=/dev/emcpowera1 mirror_ocr1=/dev/emcpowera2 b Añada los nombres de los discos de votación al archivo permissions.ini.
4 Tras definir el archivo permissions.ini, ejecute la secuencia de comandos permissions.py ubicada en la carpeta /dell-oracle-deployment/scripts/: ./permissions.py 5 Ejecute el comando siguiente para definir los permisos de dispositivos de bloque correctos: /etc/rc.
Para añadir un dispositivo de discos ASM adicional (ASM3) con /dev/emcpowere1, añada otra entrada a la sesión: asm3=/dev/emcpowere1 4 Tras definir el archivo permissions.ini, ejecute la secuencia de comandos permissions.py ubicada en la carpeta /dell-oracle-deployment/scripts/: ./permissions.py 5 Ejecute el comando siguiente para definir los permisos de dispositivos de bloque correctos: /etc/rc.
6 Compruebe que los discos ASM se hayan creado y se hayan marcado para el uso de ASM. En la ventana de terminal, escriba lo siguiente y pulse : service oracleasm listdisks Se muestran los discos que ha creado en el paso 5. Por ejemplo: ASM1 ASM2 7 Asegúrese de que los demás nodos pueden acceder a los discos ASM que ha creado en el paso 5.
4 Abra una ventana de terminal y realice los pasos siguientes en el nodo nuevo: a Escriba: service oracleasm configure b Escriba lo siguiente para todos los nodos: Default user to own the driver interface [ ]: oracle Default group to own the driver interface [ ]: dba Start Oracle ASM library driver on boot (y/n) [n]: y Fix permissions of Oracle ASM disks on boot (y/n) [y]: y 5 Realice el paso 5 sólo si la configuración de RAC utiliza un almacenamiento iSCSI EqualLogic y un controlador de Device Mapper M
Configuración del almacenamiento de base de datos en el host
Índice A D alta disponibilidad, 389 Dell/EMC Fibre Channel, 395 almacenamiento, 395 conmutador, 395 ayuda, 384 asistencia de Dell, 384 asistencia de Oracle, 385 B dirección IP dirección IP privada, 387 dirección IP pública, 387 dirección IP virtual, 387 bonding de red, 389 disco de votación, 444 disco virtual, 384 C cable CAT 5e, 394 CAT 6, 394 cableado almacenamiento Fibre Channel, 396 almacenamiento SAS, 403 clúster iSCSI, 409 certificación y formación Dell, 385 Oracle, 385 clave pública, 391 con
I S ifconfig, 388 SAS configuración del clúster, 401 , 407 , 413 , 431 indicador de paráfrasis, 390 servicio de nombres de dominio, 387 L LUN, 395 M software de clúster configurar el almacenamiento, 438 software MPIO, 405 Modular Disk Storage Manager, 405 MTU, 419 N NIC asignaciones de puerto, 387 soporte multimedia de recursos PowerVault MD3000, 405 supervisar enlaces, 389 T número de unidad lógica, 384 término bloque, 413 grupo, 413 miembro, 413 volumen, 413 O trama gigante, 419 nombres d
