Apasoft Training
PRÁCTICÁS CURSO DE
MONTAR UN CLUSTER
ORACLE RAC 12C R2
DE UDEMY
1. Descargar Centos 7
• Descargar Centos 7 desde la página Web de Centos
www.centos.org
• Almacenarlo en alguna carpeta
www.apasoft-training.com
apasoft.training@gmail.com
1
Apasoft Training
2. Configurar Máquina virtual. Redes y otros:
• Arrancar Virtual Box y crear una nueva máquina virtual
• Crear una primera máquina virtual llamada “node1” de tipo Centos 64 bits.
• La indicamos una memoria de 8G
• Añadimos un disco duro
www.apasoft-training.com
apasoft.training@gmail.com
2
Apasoft Training
• De tipo VDI
• Le indicamos de tipo dinámico
www.apasoft-training.com
apasoft.training@gmail.com
3
Apasoft Training
• Le llamamos node1 y le ponemos 100Gigas de espacio
• En el menú Settings General Advanced, le indicamos bidireccional
• En Settings Display ponemos 128M
www.apasoft-training.com
apasoft.training@gmail.com
4
Apasoft Training
• Creamos 4 tarjetas de red
• La primera de tipo NAT
• Las otras 3 de tipo INTERNAL
www.apasoft-training.com
apasoft.training@gmail.com
5
Apasoft Training
3. Instalar Centos 7 en la máquina virtual
• Procedemos a instalar el Sistema Operativo Centos siguiendo las indicaciones del vídeo del
capítulo correspondiente
•
www.apasoft-training.com
apasoft.training@gmail.com
6
Apasoft Training
4. Añadir Grupos
• Nos convertimos en root
su – root
• Añadimos los siguientes groups
groupadd install
groupadd dba
groupadd osmadmin
• Modificamos el usuario grid
Usermod -g osintall -G dba,asmadmin grid
• Ponemos el siguiente commando para comprobar que está ok
www.apasoft-training.com
apasoft.training@gmail.com
7
Apasoft Training
5. Clonar máquinas virtuales
• Clonamos las máquinas siguiendo los pasos indicados en el vídeo correspondiente
www.apasoft-training.com
apasoft.training@gmail.com
8
Apasoft Training
6. NTP y Firewall
• Desactivamos en los 3 NODOS el servicio de tiempo y el del firewall
systemctl stop ntpd
systemctl disable ntpd
systemctl stop firewalld
systemctl disable firewalld
• Comprobamos que están parados
systemctl status ntpd
systemctl status firewalld
7. Cambiar el nombre a las máquinas
• Nos conectamos al nodo2 y al nodo3 como root
Ejecutamos el comando
hostnamectl set-hostname node2
• Comprobamos
uname -n
www.apasoft-training.com
apasoft.training@gmail.com
9
Apasoft Training
8. Configurar las IPs
• Vamos a usar las siguientes IPs
NODE1 PUBLICA 192.168.0.10
PUBLICA VIP 192.168.0.11
PRIVADA 10.0.0.10
ASM 172.16.0.10
NODE2 PUBLICA 192.168.0.100
PUBLICA VIP 192.168.0.101
PRIVADA 10.0.0.100
ASM 172.16.0.100
NODE3 PUBLICA 192.168.0.200
PUBLICA VIP 192.168.0.201
PRIVADA 10.0.0.200
ASM 172.16.0.200
• Tenéis un fichero denominado rac.dns.txt eb los recursos del capítulo que tiene la
información para el fichero rac.dns que se indica en el vídeo
• En LOS TRES NODOS podemos ver los dispositivos
• Accedemos a la configuración de cada tarjeta
www.apasoft-training.com
apasoft.training@gmail.com
10
Apasoft Training
• Seleccionamos este icono para entrar en lar propiedades
www.apasoft-training.com
apasoft.training@gmail.com
11
Apasoft Training
• Por cada tarjeta en cada nodo le aplicamos modo MANUAL y configuramos la dirección IP
• En cada tarjeta marcamos esta opción
www.apasoft-training.com
apasoft.training@gmail.com
12
Apasoft Training
9. Configurar DNSMASQ para el SCAN y el resto de IPs
• Lo hacemos en el primer nodo, en el node1
• Comprobamos que tenemos el paquete y si no lo instalamos
[grid@nodo1 logs]$ rpm -qa | grep dnsmasq
dnsmasq-2.48-13.el6.x86_64
• Creamos un fichero denominado /etc/rac.dns y ponemos la siguiente información. Debemos
borrar las entradas del /etc/hosts si las tenemos
192.168.0.10 node1
192.168.0.11 node1-vip
10.0.0.10 node1-priv
172.16.0.10 node1-asm
192.168.0.100 node2
192.168.0.101 node2-vip
10.0.0.100 node2-priv
172.16.0.100 node2-asm
192.168.0.200 node3
192.168.0.201 node3-vip
10.0.0.200 node3-priv
172.16.0.200 node3-asm
192.168.0.220 scan
192.168.0.221 scan
192.168.0.222 scan
• En el fichero /etc/dnsmasq.conf añadimos el fichero anterior con una línea como la
siguiente:
www.apasoft-training.com
apasoft.training@gmail.com
13
Apasoft Training
addn-hosts=/etc/rac.dns
• Arrancamos el servicio y lo dejamos activado para el rebote
systemctl start dnsmasq
systemctl enable dnsmasq
• Comprobar que lo ha arrancado
• Modificamos el fichero /etc/resolv.conf del primer nodo y añadimos la línea siguiente
nameserver 192.168.0.10
• El /etc/resolv.conf del segundo nodo debe apuntar también al primero
nameserver 192.168.0.10
• Debemos impedir que el fichero se reescriba al arrancar
chattr +i /etc/resolv.conf
• Comprobamos con nslookup desde los dos nodos que se responde al scan y al resto de nodos
www.apasoft-training.com
apasoft.training@gmail.com
14
Apasoft Training
www.apasoft-training.com
apasoft.training@gmail.com
15
Apasoft Training
Crear y compartir los discos entre las máquinas virtuales
• Creamos y compartimos los discos según el vídeo
Configuración de los discos para ser compartidos con UDEV
• Creamos un link para el comando scsi_id
ln /lib/udev/scsi_id /sbin/scsi_id
• Lo hacemos en los DOS NODOS
• Comprobar la id que tienen los discos, desde /dev/sdb a /dev/sdg.
• Por ejemplo:
[root@nodo1 bin]# scsi_id -g -u -d /dev/sdc
36589cfc0000007861c35a6486e3e5adc
• Creamos el fichero /etc/udev/rules.d/99-oracle-asmdevices.rules
• Configuramos los discos (CUIDADO, vuestros números pueden ser distintos) basándones el
scisi_id que nos ha facilitado
KERNEL=="sd?1", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent",
RESULT=="1ATA_VBOX_HARDDISK_VBfd1d53af-0bea8ae4", SYMLINK+="DISCO1",
OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?1", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent",
RESULT=="1ATA_VBOX_HARDDISK_VB6590bf1b-a3455775", SYMLINK+="DISCO2",
OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?1", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent",
RESULT=="1ATA_VBOX_HARDDISK_VB4ef0f031-d06f2b6e", SYMLINK+="DISCO3",
OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd?1", PROGRAM=="/sbin/scsi_id -g -u -d /dev/$parent",
RESULT=="1ATA_VBOX_HARDDISK_VB3c4936cc-7791e15e", SYMLINK+="DISCO4",
OWNER="grid", GROUP="asmadmin", MODE="0660"
• Recargamos la tabla de particiones
udevadm control –reload-rules
• Podemos comprobar el estado del udev
www.apasoft-training.com
apasoft.training@gmail.com
16
Apasoft Training
systemctl status system-udevd
• Rebotamos todo el udev
systemctl restart systemd-udevd
udevadm trigger
• Comprobamos que tenemos los discos preparado
• Copiamos el fichero de RULES a los otros dos nodos mediante scp
• Con FDISK, creamos una partición en cada uno de los discos
• Debemos dar la siguiente secuencia de comandos. Por ejemplo para el disco /dev/sdb
o n
o p
o 1
o INTRO
o INTRO
o w
• Lo hacemos para el resto. Debe haber creado el /dev/sdb1
• Copiamos el fichero de RULES a los otros dos nodos mediante scp
scp FICHERO node2:/directorio
• Hacemos todos los pasos que hemos hecho en el primero para recargar udev
www.apasoft-training.com
apasoft.training@gmail.com
17
Apasoft Training
systemctl restart systemd-udevd
udevadm trigger
• Cargamos la tabla de particiones
partprobe /dev/sdc
partprobe /dev/sdd
artprobe /dev/sde
• Comprobamos que se han localizado correctamente en cada disco
Udevadm test /sys/block/sdc
• Recargamos las reglas y rebotamos UDEV
udevadm control --reload-rules
Instalación de ASMLIB y preparación de los discos
• Instalamos el driver de ASMLIB en los 3 nodos
yum install kmod-oracleasm
• Nos descargamos los otros dos componentes de la página de oracle
• En los tres nodos instalamos los paquetes ASM
rpm –ivh oracleasm-support-XXXXXXXXXXXXX.rpm
rpm –ivh oracleasmlib-XXXXXXXXXXX.rpm
• Una vez instalada la librería ASM y en el node1 preparamos los 2 discos finales con FDISK
(sdf y sdg)
N -> para crear partición
P - para indicarle primaria
1 partición 1
www.apasoft-training.com
apasoft.training@gmail.com
18
Apasoft Training
Intro para seleccionar el cilndro incial por defecto
Intro para seleccionar el cilindro final por defecto
W para escribir a disco la información
• Si todo es correcto habrá creado un /dev/sdf1, /dev/sdg1.
• Ahora vamos a añadirla a la librería ASM. Primero configuramos ASM en cada uno de los dos
nodos
oracleasm configure -i (le indicamos el usuario grid y grupo asmadmin)
• Luego añadimos los dos discos en el primer nodo solo.
./oracleasm createdisk DISCO5 /dev/sdf1
./oracleasm createdisk DISCO6 /dev/sdbg1
• Comprobamos que se se ven
oracleasm listdisks
• En el Segundo nodo los activamos
oracleasm scandisks
oracleasm listdisks.
www.apasoft-training.com
apasoft.training@gmail.com
19
Apasoft Training
10. PASO OPCIONAL. PREPARACIÓN DE SSH
• En cada nodo ejecutamos el siguiente comando
[grid@nodo1 ~]$ ssh-keygen
Generating public/private rsa key pair.
Enter file in which to save the key (/disco2/grid/.ssh/id_rsa):
Created directory '/disco2/grid/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /disco2/grid/.ssh/id_rsa.
Your public key has been saved in /disco2/grid/.ssh/id_rsa.pub.
The key fingerprint is:
ac:29:a0:da:3e:2e:60:da:e6:b1:b5:e7:61:b4:d7:4d grid@nodo1
• En el directorio /disco2/grid/.ssh de cada nodo habrá creado dos ficheros
[grid@nodo2 ~]$ cd .ssh
[grid@nodo2 .ssh]$ ls -ltr
total 8
-rw-r--r-- 1 grid osasm 392 jun 19 10:18 id_rsa.pub
-rw------- 1 grid osasm 1675 jun 19 10:18 id_rsa
• En el primer nodo por ejemplo creamos dentro de “.ssh” un fichero denominado
authorized_keys y lo rellenamos con los datos de los ficheros “id_rsa.pub” de cada uno de
los usuarios grid de cada nodo. Lo pasamos al segundo nodo, es decir, el fichero
“authorized_keys” de cada nodo debe contener la misma información.
www.apasoft-training.com
apasoft.training@gmail.com
20
Apasoft Training
• Una vez que lo tenemos podemos probar con un ssh. La primera vez nos pide añadirlo al
fichero de hosts, luego no nos debe preguntar nunca mas
[grid@nodo2 .ssh]$ ssh nodo1
The authenticity of host 'nodo1 (192.168.1.2)' can't be established.
RSA key fingerprint is 87:7f:03:ef:e3:b4:7b:30:bd:5d:47:9c:12:c9:03:3f.
Are you sure you want to continue connecting (yes/no)?
www.apasoft-training.com
apasoft.training@gmail.com
21
Apasoft Training
11. Instalación del clusterware
• Seguimos los pasos indicados en el vídeo
12. Trabajar con el cluster
• Comprobamos con el comando “ps” los procesos background que se están ejecutando en
cada uno de los dos nodos. Debe aparecer algo parecido a lo siguiente:
• Comprobar el contenido del fichero /etc/oratab
www.apasoft-training.com
apasoft.training@gmail.com
22
Apasoft Training
• La instancia predefinida es +ASM1 en el primer nodo y +ASM2 en el segundo, etc….
[oracle@grid1 ~]$ . oraenv
ORACLE_SID = [+ASM1] ?
The Oracle base for ORACLE_HOME=/software/oracle/app/11.2.0/grid is
/software/oracle/app/oracle
• Comprobar que los recursos y el cluster están funcionando
crsctl stat res –t
• Comprobamos la funcionalidad del cluster
crsctl check cluster
• Comprobamos la funcionalidad del CRS
crsctl check crs
• Comprobamos la versión de software instalada
crsctl query crs softwareversion
www.apasoft-training.com
apasoft.training@gmail.com
23
Apasoft Training
• Comprobamos la existencia del voting disk
crsctl query css votedisk
• Realizamos un “ifconfig” en cada nodo para comprobar la presencia de las VIP. ¿Dónde se
encuentra la VIP de las SCAN?
• Parar el nodo 2 con init 0 (no parar el nodo1 ya que tiene el DNS y por tanto el nodo 2 no
podría reconfigurarse al no encontrar los nombres de las máquinas).
• Comprobar que el nodo1 coge el control de la VIP del nodo2 y que por tanto sigue estando
accesible para clientes.
• Parar de CRS en un nodo. ¿Podemos hacerlo como usuario grid? Conectarnos como root y
pararlo.
• Esperar a que termine la parada y comprobar los servicios que siguen existiendo en el otro
nodo
crsctl stop crs
• Volver a arrancarlo
crsctl start crs
• Comprobar el estado del OCR y su ubicación
ocrcheck
• Accedemos al directorio /etc/oracle y comprobamos el contenido del fichero “ocrl.loc”
• Ejecutar el comando ocrcheck –local ¿podemos hacerlo si no somos root?
• Comprobar donde se encuentran los backup
ocrconfig -showbackup
www.apasoft-training.com
apasoft.training@gmail.com
24
Apasoft Training
Añadir un nuevo grupo de discos a través de ASMCA
• Abrimos ASMCA
asmca
• Pulsamos el botón CREAR y creamos el grupo BBDD siguiendo las instrucciones del vídeo.
Debemos usar el DISCO5
Añadir un nuevo grupo de discos a través de SQLPLUS
• Accedemos a slqplus
sqlplus / as sysadm
• Ejecutamos el siguiente comando
CREATE DISKGROUP FRA
EXTERNAL REDUNDANCY
DISK '/home/oracleasm/disks/DISCO6';
www.apasoft-training.com
apasoft.training@gmail.com
25
Apasoft Training
Añadir un nodo
• Añadimos el nodo siguiendo las instrucciones del vídeo
Instalar RAC 12
• Instalamos RAC 12 siguiendo las instrucciones de los vídeos
www.apasoft-training.com
apasoft.training@gmail.com
26
