Manual de Usuario – AWS ParallelCluster Pag.
AWS ParallelCluster
Manual de Usuario
Manual de Usuario – AWS ParallelCluster Pag. 2
Tabla de contenidos
Introducción............................................................................................................................................... 3
Instalación.................................................................................................................................................. 3
Instalación en un entorno virtual........................................................................................................... 3
Requisitos previos.............................................................................................................................3
Paso a paso........................................................................................................................................3
Configuración.............................................................................................................................................5
Creación y configuración de su primer clúster......................................................................................5
Uso Básico................................................................................................................................................. 8
Inicio de sesión en su nodo principal.................................................................................................... 8
Ejecución de su primer trabajo con Slurm............................................................................................ 9
Referencias...............................................................................................................................................10
Manual de Usuario – AWS ParallelCluster Pag. 3
Introducción
AWS ParallelCluster es una herramienta de código abierto respaldada por AWS que hace
que sea muy sencillo crear y gestionar clústeres de computación de alto rendimiento (HPC)
en la nube de AWS. La idea es que todo el proceso de configuración de recursos
computacionales, gestión de tareas y sistema de almacenamiento compartido esté
automatizado. Además, se integra muy bien con planificadores de trabajos como AWS Batch
y Slurm. [1]
ParallelCluster permite levantar entornos HPC rápidamente, ya sea para una prueba de
concepto o para un entorno de producción. También es muy útil para flujos de trabajo más
complejos; por ejemplo, podría usarlo para montar un portal de genómica que gestione de
forma automática todo el proceso de secuenciación de ADN. En pocas palabras, es una
solución potente y flexible para gestionar tus necesidades de HPC en AWS. [1]
Instalación
AWS ParallelCluster se distribuye como un paquete de Python y se instala mediante el
administrador de paquetes de Python. [2]
Instalación en un entorno virtual
Se recomienda principalmente instalar ParallelCluster en un entorno virtual para evitar
conflictos entre las versiones obligatorias y otros pip paquetes. [2]
Requisitos previos
• Se requiere Python 3.7 o posterior.
Paso a paso
1. Instalar virtualenv mediante pip3.
$ python3 -m pip install --upgrade pip
$ python3 -m pip install --user --upgrade virtualenv
2. Cree un entorno virtual y asigne un nombre y una versión especifica de python.
$ python3 -m virtualenv -p $(which python3) ~/apc-ve
3. Active el entorno virtual nuevo.
$ source ~/apc-ve/bin/activate
4. Instalación de ParallelCluster en su entorno virtual.
(apc-ve)~$ python3 -m pip install --upgrade "aws-parallelcluster"
Manual de Usuario – AWS ParallelCluster Pag. 4
5. AWS Cloud Development Kit requiere de Node.js para la generación de plantillas, por lo
que se requiere instalar Node version manager y la ultima versión LTS de Node.js.
$ curl -o-
$ https://raw.githubusercontent.com/nvm-sh/nvm/v0.38.0/install.sh |
bash
$ chmod ug+x ~/.nvm/nvm.sh
$ source ~/.nvm/nvm.sh
$ nvm install --lts
$ node –version
6. Compruebe que AWS ParallelCluster se ha instalado correctamente en el entorno virtual.
$ pcluster version
{
“version”: “3.7.0”
}
ParallelCluster se actualiza periódicamente, para actualizarlo a la versión mas reciente
vuelva a ejecutar el comando de instalación.
$ pip3 install aws-parallelcluster --upgrade --user
Para desinstalar ParallelCluster, utilice el siguiente comando.
$ pip3 uninstall aws-parallelcluster
Para crear un par de claves y guardar la clave privada en un archivo .pem mediante Amazon
EC2 escriba el siguiente comando. [3]
aws ec2 create-key-pair \
--key-name my-key-pair \
--key-type rsa \
--key-format pem \
--query "KeyMaterial" \
--output text > my-key-pair.pem
Ahora remplace el texto en rojo a sus necesidades, a continuación una explicación que debe
contener cada una.
• --key-name, es para especificar el nombre para la clave publica, en este puede incluir
hasta 255 caracteres ASCII. [3]
Manual de Usuario – AWS ParallelCluster Pag. 5
• --key-tipe, especifique si rsa o ed25519. Si no se incluye el parametro, se crea una
clave rsa de manera predeterminada. Tenga en cuenta que las claves ED25519 no
son compatibles con instancias de Windows. [3]
• --key-format, especifique si pem o ppk. Si no incluye un parametro, se creara un
archivo pem de forma predeterminada. [3]
• --query “KeyMaterial”, este imprime el material de clave privada en la salida. [3]
• --output text > my-key-pair.pm, especifique si se guarda el material de la clave
privada en la extensión .pem o .ppk. La clave privada puede tener un nombre diferente
del nombre de la clave publica, pero se recomienda utilizar el mismo nombre. [3]
Configuración
Despues de la instalación de ParallelCluster, complete los siguientes pasos de
configuración. [4]
Creación y configuración de su primer clúster
Cree su primer cluster mediante el comando “pclustar configure”, el cual iniciara un asistente
que le solicitara toda la información necesaria para configurar y crear el cluster. [5]
$ pcluster configure –config config-file.yaml
A partir de la lista de regiones, elija la region de AWS donde desea que se ejecute el clúster.
Allowed values for Región de AWS ID:
1. af-south-1
2. ap-east-1
3. ap-northeast-1
4. ap-northeast-2
5. ap-south-1
6. ap-southeast-1
7. ap-southeast-2
8. ca-central-1
9. eu-central-1
10. eu-north-1
11. eu-south-1
12. eu-west-1
13. eu-west-2
14. eu-west-3
15. me-south-1
16. sa-east-1
17. us-east-1
18. us-east-2
19. us-west-1
Manual de Usuario – AWS ParallelCluster Pag. 6
20. us-west-2
Región de AWS ID [ap-northeast-1]:
Luego, se selecciona de entre los pares de claves quee stan registrados en Amazon Elastic
Compute Cloud en el región de AWS, por lo que ahora elija el par de claves.
Allowed values for Amazon EC2 Key Pair Name:
1. your-key-1
2. your-key-2
Amazon EC2 Key Pair Name [your-key-1]:
Ahora, elija el programador que desea utilizar con el cluster.
Allowed values for Scheduler:
1. slurm
2. awsbatch
Scheduler [slurm]:
Elija el sistema operativo deseado.
Allowed values for Operating System:
1. alinux2
2. centos7
3. ubuntu2204
4. ubuntu2004
5. rhel8
Operating System [alinux2]:
Elija el tipo de instancia del nodo principal.
Head node instance type [t2.micro]:
Seleccione la configuración de la cola (tenga en cuenta que no se puede especificar el tipo
de instancia para múltiples recursos de cómputo dentro de la misma cola).
Number of queues [1]:
Name of queue 1 [queue1]:
Number of compute resources for queue1 [1]: 2
Compute instance type for compute resource 1 in queue1 [t2.micro]:
Maximum instance count [10]:
Manual de Usuario – AWS ParallelCluster Pag. 7
Habilite EFA para ejecutar aplicaciones que requieran altos niveles de comunicación entre
instancias a escala de AWS sin costo adicional. Seleccione un tipo de instancia compatible
con Elastic Fabric Adapter y especifique un nombre de grupo de ubicación existente; si lo
deja en blanco, ParallelCluster creará uno para usted. [5]
Compute instance type for compute resource 2 in queue1 [t2.micro]:
c5n.18xlarge
Enable EFA on c5n.18xlarge (y/n) [y]: y
Maximum instance count [10]:
Placement Group name []:
Una vez que haya completado los pasos anteriores, decida si desea utilizar un VPC existente
o permitir que ParallelCluster cree uno para usted. Si escoge por que ParallelCluster cree un
VPC, asegúrese de decidir si todos los nodos deben ubicarse en una subred pública.
Automate VPC creation? (y/n) [n]: y
Allowed values for Availability Zone:
1. us-east-1a
2. us-east-1b
3. us-east-1c
4. us-east-1d
5. us-east-1e
6. us-east-1f
Availability Zone [us-east-1a]:
Allowed values for Network Configuration:
1. Head node in a public subnet and compute fleet in a private subnet
2. Head node and compute fleet in the same public subnet
Network Configuration [Head node in a public subnet and compute fleet
in a private subnet]: 1
Beginning VPC creation. Please do not leave the terminal until the
creation is finalized
Si no crea una nueva VPC, debe escoger un VPC existente.
Si decide que ParallelCluster cree el VPC, tome nota del VPC-ID para que luego pueda
eliminarlo utilizando el AWS CLI.
Automate VPC creation? (y/n) [n]: n
Allowed values for VPC ID:
# id name number_of_subnets
--- --------------------- --------------------------------- -------------------
1 vpc-0b4ad9c4678d3c7ad ParallelClusterVPC-20200118031893 2
2 vpc-0e87c753286f37eef ParallelClusterVPC-20191118233938 5
VPC ID [vpc-0b4ad9c4678d3c7ad]: 1
Una vez seleccionada, decida si desea utilizar las subredes existentes o crear nuevas.
Automate Subnet creation? (y/n) [y]: y
Manual de Usuario – AWS ParallelCluster Pag. 8
Creating CloudFormation stack...
Do not leave the terminal until the process has finished
Cuando haya completado los pasos anteriores, un cluster simple se inicia en un VPC. VPC
utiliza una subred ya existente que admitira direcciones IP públicas. [5]
Ejecute el cluster ejectuando el comando “create”.
$ pcluster create-cluster --cluster-name test-cluster --cluster-
configuration cluster-config.yaml
{
"cluster": {
"clusterName": "test-cluster",
"cloudformationStackStatus": "CREATE_IN_PROGRESS",
"cloudformationStackArn": "arn:aws:cloudformation:eu-
west-1:xxx:stack/test-cluster/abcdef0-f678-890a-5abc-021345abcdef",
"region": "eu-west-1",
"version": "3.7.0",
"clusterStatus": "CREATE_IN_PROGRESS"
},
"validationMessages": []
}
Siga el progreso del cluster.
$ pcluster describe-cluster --cluster-name test-cluster
Una vez el cluster alcance su “clusterStatus” en “CREATE_COMPLETE”, podras conectarte a
el mediante la configuración SSH del cliente normal. O bien puede conectarse al cluster
mediante. [5]
pcluster ssh --cluster-name test-cluster -i ~/path/to/keyfile.pem
Uso Básico
Ahora conocerá como ejecutar su primer trabajo “Hello World” en AWS ParallelCluster [6]
Inicio de sesión en su nodo principal
Use su archivo OpenSSH para iniciar sesión en el nodo principal.
$ pcluster ssh --cluster-name hello-world -i /path/to/keyfile.pem
Después de iniciar sesión, ejecute el comando "sinfo" para verificar que sus nodos de
cómputo se hayan instalado y configurado correctamente.
$ sinfo
Manual de Usuario – AWS ParallelCluster Pag. 9
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST
queue1* up infinite 10 idle~ queue1-dy-queue1t2micro-[1-
10]
Este resultado muestra que tenemos en cola nuestro cluster, con hasta diez nodos.
Ejecución de su primer trabajo con Slurm
Vamos a crear un script que permanecerá en suspensión durante un período de tiempo y
luego generará su nombre de host. Para ello, cree un archivo llamado "hellojob.sh" y utilice el
siguiente comando.
#!/bin/bash
sleep 30
echo "Hello World from $(hostname)"
Luego, envíe el trabajo utilizando "sbatch" y verifique que se esté ejecutando correctamente.
$ sbatch hellojob.sh
Submitted batch job 2
Ahora puede revisar la cola para comprobar el estado del trabajo. Para monitorear el estado
de las instancias del clúster, utilice el comando "sinfo".
$ squeue
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)
2 queue1 hellojob ec2-user CF 3:30 1 queue1-dy-queue1t2micro-1
Ahora que no se encuentran trabajos en cola, comprobaremos el resultado en nuestro
directorio actual.
$ ls -l
total 8
-rw-rw-r-- 1 ec2-user ec2-user 57 Sep 1 14:25 hellojob.sh
-rw-rw-r-- 1 ec2-user ec2-user 43 Sep 1 14:30 slurm-2.out
En el resultado encontraremos un archivo "out", donde podremos visualizar el resultado de
nuestro trabajo.
$ cat slurm-2.out
Hello World from queue1-dy-queue1t2micro-1
Manual de Usuario – AWS ParallelCluster Pag. 10
Referencias
[1] “What is AWS ParallelCluster - AWS ParallelCluster”. Accedido el 1 de octubre de 2024.
[En línea]. Disponible: https://docs.aws.amazon.com/parallelcluster/latest/ug/what-is-aws-
parallelcluster.html
[2] “Install AWS ParallelCluster in a virtual environment (recommended) - AWS
ParallelCluster”. Accedido el 1 de octubre de 2024. [En línea]. Disponible:
https://docs.aws.amazon.com/parallelcluster/latest/ug/install-v3-virtual-environment.html
[3] “Create a key pair for your amazon EC2 instance - amazon elastic compute cloud”.
Accedido el 1 de octubre de 2024. [En línea]. Disponible:
https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/create-key-pairs.html
[4] “Setting up AWS ParallelCluster - AWS ParallelCluster”. Accedido el 1 de octubre de 2024.
[En línea]. Disponible: https://docs.aws.amazon.com/parallelcluster/latest/ug/install-v3.html
[5] “Configure and create a cluster with the AWS ParallelCluster command line interface -
AWS ParallelCluster”. Accedido el 1 de octubre de 2024. [En línea]. Disponible:
https://docs.aws.amazon.com/parallelcluster/latest/ug/install-v3-configuring.html
[6] “Running your first job on AWS ParallelCluster - AWS ParallelCluster”. Accedido el 1 de
octubre de 2024. [En línea]. Disponible:
https://docs.aws.amazon.com/parallelcluster/latest/ug/tutorials-running-your-first-job-on-
version-3.html
