Guia Prático do cluster Veredas LCC/CENAPAD-MG

Abertura de conta

Após o usuário preencher o formulário de abertura de conta e enviar para o LCC/CENAPAD-MG, caso aprovada pela equipe do LCC/CENAPAD-MG, a conta será aberta e este poderá utlizar o Cluster Bull LCC/CENAPAD-MG. O usuário receberá os dados de acesso através do email cadastrado no ato da aberto de conta.

A abertura de cada conta estará vinculada a um projeto para fins de contabilidade de uso. No cluster o projeto será identificado pelo grupo unix NOME_DO_PROJETO (nome que você receberá por email) e as áreas de trabalho concedidas são:

• áreas privativas dos usuários: /home_cluster/NOME_DO_PROJETO/SEU_LOGIN
• área para software do grupo: /projetos/NOME_DO_PROJETO
• storage para dados computacionais: /storage/NOME_DO_PROJETO

Somente os usuários do grupo NOME_DO_PROJETO têm permissões de leitura, escrita e execução nos diretórios /projetos/NOME_DO_PROJETO e /storage/NOME_DO_PROJETO. A organização interna dos diretórios fica a critério dos membros do grupo. O responsável pelas atividades e ações do grupo será o seu pesquisador principal (principal investigator, PI), ou seja, o professor com vínculo empregatício à sua universidade de origem ou um PostDoc. Em geral será o pesquisador principal que solicitará a abertura de projeto e a inclusão de seus colaboradores de pesquisa. Qualquer usuário poderá solicitar à equipe de manutenção a sua inclusão em mais de um projeto diferente, sujeito à aprovação do seu respetivo PI.

Atenção!
Para a comunicação das senhas será utilizado o serviço Privnote. Trata-se de um serviço de anotações online no qual o destinatário tem um tempo limite para ler a anotação até que esta se auto-destrua. Os links de acesso ao Privnote serão enviados posteriormente para cada email cadastrado. No momento em que o link for ‘clicado’, a página será carregada com uma janela contendo uma string de 12 caracteres alfanuméricos. Essa string é a senha gerada para o primeiro acesso do usuário ao cluster. Copie essa string, porque o link será destruído. Recomendamos fortemente que no primeiro acesso o usuário troque a senha com o comando passwd. Lembre-se da importância de utilizar senhas fortes. Todos os estudos corroboram que a principal razão por detrás da grande maioria dos incidentes de segurança digital é a utilização de senhas fracas.

Acesso Remoto

O acesso ao Cluster Bull LCC/CENAPAD-MG é feito através do ssh através do endereço:

ssh SEU_LOGIN@veredas.cenapad.ufmg.br

• subtitua a palavra SEU_LOGIN pelo login que você recebeu após a abertura da conta.

Caso necessite de mais detalhes, acesso os link abaixo:

• Acesso remoto para usuários Linux

• Acesso remoto para usuários Windows

O Cluster Bull LCC/CENAPAD-MG

O Cluster Bull LCC/CENAPAD-­MG possui 109 nós computacionais distribuídos físicamente em 4 racks, Figura 1, cada nó com 2 processadores quadcore e 16 Gigabytes de memória principal, agregando um total de 848 núcleos de processamento (cores) e aproximadamente 1.7 Terabytes de memória distribuída pela máquina. O potencial de desempenho teórico do cluster traduzem em 9 Teraflops (nove trilhões de operações elementares por segundo). O Cluster é interligado através de um switch lógico de alto desempenho segundo a arquitetura de rede INFINIBAND o que permite a execução rápida de programas paralelos (distribuidos) que usam a rede para troca de dados. O cluster conta também com um storage interno com uma capacidade de armazenamento nominal de 45 TB para dados e backup.

Figura 1 - Figura que descreve a estrutura do Cluster Bull LCC/CENAPAD-MG

Hardware

Os servidores que compõem o cluster de alto desempenho do LCC/CENAPAD-MG estão organizados da seguinte forma:

Quantidade	Descrição	Hardware	Hostnames
1	Servidor login (frontend) Modelo: Bull R460	2x Quad Xeon 5130 2GHz - 1333FSB 8GB DDR3 RAM 147GB 15K RPM SAS disk	veredas0
1	Servidor de I/O (NFS) Modelo: Bull R460	2x Quad Xeon 5130 2 GHz - 1333 FSB 8GB DDR3 RAM 147GB 15K RPM SAS disk	veredas1
107	Nodos computacionais Modelo: R422-E1	2x Quad Xeon 5355 2.6 Ghz - 1600 FSB 16 GB DDR3 RAM 160GB 7200 RPM SATA3 disk	veredas[2,…,107]

Todo o trabalho de desenvolvimento de programas científicos bem como a preparação das tarefas computacionais devem ser realizados no servidor de login veredas0. O workflow que rege um determinado cálculo deve ser expresso num arquivo de script em linguagem bash e submetido ao gerenciador de recursos Slurm.

Uma vez logados no cluster os usuários poderão acessar o nosso guia rápido de utilização do Slurm através de:

• web browser:

firefox /usr/local/share/doc/SLURM-BULL-veredas-0.0.1/build/html/contents.html

• man-page:

man slurm-bull-veredas

• arquivo PDF:

acroread /usr/local/share/doc/SLURM-BULL-veredas.pdf

Extensa fonte de informação sobre o Slurm encontra-se no site dos seus criadores, onde é mantida uma mailing-list para usuários slurm-users. Praticamente todos os grandes centros de HPC no mundo apresentam também exemplos de submissão de jobs para códigos específicos das diversas áreas.

Software

Compiladores

O cluster está equipado com vários compiladores e ferramentas de análise de desempenho, de depuração e de desenvolvimento. Para além dos compiladores integrados que acompanham a distribuição Redhat Enterprise Linux 5.3, tais como o gcc, gfortran, dbg, openmpi, mpich2, etc, sob a licença da GNU, existem também os suítes proprietários da Intel e da BULL:

• Intel(R) Fortran Compiler 11.1 for IA-32 / Intel(R) 64

• Diretório raiz:

/opt/intel/Compiler/11.1/073

• Documentação online:

/opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_f.htm

/opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_f.pdf

• Intel(R) C/C++ Compiler 11.1 for IA-32 / Intel(R) 64

• Diretório raiz:

/opt/intel/Compiler/11.1/073

• Documentação online:

/opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_c.htm

/opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_c.pdf

• Intel(R) MPI Library, Development Kit for Linux OS

• Diretório raiz:

/opt/intel/impi/4.0.0.028

• Documentação online:

/opt/intel/impi/4.0.0.028/doc/Getting_Started.pdf

• BULL Development package for MPI-2

• Diretório raiz:

/opt/mpi/mpibull2-1.3.9-18.s/

• Documentação online:

/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf (Chapter 2)

Aplicações

Dica
Para uma consulta mais detalhada sobre o cluster, a BULL disponibiliza aos usuários os seguintes guias de utilização:

• Bullx cluster suite: User’s Guide

/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf

• Bullx cluster suite: Application Tuning Guide

/usr/local/share/info/20110325/Docs/XBAS-CS/86A223FA02.pdf

Diversos documentos e apresentações podem também ser encontrados sob o diretório /usr/local/share/info