https://www.lcc.ufmg.br/wiki/api.php?action=feedcontributions&feedformat=atom&user=AdmlccwikiWiki LCC - Contribuições do(a) usuário(a) [pt-br]2026-05-13T12:24:24ZContribuições do(a) usuário(a)MediaWiki 1.32.1https://www.lcc.ufmg.br/wiki/index.php?title=Acesso_via_SSH_a_M%C3%A1quinas_Virtuais&diff=303Acesso via SSH a Máquinas Virtuais2025-08-27T14:33:04Z<p>Admlccwiki: </p>
<hr />
<div> '''Seção 1. Para Usuários Internos (com conta Minha UFMG)<br />
'''<br />
'''Modelo de credencial: ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br<br />
'''<br />
ATENÇÃO:<br />
- É necessário que o usuário já possua o login minhaUFMG.<br />
- Caso você não possua ou não saiba sua senha, entre em contato com a DTI (Diretoria de Tecnologia da Informação):<br />
Telefone: (31) 3409-4009<br />
E-mail: suporte@dti.ufmg.br<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br'''<br />
<br />
3. Digite sua senha da minhaUFMG quando solicitado.<br />
<br />
'''Exemplo:''' ssh joaosilva@vm001.lcc.ufmg.br<br />
<br />
<br />
'''Seção 2. Para Usuários Externos (sem conta minhaUFMG)<br />
'''<br />
<br />
ATENÇÃO: É necessário que o usuário aguarde o cadastro e retorno departamental para primeiro acesso.<br />
<br />
'''Modelo de credencial:''' ssh cpf@nomemaquina.lcc.ufmg.br<br />
'''Senha padrão inicial:''' disponibiizada ao autor da conta.<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh cpf@nomemaquina.lcc.ufmg.br'''<br />
<br />
'''Exemplo:''' ssh 123456789@vm001.lcc.ufmg.br<br />
<br />
3. Quando solicitado, insira a senha padrão, com seus dados como no modelo credencial:<br />
<br />
'''Exemplo: 123456789********@****<br />
'''<br />
'''Nota''' - caracteres foram ocultados para fins de exibição.<br />
<br />
'''DICAS GERAIS:'''<br />
- Ao incluir a senha padrão, você deverá registrar uma nova senha diferente da já inserida;<br />
- O nome da máquina ('''nomemaquina.lcc.ufmg.br''') será fornecido pela instituição;<br />
- Caso você receba a mensagem permission denied, verifique se você digitou corretamente a senha.<br />
<br />
- Elaborado por Pedro Artur Lourenço - Técnico de Tecnologia da Informação.<br />
[[Categoria:Manuais]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Acesso_via_SSH_a_M%C3%A1quinas_Virtuais&diff=302Acesso via SSH a Máquinas Virtuais2025-08-27T14:31:16Z<p>Admlccwiki: </p>
<hr />
<div> '''Seção 1. Para Usuários Internos (com conta Minha UFMG)<br />
'''<br />
'''Modelo de credencial: ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br<br />
'''<br />
ATENÇÃO:<br />
- É necessário que o usuário já possua o login minhaUFMG.<br />
- Caso você não possua ou não saiba sua senha, entre em contato com a DTI (Diretoria de Tecnologia da Informação):<br />
Telefone: (31) 3409-4009<br />
E-mail: suporte@dti.ufmg.br<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br'''<br />
<br />
3. Digite sua senha da minhaUFMG quando solicitado.<br />
<br />
'''Exemplo:''' ssh joaosilva@vm001.lcc.ufmg.br<br />
<br />
<br />
'''Seção 2. Para Usuários Externos (sem conta minhaUFMG)<br />
'''<br />
<br />
ATENÇÃO: É necessário que o usuário aguarde o cadastro e retorno departamental para primeiro acesso.<br />
<br />
'''Modelo de credencial:''' ssh cpf@nomemaquina.lcc.ufmg.br<br />
'''Senha padrão inicial:''' disponibiizada ao autor da conta.<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh cpf@nomemaquina.lcc.ufmg.br'''<br />
<br />
'''Exemplo:''' ssh 123456789@vm001.lcc.ufmg.br<br />
<br />
3. Quando solicitado, insira a senha padrão, com seus dados como no modelo credencial:<br />
<br />
'''Exemplo: 123456789********@****<br />
'''<br />
'''Nota''' - caracteres foram ocultados para fins de exibição.<br />
<br />
'''DICAS GERAIS:'''<br />
- Ao incluir a senha padrão, você deverá registrar uma nova senha diferente da já inserida;<br />
- O nome da máquina ('''nomemaquina.lcc.ufmg.br''') será fornecido pela instituição;<br />
- Caso você receba a mensagem permission denied, verifique se você digitou corretamente a senha.<br />
<br />
[[Categoria:Manuais]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Acesso_via_SSH_a_M%C3%A1quinas_Virtuais&diff=301Acesso via SSH a Máquinas Virtuais2025-08-27T14:30:13Z<p>Admlccwiki: Acesso ssh via máquinas projeto Proxmox Multi01 - Autor Pedro Artur Lourenço</p>
<hr />
<div> '''Seção 1. Para Usuários Internos (com conta Minha UFMG)<br />
'''<br />
'''Modelo de credencial: ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br<br />
'''<br />
ATENÇÃO:<br />
- É necessário que o usuário já possua o login minhaUFMG.<br />
- Caso você não possua ou não saiba sua senha, entre em contato com a DTI (Diretoria de Tecnologia da Informação):<br />
Telefone: (31) 3409-4009<br />
E-mail: suporte@dti.ufmg.br<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh usuariominhaufmg@nomemaquina.lcc.ufmg.br'''<br />
<br />
3. Digite sua senha da minhaUFMG quando solicitado.<br />
<br />
'''Exemplo:''' ssh joaosilva@vm001.lcc.ufmg.br<br />
<br />
<br />
'''Seção 2. Para Usuários Externos (sem conta minhaUFMG)<br />
'''<br />
<br />
ATENÇÃO: É necessário que o usuário aguarde o cadastro e retorno departamental para primeiro acesso.<br />
<br />
'''Modelo de credencial:''' ssh cpf@nomemaquina.lcc.ufmg.br<br />
'''Senha padrão inicial:''' disponibiizada ao autor da conta.<br />
<br />
'''Passo a passo:<br />
'''<br />
<br />
1. Abra um terminal.<br />
<br />
2. Digite substituindo com suas informações: '''ssh cpf@nomemaquina.lcc.ufmg.br'''<br />
<br />
'''Exemplo:''' ssh 123456789@vm001.lcc.ufmg.br<br />
<br />
3. Quando solicitado, insira a senha padrão, com seus dados como no modelo credencial:<br />
<br />
'''Exemplo: 123456789********@****<br />
'''<br />
'''Nota''' - caracteres foram ocultados para fins de exibição.<br />
<br />
'''DICAS GERAIS:'''<br />
- Ao incluir a senha padrão, você deverá registrar uma nova senha diferente da já inserida;<br />
- O nome da máquina ('''nomemaquina.lcc.ufmg.br''') será fornecido pela instituição;<br />
- Caso você receba a mensagem permission denied, verifique se você digitou corretamente a senha.<br />
<br />
[[Categoria:Materiais]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Avicena&diff=300Slurm - Avicena2021-10-27T14:13:53Z<p>Admlccwiki: </p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@masternode ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''long''': nós '''nodes[003-006]''' máximo 3 dias..<br />
* partição '''short''': nós '''nodes[001-002]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ scontrol show partitions<br />
PartitionName=short<br />
AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL<br />
AllocNodes=ALL Default=YES QoS=N/A<br />
DefaultTime=NONE DisableRootJobs=NO ExclusiveUser=NO GraceTime=0 Hidden=NO<br />
MaxNodes=UNLIMITED MaxTime=01:00:00 MinNodes=0 LLN=NO MaxCPUsPerNode=UNLIMITED<br />
Nodes=node[001-002]<br />
PriorityJobFactor=1 PriorityTier=1 RootOnly=NO ReqResv=NO OverSubscribe=NO<br />
OverTimeLimit=NONE PreemptMode=OFF<br />
State=UP TotalCPUs=24 TotalNodes=2 SelectTypeParameters=NONE<br />
JobDefaults=(null)<br />
DefMemPerNode=UNLIMITED MaxMemPerCPU=3000<br />
<br />
PartitionName=long<br />
AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL<br />
AllocNodes=ALL Default=NO QoS=N/A<br />
DefaultTime=NONE DisableRootJobs=NO ExclusiveUser=NO GraceTime=0 Hidden=NO<br />
MaxNodes=UNLIMITED MaxTime=3-00:00:00 MinNodes=0 LLN=NO MaxCPUsPerNode=UNLIMITED<br />
Nodes=node[003-006]<br />
PriorityJobFactor=1 PriorityTier=1 RootOnly=NO ReqResv=NO OverSubscribe=NO<br />
OverTimeLimit=NONE PreemptMode=OFF<br />
State=UP TotalCPUs=52 TotalNodes=4 SelectTypeParameters=NONE<br />
JobDefaults=(null)<br />
DefMemPerNode=UNLIMITED MaxMemPerCPU=3000<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
short* up 1:00:00 1 idle node[001-002]<br />
long up 3-00:00:00 4 idle node[003-006]<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
977 long test root R 0:10 1 node004<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
Solicite quatro núcleos no cluster por 10 minutos, usando 100 MB de RAM por núcleo. Assumindo que hello.mpi foi compilado com suporte a MPI, srun irá criar quatro instâncias dele, nos nós alocados pelo Slurm:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#<br />
#SBATCH --job-name=test_mpi<br />
#SBATCH --output=res_mpi.txt<br />
#<br />
#SBATCH --ntasks=4<br />
#SBATCH --time=10:00<br />
#SBATCH --mem-per-cpu=5000<br />
module load gnu-mpi/mpich/3.4<br />
<br />
srun hello.mpi<br />
<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@masternode]# cat res_mpi.txt<br />
---------------------------------------------------------------------------------------------------------------<br />
We have 4 processes.<br />
Process 1 reporting for duty.<br />
Process 2 reporting for duty.<br />
Process 3 reporting for duty.<br />
</pre><br />
<br />
=== Tarefas paralelas com ''threads'' (OpenMP) ===<br />
O trabalho será executado em uma alocação em que quatro núcleos foram reservados no mesmo nó de computação:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#<br />
#SBATCH --job-name=test_omp<br />
#SBATCH --output=res_omp.txt<br />
#<br />
#SBATCH --ntasks=1<br />
#SBATCH --cpus-per-task=10<br />
#SBATCH --time=10:00<br />
#SBATCH --mem-per-cpu=100<br />
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK<br />
<br />
./hello.omp<br />
</syntaxhighlight><br />
<br />
Como saída o arquivo res_omp contém:<br />
<br />
<pre class="bash"><br />
#!/bin/bash<br />
Hello World from thread 0<br />
Hello World from thread 3<br />
Hello World from thread 1<br />
Hello World from thread 2<br />
There are 4 threads<br />
</pre><br />
<br />
=== Tarefas paralelas com ''threads'' (OpenMP + MPI) ===<br />
Você pode misturar multiprocessamento (MPI) e multi-threading (OpenMP) no mesmo trabalho, simplesmente assim:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#! / bin / bash <br />
# <br />
#SBATCH --ntasks = 8 <br />
#SBATCH --cpus-per-task = <br />
module load gnu-mpi/openmpi/4.1<br />
export OMP_NUM_THREADS = $ SLURM_CPUS_PER_TASK <br />
<br />
srun ./myprog<br />
</syntaxhighlight><br />
<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@masternode ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Sidebar&diff=299MediaWiki:Sidebar2021-10-27T02:22:29Z<p>Admlccwiki: </p>
<hr />
<div>**{{SERVER}}|icone<br />
* navigation<br />
** mainpage|mainpage-description<br />
** recentchanges-url|recentchanges<br />
** randompage-url|randompage<br />
*Acesso rápido<br />
** Guia_Prático_do_cluster_Avicena_LCC/CENAPAD-MG|Guia prático cluster Avicena<br />
** Guia_Prático_do_cluster_Veredas_LCC/CENAPAD-MG|Guia prático cluster Veredas<br />
** Slurm - Avicena|Slurm - Avicena<br />
** Slurm - Veredas|Slurm - Veredas<br />
** Acesso_remoto_para_usuários_Linux|Acesso remoto via Linux<br />
** Acesso_remoto_para_usuários_Windows|Acesso remoto via Windows<br />
** https://pt.wikipedia.org/wiki/Utilit%C3%A1rios_Unix|Comandos Linux<br />
* Categorias<br />
** Categoria:Manuais|Manuais<br />
** Categoria:Cluster Avicena|Cluster Avicena<br />
** Categoria:Cluster Veredas|Cluster Veredas<br />
* SEARCH<br />
* TOOLBOX<br />
* LANGUAGES</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Veredas&diff=298Slurm - Veredas2021-10-27T02:20:07Z<p>Admlccwiki: </p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''full''': nós '''veredas[12-107]''' sem restrição de tempo.<br />
* partição '''short''': nós '''veredas[2-11]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ scontrol show partitions<br />
PartitionName=full TotalNodes=96 TotalCPUs=768 RootOnly=NO<br />
Default=YES Shared=NO Priority=1 State=UP MaxTime=UNLIMITED Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[12-107] NodeIndices=10-105 DefaultTime=NONE<br />
<br />
PartitionName=short TotalNodes=10 TotalCPUs=80 RootOnly=NO<br />
Default=NO Shared=NO Priority=1 State=UP MaxTime=01:00:00 Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[2-11] NodeIndices=0-9 DefaultTime=NONE<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
full* up infinite 96 idle veredas[12-107]<br />
short up 1:00:00 9 idle veredas[2,4-11]<br />
short up 1:00:00 1 down veredas3.<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
179 short HelloWor test3 R 0:02 2 veredas[4-5]<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
O exemplo seguinte representa a submissão de um ''job'' paralelo MPI que foi compilado com o compilador proprietário da BULL (MPI BULL): '''mpicc -DALIGNED -c hello.c -o hello.o'''; '''mpicc hello.o -o hello.x'''. Nesta situação permitimos que o SLURM se gerencie não só da alocação dos recursos, mas também da execução do programa e da inicialização das comunicações na '''''Infiniband''''' através do comando '''srun'''.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --ntasks 16<br />
#SBATCH --time 00:30:00<br />
#SBATCH --partition short<br />
source /opt/mpi/mpibull2-1.3.9-18.s/share/mpibull2.sh<br />
mpibull2_devices -d=ibmr_gen2<br />
echo ’------------------------------------------’<br />
ldd ./hello.x<br />
echo ’------------------------------------------’<br />
sleep 15<br />
<br />
srun hostname | sort<br />
<br />
srun ./hello.x<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 SLURM]$ cat slurm-188.out<br />
------------------------------------------<br />
libmpi.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/libmpi.so (0x00002b1b48343000)<br />
librt.so.1 => /lib64/librt.so.1 (0x00000038d1a00000)<br />
libdl.so.2 => /lib64/libdl.so.2 (0x00000038d0e00000)<br />
libpmi.so => /usr/lib64/libpmi.so (0x00002b1b486a0000)<br />
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000038d1200000)<br />
libuuid.so.1 => /lib64/libuuid.so.1 (0x00000038e1800000)<br />
libm.so.6 => /lib64/libm.so.6 (0x00000038d0a00000)<br />
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000038dba00000)<br />
libc.so.6 => /lib64/libc.so.6 (0x00000038d0600000)<br />
libmpidev.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/drivers/ibmr_gen2/libmpidev.so (0x00002b1b488a7000)<br />
/lib64/ld-linux-x86-64.so.2 (0x00000038d0200000)<br />
libslurm.so.20 => /usr/lib64/libslurm.so.20 (0x00002b1b48ba6000)<br />
libibverbs.so.1 => /usr/lib64/libibverbs.so.1 (0x00002b1b48e66000)<br />
libsvml.so => /opt/intel/Compiler/11.1/069/lib/intel64/libsvml.so (0x00002b1b49074000)<br />
------------------------------------------<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
Hello MPI: processor 5 of 16 on veredas4<br />
Hello MPI: processor 15 of 16 on veredas5<br />
MPIBull2 1.3.9-s (Astlik) 20091113-1606 MPI_THREAD_FUNNELED (job 188) (device gen2)<br />
Hello MPI: processor 0 of 16 on veredas4<br />
Hello MPI: processor 1 of 16 on veredas4<br />
Hello MPI: processor 2 of 16 on veredas4<br />
Hello MPI: processor 3 of 16 on veredas4<br />
Hello MPI: processor 4 of 16 on veredas4<br />
Hello MPI: processor 7 of 16 on veredas4<br />
Hello MPI: processor 8 of 16 on veredas5<br />
Hello MPI: processor 6 of 16 on veredas4<br />
Hello MPI: processor 9 of 16 on veredas5<br />
Hello MPI: processor 10 of 16 on veredas5<br />
Hello MPI: processor 11 of 16 on veredas5<br />
Hello MPI: processor 12 of 16 on veredas5<br />
Hello MPI: processor 13 of 16 on veredas5<br />
Hello MPI: processor 14 of 16 on veredas5<br />
</pre><br />
=== Tarefas paralelas com ''threads'' (MPI+OpenMP) ===<br />
Cada nó computacional do cluster Veredas da UFMG possui '''2 quad-cores''' totalizando '''8 ''cores'''''. Mostramos a seguir um exemplo de submissão de uma tarefa paralela (MPI+OpenMP) que utiliza a Infiniband, cujo executável foi compilado com o '''Intel MPI''' e que requisita '''8 processos''', sendo que cada processo é um conjunto de '''4 ''threads'''''.<br />
<br />
Repare que propositalmente, e contráriamente ao caso anterior, a ferramenta '''[https://docs.par-tec.com/html/psmpi-userguide/rn01re01.html mpiexec]''' foi utilizada em vez do '''srun''' para lançar os processos MPI. O SLURM foi então utilizado apenas para reservar os recursos necessários.<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --partition short<br />
#SBATCH --nodes 4<br />
#SBATCH --ntasks 8<br />
#SBATCH --cpus-per-task 4<br />
#SBATCH --time 00:30:00<br />
<br />
source /opt/intel/impi/4.0.0/bin64/mpivars.sh<br />
<br />
export OMP_NUM_THREADS=4<br />
export I_MPI_PMI_LIBRARY=/usr/lib64/libpmi.so<br />
export I_MPI_FABRICS=dapl<br />
<br />
sleep 20<br />
<br />
echo ’------------------------------------’<br />
ldd ./hello<br />
echo ’------------------------------------’<br />
srun hostname -s | sort -u >slurm.hosts<br />
<br />
<br />
mpdboot -n $SLURM_NNODES -f slurm.hosts -r ssh<br />
mpiexec -perhost 2 -np 8 ./hello<br />
mpdallexit<br />
</syntaxhighlight><br />
<br />
O diagrama abaixo,Figura 1, procura ilustrar a forma como os processos MPI e seus respetivos ''threads'' foram distribuídos nos '''32 cores''' dos quatro nós requisitados. A descrição detalhada de cada diretriz '''#SBATCH''' poderá ser consultada online através do comando man sbatch. A descrição de cada flag do mpiexec também pode ser obtida através de '''/opt/intel/impi/4.0.0/bin64/mpiexec -help'''.<br />
<br />
<br />
[[image:DiagramaTheadsMPI ClusterVeredas.png|frame|center|'''Figura 1''' - Diagrama com processos MPI e distribuição das '''''threads''''' em dois nós computacionais e 32 cores]]<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para uma informação mais detalhada sobre o escalonador '''SLURM''' o usuário poderá baixar e consultar o arquivo [https://www.lcc.ufmg.br/sites/default/files/manuais/BullXClusterSuite-UserGuide.pdf Bullx cluster suite: User’s Guide]. Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Avicena&diff=297Slurm - Avicena2021-10-27T02:19:22Z<p>Admlccwiki: Criou página com 'O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num esca...'</p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@masternode ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''long''': nós '''nodes[003-006]''' máximo 3 dias..<br />
* partição '''short''': nós '''nodes[001-002]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ scontrol show partitions<br />
PartitionName=short<br />
AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL<br />
AllocNodes=ALL Default=YES QoS=N/A<br />
DefaultTime=NONE DisableRootJobs=NO ExclusiveUser=NO GraceTime=0 Hidden=NO<br />
MaxNodes=UNLIMITED MaxTime=01:00:00 MinNodes=0 LLN=NO MaxCPUsPerNode=UNLIMITED<br />
Nodes=node[001-002]<br />
PriorityJobFactor=1 PriorityTier=1 RootOnly=NO ReqResv=NO OverSubscribe=NO<br />
OverTimeLimit=NONE PreemptMode=OFF<br />
State=UP TotalCPUs=24 TotalNodes=2 SelectTypeParameters=NONE<br />
JobDefaults=(null)<br />
DefMemPerNode=UNLIMITED MaxMemPerCPU=3000<br />
<br />
PartitionName=long<br />
AllowGroups=ALL AllowAccounts=ALL AllowQos=ALL<br />
AllocNodes=ALL Default=NO QoS=N/A<br />
DefaultTime=NONE DisableRootJobs=NO ExclusiveUser=NO GraceTime=0 Hidden=NO<br />
MaxNodes=UNLIMITED MaxTime=3-00:00:00 MinNodes=0 LLN=NO MaxCPUsPerNode=UNLIMITED<br />
Nodes=node[003-006]<br />
PriorityJobFactor=1 PriorityTier=1 RootOnly=NO ReqResv=NO OverSubscribe=NO<br />
OverTimeLimit=NONE PreemptMode=OFF<br />
State=UP TotalCPUs=52 TotalNodes=4 SelectTypeParameters=NONE<br />
JobDefaults=(null)<br />
DefMemPerNode=UNLIMITED MaxMemPerCPU=3000<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
short* up 1:00:00 1 idle node[001-002]<br />
long up 3-00:00:00 4 idle node[003-006]<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@masternode ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
977 long test root R 0:10 1 node004<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
Solicite quatro núcleos no cluster por 10 minutos, usando 100 MB de RAM por núcleo. Assumindo que hello.mpi foi compilado com suporte a MPI, srun irá criar quatro instâncias dele, nos nós alocados pelo Slurm:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#<br />
#SBATCH --job-name=test_mpi<br />
#SBATCH --output=res_mpi.txt<br />
#<br />
#SBATCH --ntasks=4<br />
#SBATCH --time=10:00<br />
#SBATCH --mem-per-cpu=5000<br />
module load gnu-mpi/mpich/3.4<br />
<br />
srun hello.mpi<br />
<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@masternode]# cat res_mpi.txt<br />
---------------------------------------------------------------------------------------------------------------<br />
We have 4 processes.<br />
Process 1 reporting for duty.<br />
Process 2 reporting for duty.<br />
Process 3 reporting for duty.<br />
</pre><br />
<br />
=== Tarefas paralelas com ''threads'' (OpenMP) ===<br />
O trabalho será executado em uma alocação em que quatro núcleos foram reservados no mesmo nó de computação:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#<br />
#SBATCH --job-name=test_omp<br />
#SBATCH --output=res_omp.txt<br />
#<br />
#SBATCH --ntasks=1<br />
#SBATCH --cpus-per-task=10<br />
#SBATCH --time=10:00<br />
#SBATCH --mem-per-cpu=100<br />
export OMP_NUM_THREADS=$SLURM_CPUS_PER_TASK<br />
<br />
./hello.omp<br />
</syntaxhighlight><br />
<br />
Como saída o arquivo res_omp contém:<br />
<br />
<pre class="bash"><br />
#!/bin/bash<br />
Hello World from thread 0<br />
Hello World from thread 3<br />
Hello World from thread 1<br />
Hello World from thread 2<br />
There are 4 threads<br />
</pre><br />
<br />
=== Tarefas paralelas com ''threads'' (OpenMP + MPI) ===<br />
Você pode misturar multiprocessamento (MPI) e multi-threading (OpenMP) no mesmo trabalho, simplesmente assim:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#! / bin / bash <br />
# <br />
#SBATCH --ntasks = 8 <br />
#SBATCH --cpus-per-task = <br />
module load gnu-mpi/openmpi/4.1<br />
export OMP_NUM_THREADS = $ SLURM_CPUS_PER_TASK <br />
<br />
srun ./myprog<br />
</syntaxhighlight><br />
<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@masternode ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para uma informação mais detalhada sobre o escalonador '''SLURM''' o usuário poderá baixar e consultar o arquivo [https://www.lcc.ufmg.br/sites/default/files/manuais/BullXClusterSuite-UserGuide.pdf Bullx cluster suite: User’s Guide]. Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Sidebar&diff=296MediaWiki:Sidebar2021-10-27T01:34:15Z<p>Admlccwiki: </p>
<hr />
<div>**{{SERVER}}|icone<br />
* navigation<br />
** mainpage|mainpage-description<br />
** recentchanges-url|recentchanges<br />
** randompage-url|randompage<br />
*Acesso rápido<br />
** Guia_Prático_do_cluster_Avicena_LCC/CENAPAD-MG|Guia prático cluster Avicena<br />
** Guia_Prático_do_cluster_Veredas_LCC/CENAPAD-MG|Guia prático cluster Veredas<br />
** Slurm - Veredas|Slurm - Veredas<br />
** Acesso_remoto_para_usuários_Linux|Acesso remoto via Linux<br />
** Acesso_remoto_para_usuários_Windows|Acesso remoto via Windows<br />
** https://pt.wikipedia.org/wiki/Utilit%C3%A1rios_Unix|Comandos Linux<br />
* Categorias<br />
** Categoria:Manuais|Manuais<br />
** Categoria:Cluster Avicena|Cluster Avicena<br />
** Categoria:Cluster Veredas|Cluster Veredas<br />
* SEARCH<br />
* TOOLBOX<br />
* LANGUAGES</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm&diff=295Slurm2021-10-27T01:27:09Z<p>Admlccwiki: Admlccwiki moveu Slurm para Slurm - Veredas</p>
<hr />
<div>#REDIRECIONAMENTO [[Slurm - Veredas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Veredas&diff=294Slurm - Veredas2021-10-27T01:27:09Z<p>Admlccwiki: Admlccwiki moveu Slurm para Slurm - Veredas</p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''full''': nós '''veredas[12-107]''' sem restrição de tempo.<br />
* partição '''short''': nós '''veredas[2-11]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ scontrol show partitions<br />
PartitionName=full TotalNodes=96 TotalCPUs=768 RootOnly=NO<br />
Default=YES Shared=NO Priority=1 State=UP MaxTime=UNLIMITED Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[12-107] NodeIndices=10-105 DefaultTime=NONE<br />
<br />
PartitionName=short TotalNodes=10 TotalCPUs=80 RootOnly=NO<br />
Default=NO Shared=NO Priority=1 State=UP MaxTime=01:00:00 Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[2-11] NodeIndices=0-9 DefaultTime=NONE<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
full* up infinite 96 idle veredas[12-107]<br />
short up 1:00:00 9 idle veredas[2,4-11]<br />
short up 1:00:00 1 down veredas3.<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
179 short HelloWor test3 R 0:02 2 veredas[4-5]<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
O exemplo seguinte representa a submissão de um ''job'' paralelo MPI que foi compilado com o compilador proprietário da BULL (MPI BULL): '''mpicc -DALIGNED -c hello.c -o hello.o'''; '''mpicc hello.o -o hello.x'''. Nesta situação permitimos que o SLURM se gerencie não só da alocação dos recursos, mas também da execução do programa e da inicialização das comunicações na '''''Infiniband''''' através do comando '''srun'''.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --ntasks 16<br />
#SBATCH --time 00:30:00<br />
#SBATCH --partition short<br />
source /opt/mpi/mpibull2-1.3.9-18.s/share/mpibull2.sh<br />
mpibull2_devices -d=ibmr_gen2<br />
echo ’------------------------------------------’<br />
ldd ./hello.x<br />
echo ’------------------------------------------’<br />
sleep 15<br />
<br />
srun hostname | sort<br />
<br />
srun ./hello.x<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 SLURM]$ cat slurm-188.out<br />
------------------------------------------<br />
libmpi.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/libmpi.so (0x00002b1b48343000)<br />
librt.so.1 => /lib64/librt.so.1 (0x00000038d1a00000)<br />
libdl.so.2 => /lib64/libdl.so.2 (0x00000038d0e00000)<br />
libpmi.so => /usr/lib64/libpmi.so (0x00002b1b486a0000)<br />
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000038d1200000)<br />
libuuid.so.1 => /lib64/libuuid.so.1 (0x00000038e1800000)<br />
libm.so.6 => /lib64/libm.so.6 (0x00000038d0a00000)<br />
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000038dba00000)<br />
libc.so.6 => /lib64/libc.so.6 (0x00000038d0600000)<br />
libmpidev.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/drivers/ibmr_gen2/libmpidev.so (0x00002b1b488a7000)<br />
/lib64/ld-linux-x86-64.so.2 (0x00000038d0200000)<br />
libslurm.so.20 => /usr/lib64/libslurm.so.20 (0x00002b1b48ba6000)<br />
libibverbs.so.1 => /usr/lib64/libibverbs.so.1 (0x00002b1b48e66000)<br />
libsvml.so => /opt/intel/Compiler/11.1/069/lib/intel64/libsvml.so (0x00002b1b49074000)<br />
------------------------------------------<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
Hello MPI: processor 5 of 16 on veredas4<br />
Hello MPI: processor 15 of 16 on veredas5<br />
MPIBull2 1.3.9-s (Astlik) 20091113-1606 MPI_THREAD_FUNNELED (job 188) (device gen2)<br />
Hello MPI: processor 0 of 16 on veredas4<br />
Hello MPI: processor 1 of 16 on veredas4<br />
Hello MPI: processor 2 of 16 on veredas4<br />
Hello MPI: processor 3 of 16 on veredas4<br />
Hello MPI: processor 4 of 16 on veredas4<br />
Hello MPI: processor 7 of 16 on veredas4<br />
Hello MPI: processor 8 of 16 on veredas5<br />
Hello MPI: processor 6 of 16 on veredas4<br />
Hello MPI: processor 9 of 16 on veredas5<br />
Hello MPI: processor 10 of 16 on veredas5<br />
Hello MPI: processor 11 of 16 on veredas5<br />
Hello MPI: processor 12 of 16 on veredas5<br />
Hello MPI: processor 13 of 16 on veredas5<br />
Hello MPI: processor 14 of 16 on veredas5<br />
</pre><br />
=== Tarefas paralelas com ''threads'' (MPI+OpenMP) ===<br />
Cada nó computacional do cluster Veredas da UFMG possui '''2 quad-cores''' totalizando '''8 ''cores'''''. Mostramos a seguir um exemplo de submissão de uma tarefa paralela (MPI+OpenMP) que utiliza a Infiniband, cujo executável foi compilado com o '''Intel MPI''' e que requisita '''8 processos''', sendo que cada processo é um conjunto de '''4 ''threads'''''.<br />
<br />
Repare que propositalmente, e contráriamente ao caso anterior, a ferramenta '''[https://docs.par-tec.com/html/psmpi-userguide/rn01re01.html mpiexec]''' foi utilizada em vez do '''srun''' para lançar os processos MPI. O SLURM foi então utilizado apenas para reservar os recursos necessários.<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --partition short<br />
#SBATCH --nodes 4<br />
#SBATCH --ntasks 8<br />
#SBATCH --cpus-per-task 4<br />
#SBATCH --time 00:30:00<br />
<br />
source /opt/intel/impi/4.0.0/bin64/mpivars.sh<br />
<br />
export OMP_NUM_THREADS=4<br />
export I_MPI_PMI_LIBRARY=/usr/lib64/libpmi.so<br />
export I_MPI_FABRICS=dapl<br />
<br />
sleep 20<br />
<br />
echo ’------------------------------------’<br />
ldd ./hello<br />
echo ’------------------------------------’<br />
srun hostname -s | sort -u >slurm.hosts<br />
<br />
<br />
mpdboot -n $SLURM_NNODES -f slurm.hosts -r ssh<br />
mpiexec -perhost 2 -np 8 ./hello<br />
mpdallexit<br />
</syntaxhighlight><br />
<br />
O diagrama abaixo,Figura 1, procura ilustrar a forma como os processos MPI e seus respetivos ''threads'' foram distribuídos nos '''32 cores''' dos quatro nós requisitados. A descrição detalhada de cada diretriz '''#SBATCH''' poderá ser consultada online através do comando man sbatch. A descrição de cada flag do mpiexec também pode ser obtida através de '''/opt/intel/impi/4.0.0/bin64/mpiexec -help'''.<br />
<br />
<br />
[[image:DiagramaTheadsMPI ClusterVeredas.png|frame|center|'''Figura 1''' - Diagrama com processos MPI e distribuição das '''''threads''''' em dois nós computacionais e 32 cores]]<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para uma informação mais detalhada sobre o escalonador '''SLURM''' o usuário poderá baixar e consultar o arquivo [https://www.lcc.ufmg.br/sites/default/files/manuais/BullXClusterSuite-UserGuide.pdf Bullx cluster suite: User’s Guide]. Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Instalar_cliente_OpenSSH_no_Windows&diff=292Instalar cliente OpenSSH no Windows2021-09-25T00:14:50Z<p>Admlccwiki: </p>
<hr />
<div>O sistema operacional Windows 10 tem agora disponível um cliente SSH nativo para conectar remotamente a máquinas Linux. O processo para ter o cliente OpenSSH do Windows 10 instalado é simples e rápido. Siga os passos abaixo:<br />
<br />
# Acesse as '''Configurações do Windows''' e clique em '''Aplicativos'''(destacado em vermelho), Figura 1.<br />
#: [[image:Tela configurações do Windows10.png|700x500px|thumb|center|'''Figura 1''' - Tela de Configurações do Windows]] <br/><br />
# Na tela '''Aplicativos e Recursos''' clique em '''Gerenciar recursos opcionais'''(destacado em vermelho), Figura 2.<br />
#: [[image:Tela Aplicativos e Recursos.png|700x500px|thumb|center|'''Figura 2''' - Tela Aplicativos e Recursos]] <br/><br />
# Na tela '''Gerenciar recursos opcionais''' examine a lista de recursos instalados em seu computador para ver se o cliente OpenSSH já está incluso nela.<br />
#:* No caso do exemplo abaixo, Figura 3, o '''Cliente OpenSSH'''(destacado em vermelho) já está instalado.<br />
#:* Caso não apareça nessa lista, na parte superior da página clique em '''Adicionar um recurso'''(destacado em preto), e uma lista de recursos opcionais disponíveis para instalar será mostrada. Procure o '''Cliente OpenSSH''', encontrando-o clique sobre ele e depois clique em '''Instalar'''. Depois de concluir a instalação, retorne à tela '''Gerenciar recursos opcionais''', Figura 3, e você deverá ver o componente do OpenSSH listado.<br />
#: [[image:Tela Gerenciar recursos opcionais.png|700x500px|thumb|center|'''Figura 3''' - Tela Aplicativos e Recursos]]<br />
<br />
<br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Instalar cliente OpenSSH no Windows]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Veredas&diff=291Slurm - Veredas2021-09-25T00:11:34Z<p>Admlccwiki: </p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''full''': nós '''veredas[12-107]''' sem restrição de tempo.<br />
* partição '''short''': nós '''veredas[2-11]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ scontrol show partitions<br />
PartitionName=full TotalNodes=96 TotalCPUs=768 RootOnly=NO<br />
Default=YES Shared=NO Priority=1 State=UP MaxTime=UNLIMITED Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[12-107] NodeIndices=10-105 DefaultTime=NONE<br />
<br />
PartitionName=short TotalNodes=10 TotalCPUs=80 RootOnly=NO<br />
Default=NO Shared=NO Priority=1 State=UP MaxTime=01:00:00 Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[2-11] NodeIndices=0-9 DefaultTime=NONE<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
full* up infinite 96 idle veredas[12-107]<br />
short up 1:00:00 9 idle veredas[2,4-11]<br />
short up 1:00:00 1 down veredas3.<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
179 short HelloWor test3 R 0:02 2 veredas[4-5]<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
O exemplo seguinte representa a submissão de um ''job'' paralelo MPI que foi compilado com o compilador proprietário da BULL (MPI BULL): '''mpicc -DALIGNED -c hello.c -o hello.o'''; '''mpicc hello.o -o hello.x'''. Nesta situação permitimos que o SLURM se gerencie não só da alocação dos recursos, mas também da execução do programa e da inicialização das comunicações na '''''Infiniband''''' através do comando '''srun'''.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --ntasks 16<br />
#SBATCH --time 00:30:00<br />
#SBATCH --partition short<br />
source /opt/mpi/mpibull2-1.3.9-18.s/share/mpibull2.sh<br />
mpibull2_devices -d=ibmr_gen2<br />
echo ’------------------------------------------’<br />
ldd ./hello.x<br />
echo ’------------------------------------------’<br />
sleep 15<br />
<br />
srun hostname | sort<br />
<br />
srun ./hello.x<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 SLURM]$ cat slurm-188.out<br />
------------------------------------------<br />
libmpi.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/libmpi.so (0x00002b1b48343000)<br />
librt.so.1 => /lib64/librt.so.1 (0x00000038d1a00000)<br />
libdl.so.2 => /lib64/libdl.so.2 (0x00000038d0e00000)<br />
libpmi.so => /usr/lib64/libpmi.so (0x00002b1b486a0000)<br />
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000038d1200000)<br />
libuuid.so.1 => /lib64/libuuid.so.1 (0x00000038e1800000)<br />
libm.so.6 => /lib64/libm.so.6 (0x00000038d0a00000)<br />
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000038dba00000)<br />
libc.so.6 => /lib64/libc.so.6 (0x00000038d0600000)<br />
libmpidev.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/drivers/ibmr_gen2/libmpidev.so (0x00002b1b488a7000)<br />
/lib64/ld-linux-x86-64.so.2 (0x00000038d0200000)<br />
libslurm.so.20 => /usr/lib64/libslurm.so.20 (0x00002b1b48ba6000)<br />
libibverbs.so.1 => /usr/lib64/libibverbs.so.1 (0x00002b1b48e66000)<br />
libsvml.so => /opt/intel/Compiler/11.1/069/lib/intel64/libsvml.so (0x00002b1b49074000)<br />
------------------------------------------<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
Hello MPI: processor 5 of 16 on veredas4<br />
Hello MPI: processor 15 of 16 on veredas5<br />
MPIBull2 1.3.9-s (Astlik) 20091113-1606 MPI_THREAD_FUNNELED (job 188) (device gen2)<br />
Hello MPI: processor 0 of 16 on veredas4<br />
Hello MPI: processor 1 of 16 on veredas4<br />
Hello MPI: processor 2 of 16 on veredas4<br />
Hello MPI: processor 3 of 16 on veredas4<br />
Hello MPI: processor 4 of 16 on veredas4<br />
Hello MPI: processor 7 of 16 on veredas4<br />
Hello MPI: processor 8 of 16 on veredas5<br />
Hello MPI: processor 6 of 16 on veredas4<br />
Hello MPI: processor 9 of 16 on veredas5<br />
Hello MPI: processor 10 of 16 on veredas5<br />
Hello MPI: processor 11 of 16 on veredas5<br />
Hello MPI: processor 12 of 16 on veredas5<br />
Hello MPI: processor 13 of 16 on veredas5<br />
Hello MPI: processor 14 of 16 on veredas5<br />
</pre><br />
=== Tarefas paralelas com ''threads'' (MPI+OpenMP) ===<br />
Cada nó computacional do cluster Veredas da UFMG possui '''2 quad-cores''' totalizando '''8 ''cores'''''. Mostramos a seguir um exemplo de submissão de uma tarefa paralela (MPI+OpenMP) que utiliza a Infiniband, cujo executável foi compilado com o '''Intel MPI''' e que requisita '''8 processos''', sendo que cada processo é um conjunto de '''4 ''threads'''''.<br />
<br />
Repare que propositalmente, e contráriamente ao caso anterior, a ferramenta '''[https://docs.par-tec.com/html/psmpi-userguide/rn01re01.html mpiexec]''' foi utilizada em vez do '''srun''' para lançar os processos MPI. O SLURM foi então utilizado apenas para reservar os recursos necessários.<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --partition short<br />
#SBATCH --nodes 4<br />
#SBATCH --ntasks 8<br />
#SBATCH --cpus-per-task 4<br />
#SBATCH --time 00:30:00<br />
<br />
source /opt/intel/impi/4.0.0/bin64/mpivars.sh<br />
<br />
export OMP_NUM_THREADS=4<br />
export I_MPI_PMI_LIBRARY=/usr/lib64/libpmi.so<br />
export I_MPI_FABRICS=dapl<br />
<br />
sleep 20<br />
<br />
echo ’------------------------------------’<br />
ldd ./hello<br />
echo ’------------------------------------’<br />
srun hostname -s | sort -u >slurm.hosts<br />
<br />
<br />
mpdboot -n $SLURM_NNODES -f slurm.hosts -r ssh<br />
mpiexec -perhost 2 -np 8 ./hello<br />
mpdallexit<br />
</syntaxhighlight><br />
<br />
O diagrama abaixo,Figura 1, procura ilustrar a forma como os processos MPI e seus respetivos ''threads'' foram distribuídos nos '''32 cores''' dos quatro nós requisitados. A descrição detalhada de cada diretriz '''#SBATCH''' poderá ser consultada online através do comando man sbatch. A descrição de cada flag do mpiexec também pode ser obtida através de '''/opt/intel/impi/4.0.0/bin64/mpiexec -help'''.<br />
<br />
<br />
[[image:DiagramaTheadsMPI ClusterVeredas.png|frame|center|'''Figura 1''' - Diagrama com processos MPI e distribuição das '''''threads''''' em dois nós computacionais e 32 cores]]<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para uma informação mais detalhada sobre o escalonador '''SLURM''' o usuário poderá baixar e consultar o arquivo [https://www.lcc.ufmg.br/sites/default/files/manuais/BullXClusterSuite-UserGuide.pdf Bullx cluster suite: User’s Guide]. Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Guia_Pr%C3%A1tico_do_cluster_Veredas_LCC/CENAPAD-MG&diff=290Guia Prático do cluster Veredas LCC/CENAPAD-MG2021-09-25T00:10:30Z<p>Admlccwiki: </p>
<hr />
<div>== Abertura de conta ==<br />
Após o usuário preencher o [https://www.lcc.ufmg.br/abertura-de-conta formulário eletrônico de abertura de conta] e enviar para o LCC/CENAPAD-MG, caso aprovada pela equipe do LCC/CENAPAD-MG, a conta será aberta e este poderá utlizar o Cluster Veredas LCC/CENAPAD-MG. O usuário receberá os dados de acesso através do email cadastrado no ato da aberto de conta.<br />
<br />
A abertura de cada conta estará vinculada a um projeto para fins de contabilidade de uso. No cluster o projeto será identificado pelo grupo unix '''CODIGO_DO_PROJETO''' (código que você receberá por email) e as áreas de trabalho concedidas são:<br />
<br />
*áreas privativas dos usuários: /home_cluster/'''CODIGO_DO_PROJETO'''/'''SEU_LOGIN'''<br />
*área para software do grupo: /projetos/'''CODIGO_DO_PROJETO'''<br />
*storage para dados computacionais: /storage/'''CODIGO_DO_PROJETO'''<br />
<br />
Somente os usuários do grupo '''CODIGO_DO_PROJETO''' têm permissões de leitura, escrita e execução nos diretórios /projetos/'''CODIGO_DO_PROJETO''' e /storage/'''CODIGO_DO_PROJETO'''. A organização interna dos diretórios fica a critério dos membros do grupo. O responsável pelas atividades e ações do grupo será o seu pesquisador principal (principal investigator, PI), ou seja, o professor com vínculo empregatício à sua universidade de origem ou um PostDoc. Em geral será o pesquisador principal que solicitará a abertura de projeto e a inclusão de seus colaboradores de pesquisa. Qualquer usuário poderá solicitar à equipe de manutenção a sua inclusão em mais de um projeto diferente, sujeito à aprovação do seu respetivo PI.<br />
<br />
<div class="aviso"><br />
'''Atenção!'''<br/><br />
Para a comunicação das senhas será utilizado o serviço [https://pwpush.com Password Pusher]. Trata-se de um serviço de anotações online no qual o destinatário tem um tempo limite para ler a anotação até que esta se auto-destrua. Os links de acesso ao '''Password Pusher''' serão enviados posteriormente para cada email cadastrado. No momento em que o link for ‘clicado’, a página será carregada com uma janela contendo uma string de 16 caracteres alfanuméricos. Essa string é a senha gerada pelo LCC/CENAPAD-MG para o usuário logar no cluster. Copie essa string, porque o link será destruído. A senha que enviamos tem entropia suficiente para ser muito difícil a sua descoberta através de métodos de força bruta. Caso pretenda trocar a senha enviada sugerimos que utilize o website [https://www.ssh.com/iam/password/generator Password Generator] para gerar a nova senha e depois cadastrar no cluster através do comando unix '''passwd'''. Lembre-se também da importância de guardar as senhas de forma segura. Utilize por exemplo o serviço [https://www.lastpass.com LastPass]. Concluindo, todos os estudos corroboram que a principal razão por detrás da grande maioria dos incidentes de segurança digital é a utilização de senhas fracas, a utilização da mesma senha para vários locais e o seu furto em servidores e websites inseguros.<br />
</div><br />
<br />
== Acesso Remoto ==<br />
O acesso ao Cluster Veredas LCC/CENAPAD-MG é feito via ssh através do endereço: <br />
<br />
<pre class="bash"><br />
ssh SEU_LOGIN@veredas.cenapad.ufmg.br<br />
</pre><br />
<br />
* substitua a palavra '''SEU_LOGIN''' pelo login que você recebeu após a abertura da conta. <br />
<br />
<br />
Caso necessite de mais detalhes, acesso os link abaixo:<br />
<br />
*[[Acesso remoto para usuários Linux|Acesso remoto para usuários Linux]]<br />
<br />
*[[Acesso remoto para usuários Windows|Acesso remoto para usuários Windows]]<br />
<br />
== O Cluster Veredas LCC/CENAPAD-MG ==<br />
<br />
O Cluster Veredas LCC/CENAPAD-MG possui 109 nós computacionais distribuídos físicamente em 4 racks, Figura 1, cada nó com 2 processadores quadcore e 16 Gigabytes de memória principal, agregando um total de 848 núcleos de processamento (cores) e aproximadamente 1.7 Terabytes de memória distribuída pela máquina. O potencial de desempenho teórico do cluster traduzem em 9 Teraflops (nove trilhões de operações elementares por segundo). O Cluster é interligado através de um ''switch'' lógico de alto desempenho segundo a arquitetura de rede [https://en.wikipedia.org/wiki/InfiniBand '''INFINIBAND'''] o que permite a execução rápida de programas paralelos (distribuidos) que usam a rede para troca de dados. O cluster conta também com um storage interno com uma capacidade de armazenamento nominal de 45 TB para dados e backup.<br />
<br />
[[Arquivo:FiguraClusterBull LCC-CENAPAD-MG.png|450px|thumb|center|'''Figura 1 -''' Figura que descreve a estrutura do Cluster Veredas LCC/CENAPAD-MG]]<br />
<br />
=== Hardware ===<br />
Os servidores que compõem o cluster de alto desempenho do LCC/CENAPAD-MG estão organizados da seguinte forma:<br />
<br />
{|class="wikitable" width=50% border=1 cellpadding=35px <br />
!|Quantidade<br />
!|Descrição<br />
!|Hardware<br />
!|Hostnames<br />
|-<br />
|1<br />
|Servidor login (frontend)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2GHz - 1333FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas0<br />
|-<br />
|1<br />
|Servidor de I/O (NFS)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2 GHz - 1333 FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas1<br />
|-<br />
|107<br />
|Nodos computacionais<br/> Modelo: R422-E1<br />
|2x Quad Xeon 5355 2.6 Ghz - 1600 FSB <br/> 16 GB DDR3 RAM <br/> 160GB 7200 RPM SATA3 disk<br />
|veredas[2,…,107]<br />
|}<br />
<br />
Todo o trabalho de desenvolvimento de programas científicos bem como a preparação das tarefas computacionais devem ser realizados no servidor de login '''veredas0'''. O workflow que rege um determinado cálculo deve ser expresso num arquivo de ''script'' em linguagem bash e submetido ao [[Slurm|gerenciador de recursos '''Slurm''']].<br />
<br />
Extensa fonte de informação sobre o [https://www.schedmd.com/ '''Slurm'''] encontra-se no site dos seus criadores, onde é mantida uma mailing-list para usuários [https://lists.schedmd.com/cgi-bin/mailman/listinfo/slurm-users '''slurm-users''']. Praticamente todos os grandes centros de HPC no mundo apresentam também exemplos de submissão de jobs para códigos específicos das diversas áreas.<br />
<br />
=== Software ===<br />
==== Compiladores ====<br />
O cluster está equipado com vários compiladores e ferramentas de análise de desempenho, de depuração e de desenvolvimento. Para além dos compiladores integrados que acompanham a distribuição '''Redhat Enterprise Linux 5.3''', tais como o '''''gcc, gfortran, dbg, openmpi, mpich2''''', etc, sob a licença da [http://www.gnu.org/licenses/gpl-3.0.html '''GNU'''], existem também os suítes proprietários da '''Intel''' e da '''BULL''':<br />
<br />
* '''Intel(R) Fortran Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_f.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_f.pdf<br />
<br />
<br />
* '''Intel(R) C/C++ Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_c.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_c.pdf<br />
<br />
<br />
* '''Intel(R) MPI Library, Development Kit for Linux OS'''<br />
:* Diretório raiz:<br />
::: /opt/intel/impi/4.0.0.028<br />
:* Documentação online:<br />
::: /opt/intel/impi/4.0.0.028/doc/Getting_Started.pdf<br />
<br />
<br />
* '''BULL Development package for MPI-2'''<br />
:* Diretório raiz:<br />
::: /opt/mpi/mpibull2-1.3.9-18.s/<br />
:* Documentação online:<br />
::: /usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf (Chapter 2)<br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
A versão mais recente dos suítes de compilação da Intel (14.0.1) encontra-se sob o diretório /opt/intel/composer_xe_2013_sp1.1.106/. A distribuição Redhat Enterprise Linux (v5.3) do cluster oferece a versão 2.4 da linguagem de programação Python. Uma versão paralela do '''Python''' oferecida pela Enthought, a distribuição Canopy, está instalada no diretório /var/Canopy. Sobre como utilizar esta distribuição poderá consultar o site [https://www.enthought.com/products/canopy https://www.enthought.com/products/canopy]<br />
</div><br />
<br />
==== Bibliotecas para desenvolvimento ====<br />
Várias versões de bibliotecas numéricas para desenvolvimento (''Bull SciStudio Book Shelf'') estão instaladas no diretório raiz '''/opt/scilibs'''. Para uma descrição detalhada de cada biblioteca basta apontar o browser interno do cluster para o diretório '''/opt/scilibs/SCISTUDIO_SHELF/SciStudio_shelf-1.1_Bull.9005/_www/Shelf.html'''. Uma visão global da ''Bull SciStudio'' pode ser encontrada no '''capítulo 3 do Users’s Guide''' ('''/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf''').<br />
<br />
==== Aplicações ====<br />
Os pacotes científicos instalados pela equipe de operação do cluster estão localizados nos diretórios raiz '''/opt/sci''' e '''/usr/local/ohpc/pub'''. Os pacotes de domínio público serão instalados sob demanda dos usuários. Está aberta a possibilidade de instalação de pacotes proprietários (licença paga) para uso exclusivo de determinados grupos de pesquisa. Nestes casos, é conveniente haver um contato prévio entre o grupo interessado e a equipe de operação de modo a realizar uma instalação que respeite as cláusulas da licença de contrato do software.<br />
<br />
O cluster '''veredas''' possui o pacote de gerenciamento [https://github.com/TACC/Lmod '''Lmod'''] [https://github.com/TACC/Lmod (https://github.com/TACC/Lmod)] instalado. Esta ferramenta permite a um usuário alternar entre diferentes versões de um pacote ou compiladores de maneira fácil, limpa e eficaz. O [https://github.com/TACC/Lmod '''Lmod'''] define dinâmicamente as variáveis de ambiente comuns tais como o '''PATH''', '''LD_LIBRARY_PATH''', '''MANPATH''' entre outras, sem que o usuário tenha que as definir no seu arquivo '''.bash_profile''' toda a vez que precisar utilizar uma determinada aplicação científica. Adicionalmente o [https://github.com/TACC/Lmod '''Lmod'''] permite “carregar” e “descarregar” combinações de aplicações/compiladores incluindo as suas dependências. As variáveis de ambiente específicas de cada pacote estão definidas em um arquivo designado por '''''modulefile''''' <ref>Trata-se de um arquivo do tipo ''script'' que pode ser escrito na linguagem<br />
[https://www.tcl.tk TCL] [https://www.tcl.tk (https://www.tcl.tk)] ou [https://www.lua.org Lua] [https://www.lua.org (https://www.lua.org)].</ref> . Os arquivos modulefile (módulos) estão localizados hierárquicamente sob o diretório definido em '''$MODULEPATH''' (i.e., '''/usr/local/ohpc/pub/modulefiles'''). Existem vários comandos que podem ser utilizados para gerenciar os arquivos modulefile:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição<br />
|-<br />
|'''module avail'''<br />
|Lista todos os módulos disponíveis para carregamento<br />
|-<br />
|'''module spider <pattern>'''<br />
|Procura por um módulo específico (e.g. module spider siesta)<br />
|-<br />
|'''module load <mod1>[mod2 …]'''<br />
|'''''Carrega''''' um módulo ou lista de módulos<br />
|-<br />
|'''module unload <module>'''<br />
|'''''Descarrega''''' o módulo<br />
|-<br />
|'''module list'''<br />
|Lista todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module purge'''<br />
|Descarrega todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module display <module>'''<br />
|Mostra o conteúdo do módulo (e.g. quais as variáveis de ambiente que são definidas)<br />
|-<br />
|'''module use <path>'''<br />
|Acrescenta um diretório local de módulos de um usuário aos módulos do sistema<br />
|}<br />
<br />
Mostramos abaixo o exemplo de saída na ''console'' quando o comando '''module avail''' é executado:<br />
<br />
<pre class="bash"><br />
[user_test@veredas0 ~]$ module avail<br />
<br />
-------------------------------- /usr/local/ohpc/pub/modulefiles -------------<br />
autotools intel/10.1.008<br />
bats/1.1.0 intel/11.1.069<br />
cmake/3.9.2 intel/14.0.1 (D)<br />
convergecfd/2.3.9 (P) intel/15.0.6 (T)<br />
convergecfd/2.3.20 (P) launcher/0.0.git.159.12b099a<br />
convergecfd/2.3.23 (P) likwid/4.3.1<br />
convergecfd/2.4.17 (P,D) ohpc<br />
gnu/5.4.0 orca/4.0.1 (P)<br />
gnu4/4.8.2 pgi/17.10<br />
gnu7/7.2.0 prun/1.2<br />
hwloc/1.11.9 simple/2.5<br />
ibrun-veredas/0.0.git.15.f58fde0 star-cd/4.24.021 (T)<br />
<br />
-------------------------------- /home/user_test/privatemodules --------------<br />
<br />
null<br />
Where:<br />
T: Testing<br />
P: Group restricted<br />
D: Default Module<br />
Use "module spider" to find all possible modules.<br />
Use "module keyword key1 key2 ..." to search for all possible modules matching<br />
any of the "keys".<br />
<br />
------------------------------------------------------------------------------<br />
Site: http://www.cenapad.ufmg.br.<br />
Email: <computacaocientifica@lcc.ufmg.br>.<br />
Telefone: 3409-4909<br />
------------------------------------------------------------------------------<br />
[user_test@veredas0 ~]$<br />
</pre><br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
Para uma consulta mais detalhada sobre o cluster, a BULL disponibiliza aos usuários os seguintes guias de utilização:<br />
*Bullx cluster suite: User’s Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf<br />
<br />
*Bullx cluster suite: Application Tuning Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A223FA02.pdf<br />
<br />
Diversos documentos e apresentações podem também ser encontrados sob o diretório<br />
/usr/local/share/info<br />
</div><br />
<br />
== Notas ==<br />
<references /><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Guia Prático do cluster Veredas LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Slurm&diff=289Categoria:Slurm2021-09-25T00:08:46Z<p>Admlccwiki: Limpou toda a página</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Instalar_cliente_OpenSSH_no_Windows&diff=288Categoria:Instalar cliente OpenSSH no Windows2021-09-25T00:08:37Z<p>Admlccwiki: Limpou toda a página</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Guia_Pr%C3%A1tico_do_cluster_Veredas_LCC/CENAPAD-MG&diff=287Categoria:Guia Prático do cluster Veredas LCC/CENAPAD-MG2021-09-25T00:08:23Z<p>Admlccwiki: Limpou toda a página</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Cluster_Veredas&diff=285Categoria:Cluster Veredas2021-09-25T00:07:51Z<p>Admlccwiki: Limpou toda a página</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Gerenciador_de_filas&diff=284Categoria:Gerenciador de filas2021-09-25T00:07:33Z<p>Admlccwiki: Limpou toda a página</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Guia_Pr%C3%A1tico_do_cluster_Veredas_LCC/CENAPAD-MG&diff=282Categoria:Guia Prático do cluster Veredas LCC/CENAPAD-MG2021-09-25T00:06:05Z<p>Admlccwiki: Admlccwiki moveu Categoria:Guia Prático do cluster BULL LCC/CENAPAD-MG para Categoria:Guia Prático do cluster Veredas LCC/CENAPAD-MG</p>
<hr />
<div>[[Category:Manuais]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Guia_Pr%C3%A1tico_do_cluster_BULL_LCC/CENAPAD-MG&diff=283Categoria:Guia Prático do cluster BULL LCC/CENAPAD-MG2021-09-25T00:06:05Z<p>Admlccwiki: Admlccwiki moveu Categoria:Guia Prático do cluster BULL LCC/CENAPAD-MG para Categoria:Guia Prático do cluster Veredas LCC/CENAPAD-MG</p>
<hr />
<div>#REDIRECIONAMENTO [[:Categoria:Guia Prático do cluster Veredas LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Guia_Pr%C3%A1tico_do_cluster_Veredas_LCC/CENAPAD-MG&diff=281Guia Prático do cluster Veredas LCC/CENAPAD-MG2021-09-25T00:04:48Z<p>Admlccwiki: </p>
<hr />
<div>== Abertura de conta ==<br />
Após o usuário preencher o [https://www.lcc.ufmg.br/abertura-de-conta formulário eletrônico de abertura de conta] e enviar para o LCC/CENAPAD-MG, caso aprovada pela equipe do LCC/CENAPAD-MG, a conta será aberta e este poderá utlizar o Cluster Bull LCC/CENAPAD-MG. O usuário receberá os dados de acesso através do email cadastrado no ato da aberto de conta.<br />
<br />
A abertura de cada conta estará vinculada a um projeto para fins de contabilidade de uso. No cluster o projeto será identificado pelo grupo unix '''CODIGO_DO_PROJETO''' (código que você receberá por email) e as áreas de trabalho concedidas são:<br />
<br />
*áreas privativas dos usuários: /home_cluster/'''CODIGO_DO_PROJETO'''/'''SEU_LOGIN'''<br />
*área para software do grupo: /projetos/'''CODIGO_DO_PROJETO'''<br />
*storage para dados computacionais: /storage/'''CODIGO_DO_PROJETO'''<br />
<br />
Somente os usuários do grupo '''CODIGO_DO_PROJETO''' têm permissões de leitura, escrita e execução nos diretórios /projetos/'''CODIGO_DO_PROJETO''' e /storage/'''CODIGO_DO_PROJETO'''. A organização interna dos diretórios fica a critério dos membros do grupo. O responsável pelas atividades e ações do grupo será o seu pesquisador principal (principal investigator, PI), ou seja, o professor com vínculo empregatício à sua universidade de origem ou um PostDoc. Em geral será o pesquisador principal que solicitará a abertura de projeto e a inclusão de seus colaboradores de pesquisa. Qualquer usuário poderá solicitar à equipe de manutenção a sua inclusão em mais de um projeto diferente, sujeito à aprovação do seu respetivo PI.<br />
<br />
<div class="aviso"><br />
'''Atenção!'''<br/><br />
Para a comunicação das senhas será utilizado o serviço [https://pwpush.com Password Pusher]. Trata-se de um serviço de anotações online no qual o destinatário tem um tempo limite para ler a anotação até que esta se auto-destrua. Os links de acesso ao '''Password Pusher''' serão enviados posteriormente para cada email cadastrado. No momento em que o link for ‘clicado’, a página será carregada com uma janela contendo uma string de 16 caracteres alfanuméricos. Essa string é a senha gerada pelo LCC/CENAPAD-MG para o usuário logar no cluster. Copie essa string, porque o link será destruído. A senha que enviamos tem entropia suficiente para ser muito difícil a sua descoberta através de métodos de força bruta. Caso pretenda trocar a senha enviada sugerimos que utilize o website [https://www.ssh.com/iam/password/generator Password Generator] para gerar a nova senha e depois cadastrar no cluster através do comando unix '''passwd'''. Lembre-se também da importância de guardar as senhas de forma segura. Utilize por exemplo o serviço [https://www.lastpass.com LastPass]. Concluindo, todos os estudos corroboram que a principal razão por detrás da grande maioria dos incidentes de segurança digital é a utilização de senhas fracas, a utilização da mesma senha para vários locais e o seu furto em servidores e websites inseguros.<br />
</div><br />
<br />
== Acesso Remoto ==<br />
O acesso ao Cluster Bull LCC/CENAPAD-MG é feito via ssh através do endereço: <br />
<br />
<pre class="bash"><br />
ssh SEU_LOGIN@veredas.cenapad.ufmg.br<br />
</pre><br />
<br />
* substitua a palavra '''SEU_LOGIN''' pelo login que você recebeu após a abertura da conta. <br />
<br />
<br />
Caso necessite de mais detalhes, acesso os link abaixo:<br />
<br />
*[[Acesso remoto para usuários Linux|Acesso remoto para usuários Linux]]<br />
<br />
*[[Acesso remoto para usuários Windows|Acesso remoto para usuários Windows]]<br />
<br />
== O Cluster Bull LCC/CENAPAD-MG ==<br />
<br />
O Cluster Bull LCC/CENAPAD-MG possui 109 nós computacionais distribuídos físicamente em 4 racks, Figura 1, cada nó com 2 processadores quadcore e 16 Gigabytes de memória principal, agregando um total de 848 núcleos de processamento (cores) e aproximadamente 1.7 Terabytes de memória distribuída pela máquina. O potencial de desempenho teórico do cluster traduzem em 9 Teraflops (nove trilhões de operações elementares por segundo). O Cluster é interligado através de um ''switch'' lógico de alto desempenho segundo a arquitetura de rede [https://en.wikipedia.org/wiki/InfiniBand '''INFINIBAND'''] o que permite a execução rápida de programas paralelos (distribuidos) que usam a rede para troca de dados. O cluster conta também com um storage interno com uma capacidade de armazenamento nominal de 45 TB para dados e backup.<br />
<br />
[[Arquivo:FiguraClusterBull LCC-CENAPAD-MG.png|450px|thumb|center|'''Figura 1 -''' Figura que descreve a estrutura do Cluster Bull LCC/CENAPAD-MG]]<br />
<br />
=== Hardware ===<br />
Os servidores que compõem o cluster de alto desempenho do LCC/CENAPAD-MG estão organizados da seguinte forma:<br />
<br />
{|class="wikitable" width=50% border=1 cellpadding=35px <br />
!|Quantidade<br />
!|Descrição<br />
!|Hardware<br />
!|Hostnames<br />
|-<br />
|1<br />
|Servidor login (frontend)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2GHz - 1333FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas0<br />
|-<br />
|1<br />
|Servidor de I/O (NFS)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2 GHz - 1333 FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas1<br />
|-<br />
|107<br />
|Nodos computacionais<br/> Modelo: R422-E1<br />
|2x Quad Xeon 5355 2.6 Ghz - 1600 FSB <br/> 16 GB DDR3 RAM <br/> 160GB 7200 RPM SATA3 disk<br />
|veredas[2,…,107]<br />
|}<br />
<br />
Todo o trabalho de desenvolvimento de programas científicos bem como a preparação das tarefas computacionais devem ser realizados no servidor de login '''veredas0'''. O workflow que rege um determinado cálculo deve ser expresso num arquivo de ''script'' em linguagem bash e submetido ao [[Slurm|gerenciador de recursos '''Slurm''']].<br />
<br />
Extensa fonte de informação sobre o [https://www.schedmd.com/ '''Slurm'''] encontra-se no site dos seus criadores, onde é mantida uma mailing-list para usuários [https://lists.schedmd.com/cgi-bin/mailman/listinfo/slurm-users '''slurm-users''']. Praticamente todos os grandes centros de HPC no mundo apresentam também exemplos de submissão de jobs para códigos específicos das diversas áreas.<br />
<br />
=== Software ===<br />
==== Compiladores ====<br />
O cluster está equipado com vários compiladores e ferramentas de análise de desempenho, de depuração e de desenvolvimento. Para além dos compiladores integrados que acompanham a distribuição '''Redhat Enterprise Linux 5.3''', tais como o '''''gcc, gfortran, dbg, openmpi, mpich2''''', etc, sob a licença da [http://www.gnu.org/licenses/gpl-3.0.html '''GNU'''], existem também os suítes proprietários da '''Intel''' e da '''BULL''':<br />
<br />
* '''Intel(R) Fortran Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_f.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_f.pdf<br />
<br />
<br />
* '''Intel(R) C/C++ Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_c.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_c.pdf<br />
<br />
<br />
* '''Intel(R) MPI Library, Development Kit for Linux OS'''<br />
:* Diretório raiz:<br />
::: /opt/intel/impi/4.0.0.028<br />
:* Documentação online:<br />
::: /opt/intel/impi/4.0.0.028/doc/Getting_Started.pdf<br />
<br />
<br />
* '''BULL Development package for MPI-2'''<br />
:* Diretório raiz:<br />
::: /opt/mpi/mpibull2-1.3.9-18.s/<br />
:* Documentação online:<br />
::: /usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf (Chapter 2)<br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
A versão mais recente dos suítes de compilação da Intel (14.0.1) encontra-se sob o diretório /opt/intel/composer_xe_2013_sp1.1.106/. A distribuição Redhat Enterprise Linux (v5.3) do cluster oferece a versão 2.4 da linguagem de programação Python. Uma versão paralela do '''Python''' oferecida pela Enthought, a distribuição Canopy, está instalada no diretório /var/Canopy. Sobre como utilizar esta distribuição poderá consultar o site [https://www.enthought.com/products/canopy https://www.enthought.com/products/canopy]<br />
</div><br />
<br />
==== Bibliotecas para desenvolvimento ====<br />
Várias versões de bibliotecas numéricas para desenvolvimento (''Bull SciStudio Book Shelf'') estão instaladas no diretório raiz '''/opt/scilibs'''. Para uma descrição detalhada de cada biblioteca basta apontar o browser interno do cluster para o diretório '''/opt/scilibs/SCISTUDIO_SHELF/SciStudio_shelf-1.1_Bull.9005/_www/Shelf.html'''. Uma visão global da ''Bull SciStudio'' pode ser encontrada no '''capítulo 3 do Users’s Guide''' ('''/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf''').<br />
<br />
==== Aplicações ====<br />
Os pacotes científicos instalados pela equipe de operação do cluster estão localizados nos diretórios raiz '''/opt/sci''' e '''/usr/local/ohpc/pub'''. Os pacotes de domínio público serão instalados sob demanda dos usuários. Está aberta a possibilidade de instalação de pacotes proprietários (licença paga) para uso exclusivo de determinados grupos de pesquisa. Nestes casos, é conveniente haver um contato prévio entre o grupo interessado e a equipe de operação de modo a realizar uma instalação que respeite as cláusulas da licença de contrato do software.<br />
<br />
O cluster '''veredas''' possui o pacote de gerenciamento [https://github.com/TACC/Lmod '''Lmod'''] [https://github.com/TACC/Lmod (https://github.com/TACC/Lmod)] instalado. Esta ferramenta permite a um usuário alternar entre diferentes versões de um pacote ou compiladores de maneira fácil, limpa e eficaz. O [https://github.com/TACC/Lmod '''Lmod'''] define dinâmicamente as variáveis de ambiente comuns tais como o '''PATH''', '''LD_LIBRARY_PATH''', '''MANPATH''' entre outras, sem que o usuário tenha que as definir no seu arquivo '''.bash_profile''' toda a vez que precisar utilizar uma determinada aplicação científica. Adicionalmente o [https://github.com/TACC/Lmod '''Lmod'''] permite “carregar” e “descarregar” combinações de aplicações/compiladores incluindo as suas dependências. As variáveis de ambiente específicas de cada pacote estão definidas em um arquivo designado por '''''modulefile''''' <ref>Trata-se de um arquivo do tipo ''script'' que pode ser escrito na linguagem<br />
[https://www.tcl.tk TCL] [https://www.tcl.tk (https://www.tcl.tk)] ou [https://www.lua.org Lua] [https://www.lua.org (https://www.lua.org)].</ref> . Os arquivos modulefile (módulos) estão localizados hierárquicamente sob o diretório definido em '''$MODULEPATH''' (i.e., '''/usr/local/ohpc/pub/modulefiles'''). Existem vários comandos que podem ser utilizados para gerenciar os arquivos modulefile:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição<br />
|-<br />
|'''module avail'''<br />
|Lista todos os módulos disponíveis para carregamento<br />
|-<br />
|'''module spider <pattern>'''<br />
|Procura por um módulo específico (e.g. module spider siesta)<br />
|-<br />
|'''module load <mod1>[mod2 …]'''<br />
|'''''Carrega''''' um módulo ou lista de módulos<br />
|-<br />
|'''module unload <module>'''<br />
|'''''Descarrega''''' o módulo<br />
|-<br />
|'''module list'''<br />
|Lista todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module purge'''<br />
|Descarrega todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module display <module>'''<br />
|Mostra o conteúdo do módulo (e.g. quais as variáveis de ambiente que são definidas)<br />
|-<br />
|'''module use <path>'''<br />
|Acrescenta um diretório local de módulos de um usuário aos módulos do sistema<br />
|}<br />
<br />
Mostramos abaixo o exemplo de saída na ''console'' quando o comando '''module avail''' é executado:<br />
<br />
<pre class="bash"><br />
[user_test@veredas0 ~]$ module avail<br />
<br />
-------------------------------- /usr/local/ohpc/pub/modulefiles -------------<br />
autotools intel/10.1.008<br />
bats/1.1.0 intel/11.1.069<br />
cmake/3.9.2 intel/14.0.1 (D)<br />
convergecfd/2.3.9 (P) intel/15.0.6 (T)<br />
convergecfd/2.3.20 (P) launcher/0.0.git.159.12b099a<br />
convergecfd/2.3.23 (P) likwid/4.3.1<br />
convergecfd/2.4.17 (P,D) ohpc<br />
gnu/5.4.0 orca/4.0.1 (P)<br />
gnu4/4.8.2 pgi/17.10<br />
gnu7/7.2.0 prun/1.2<br />
hwloc/1.11.9 simple/2.5<br />
ibrun-veredas/0.0.git.15.f58fde0 star-cd/4.24.021 (T)<br />
<br />
-------------------------------- /home/user_test/privatemodules --------------<br />
<br />
null<br />
Where:<br />
T: Testing<br />
P: Group restricted<br />
D: Default Module<br />
Use "module spider" to find all possible modules.<br />
Use "module keyword key1 key2 ..." to search for all possible modules matching<br />
any of the "keys".<br />
<br />
------------------------------------------------------------------------------<br />
Site: http://www.cenapad.ufmg.br.<br />
Email: <computacaocientifica@lcc.ufmg.br>.<br />
Telefone: 3409-4909<br />
------------------------------------------------------------------------------<br />
[user_test@veredas0 ~]$<br />
</pre><br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
Para uma consulta mais detalhada sobre o cluster, a BULL disponibiliza aos usuários os seguintes guias de utilização:<br />
*Bullx cluster suite: User’s Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf<br />
<br />
*Bullx cluster suite: Application Tuning Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A223FA02.pdf<br />
<br />
Diversos documentos e apresentações podem também ser encontrados sob o diretório<br />
/usr/local/share/info<br />
</div><br />
<br />
== Notas ==<br />
<references /><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Guia Prático do cluster Veredas LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Guia_Pr%C3%A1tico_do_cluster_Veredas_LCC/CENAPAD-MG&diff=279Guia Prático do cluster Veredas LCC/CENAPAD-MG2021-09-25T00:03:38Z<p>Admlccwiki: Admlccwiki moveu Guia Prático do cluster BULL LCC/CENAPAD-MG para Guia Prático do cluster Veredas LCC/CENAPAD-MG</p>
<hr />
<div>== Abertura de conta ==<br />
Após o usuário preencher o [https://www.lcc.ufmg.br/abertura-de-conta formulário eletrônico de abertura de conta] e enviar para o LCC/CENAPAD-MG, caso aprovada pela equipe do LCC/CENAPAD-MG, a conta será aberta e este poderá utlizar o Cluster Bull LCC/CENAPAD-MG. O usuário receberá os dados de acesso através do email cadastrado no ato da aberto de conta.<br />
<br />
A abertura de cada conta estará vinculada a um projeto para fins de contabilidade de uso. No cluster o projeto será identificado pelo grupo unix '''CODIGO_DO_PROJETO''' (código que você receberá por email) e as áreas de trabalho concedidas são:<br />
<br />
*áreas privativas dos usuários: /home_cluster/'''CODIGO_DO_PROJETO'''/'''SEU_LOGIN'''<br />
*área para software do grupo: /projetos/'''CODIGO_DO_PROJETO'''<br />
*storage para dados computacionais: /storage/'''CODIGO_DO_PROJETO'''<br />
<br />
Somente os usuários do grupo '''CODIGO_DO_PROJETO''' têm permissões de leitura, escrita e execução nos diretórios /projetos/'''CODIGO_DO_PROJETO''' e /storage/'''CODIGO_DO_PROJETO'''. A organização interna dos diretórios fica a critério dos membros do grupo. O responsável pelas atividades e ações do grupo será o seu pesquisador principal (principal investigator, PI), ou seja, o professor com vínculo empregatício à sua universidade de origem ou um PostDoc. Em geral será o pesquisador principal que solicitará a abertura de projeto e a inclusão de seus colaboradores de pesquisa. Qualquer usuário poderá solicitar à equipe de manutenção a sua inclusão em mais de um projeto diferente, sujeito à aprovação do seu respetivo PI.<br />
<br />
<div class="aviso"><br />
'''Atenção!'''<br/><br />
Para a comunicação das senhas será utilizado o serviço [https://pwpush.com Password Pusher]. Trata-se de um serviço de anotações online no qual o destinatário tem um tempo limite para ler a anotação até que esta se auto-destrua. Os links de acesso ao '''Password Pusher''' serão enviados posteriormente para cada email cadastrado. No momento em que o link for ‘clicado’, a página será carregada com uma janela contendo uma string de 16 caracteres alfanuméricos. Essa string é a senha gerada pelo LCC/CENAPAD-MG para o usuário logar no cluster. Copie essa string, porque o link será destruído. A senha que enviamos tem entropia suficiente para ser muito difícil a sua descoberta através de métodos de força bruta. Caso pretenda trocar a senha enviada sugerimos que utilize o website [https://www.ssh.com/iam/password/generator Password Generator] para gerar a nova senha e depois cadastrar no cluster através do comando unix '''passwd'''. Lembre-se também da importância de guardar as senhas de forma segura. Utilize por exemplo o serviço [https://www.lastpass.com LastPass]. Concluindo, todos os estudos corroboram que a principal razão por detrás da grande maioria dos incidentes de segurança digital é a utilização de senhas fracas, a utilização da mesma senha para vários locais e o seu furto em servidores e websites inseguros.<br />
</div><br />
<br />
== Acesso Remoto ==<br />
O acesso ao Cluster Bull LCC/CENAPAD-MG é feito via ssh através do endereço: <br />
<br />
<pre class="bash"><br />
ssh SEU_LOGIN@veredas.cenapad.ufmg.br<br />
</pre><br />
<br />
* substitua a palavra '''SEU_LOGIN''' pelo login que você recebeu após a abertura da conta. <br />
<br />
<br />
Caso necessite de mais detalhes, acesso os link abaixo:<br />
<br />
*[[Acesso remoto para usuários Linux|Acesso remoto para usuários Linux]]<br />
<br />
*[[Acesso remoto para usuários Windows|Acesso remoto para usuários Windows]]<br />
<br />
== O Cluster Bull LCC/CENAPAD-MG ==<br />
<br />
O Cluster Bull LCC/CENAPAD-MG possui 109 nós computacionais distribuídos físicamente em 4 racks, Figura 1, cada nó com 2 processadores quadcore e 16 Gigabytes de memória principal, agregando um total de 848 núcleos de processamento (cores) e aproximadamente 1.7 Terabytes de memória distribuída pela máquina. O potencial de desempenho teórico do cluster traduzem em 9 Teraflops (nove trilhões de operações elementares por segundo). O Cluster é interligado através de um ''switch'' lógico de alto desempenho segundo a arquitetura de rede [https://en.wikipedia.org/wiki/InfiniBand '''INFINIBAND'''] o que permite a execução rápida de programas paralelos (distribuidos) que usam a rede para troca de dados. O cluster conta também com um storage interno com uma capacidade de armazenamento nominal de 45 TB para dados e backup.<br />
<br />
[[Arquivo:FiguraClusterBull LCC-CENAPAD-MG.png|450px|thumb|center|'''Figura 1 -''' Figura que descreve a estrutura do Cluster Bull LCC/CENAPAD-MG]]<br />
<br />
=== Hardware ===<br />
Os servidores que compõem o cluster de alto desempenho do LCC/CENAPAD-MG estão organizados da seguinte forma:<br />
<br />
{|class="wikitable" width=50% border=1 cellpadding=35px <br />
!|Quantidade<br />
!|Descrição<br />
!|Hardware<br />
!|Hostnames<br />
|-<br />
|1<br />
|Servidor login (frontend)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2GHz - 1333FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas0<br />
|-<br />
|1<br />
|Servidor de I/O (NFS)<br/> Modelo: Bull R460<br />
|2x Quad Xeon 5130 2 GHz - 1333 FSB <br/> 8GB DDR3 RAM <br/> 147GB 15K RPM SAS disk<br />
|veredas1<br />
|-<br />
|107<br />
|Nodos computacionais<br/> Modelo: R422-E1<br />
|2x Quad Xeon 5355 2.6 Ghz - 1600 FSB <br/> 16 GB DDR3 RAM <br/> 160GB 7200 RPM SATA3 disk<br />
|veredas[2,…,107]<br />
|}<br />
<br />
Todo o trabalho de desenvolvimento de programas científicos bem como a preparação das tarefas computacionais devem ser realizados no servidor de login '''veredas0'''. O workflow que rege um determinado cálculo deve ser expresso num arquivo de ''script'' em linguagem bash e submetido ao [[Slurm|gerenciador de recursos '''Slurm''']].<br />
<br />
Extensa fonte de informação sobre o [https://www.schedmd.com/ '''Slurm'''] encontra-se no site dos seus criadores, onde é mantida uma mailing-list para usuários [https://lists.schedmd.com/cgi-bin/mailman/listinfo/slurm-users '''slurm-users''']. Praticamente todos os grandes centros de HPC no mundo apresentam também exemplos de submissão de jobs para códigos específicos das diversas áreas.<br />
<br />
=== Software ===<br />
==== Compiladores ====<br />
O cluster está equipado com vários compiladores e ferramentas de análise de desempenho, de depuração e de desenvolvimento. Para além dos compiladores integrados que acompanham a distribuição '''Redhat Enterprise Linux 5.3''', tais como o '''''gcc, gfortran, dbg, openmpi, mpich2''''', etc, sob a licença da [http://www.gnu.org/licenses/gpl-3.0.html '''GNU'''], existem também os suítes proprietários da '''Intel''' e da '''BULL''':<br />
<br />
* '''Intel(R) Fortran Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_f.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_f.pdf<br />
<br />
<br />
* '''Intel(R) C/C++ Compiler 11.1 for IA-32 / Intel(R) 64'''<br />
:* Diretório raiz:<br />
::: /opt/intel/Compiler/11.1/073<br />
:* Documentação online:<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/documentation_c.htm<br />
::: /opt/intel/Compiler/11.1/069/Documentation/en_US/getting_started_c.pdf<br />
<br />
<br />
* '''Intel(R) MPI Library, Development Kit for Linux OS'''<br />
:* Diretório raiz:<br />
::: /opt/intel/impi/4.0.0.028<br />
:* Documentação online:<br />
::: /opt/intel/impi/4.0.0.028/doc/Getting_Started.pdf<br />
<br />
<br />
* '''BULL Development package for MPI-2'''<br />
:* Diretório raiz:<br />
::: /opt/mpi/mpibull2-1.3.9-18.s/<br />
:* Documentação online:<br />
::: /usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf (Chapter 2)<br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
A versão mais recente dos suítes de compilação da Intel (14.0.1) encontra-se sob o diretório /opt/intel/composer_xe_2013_sp1.1.106/. A distribuição Redhat Enterprise Linux (v5.3) do cluster oferece a versão 2.4 da linguagem de programação Python. Uma versão paralela do '''Python''' oferecida pela Enthought, a distribuição Canopy, está instalada no diretório /var/Canopy. Sobre como utilizar esta distribuição poderá consultar o site [https://www.enthought.com/products/canopy https://www.enthought.com/products/canopy]<br />
</div><br />
<br />
==== Bibliotecas para desenvolvimento ====<br />
Várias versões de bibliotecas numéricas para desenvolvimento (''Bull SciStudio Book Shelf'') estão instaladas no diretório raiz '''/opt/scilibs'''. Para uma descrição detalhada de cada biblioteca basta apontar o browser interno do cluster para o diretório '''/opt/scilibs/SCISTUDIO_SHELF/SciStudio_shelf-1.1_Bull.9005/_www/Shelf.html'''. Uma visão global da ''Bull SciStudio'' pode ser encontrada no '''capítulo 3 do Users’s Guide''' ('''/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf''').<br />
<br />
==== Aplicações ====<br />
Os pacotes científicos instalados pela equipe de operação do cluster estão localizados nos diretórios raiz '''/opt/sci''' e '''/usr/local/ohpc/pub'''. Os pacotes de domínio público serão instalados sob demanda dos usuários. Está aberta a possibilidade de instalação de pacotes proprietários (licença paga) para uso exclusivo de determinados grupos de pesquisa. Nestes casos, é conveniente haver um contato prévio entre o grupo interessado e a equipe de operação de modo a realizar uma instalação que respeite as cláusulas da licença de contrato do software.<br />
<br />
O cluster '''veredas''' possui o pacote de gerenciamento [https://github.com/TACC/Lmod '''Lmod'''] [https://github.com/TACC/Lmod (https://github.com/TACC/Lmod)] instalado. Esta ferramenta permite a um usuário alternar entre diferentes versões de um pacote ou compiladores de maneira fácil, limpa e eficaz. O [https://github.com/TACC/Lmod '''Lmod'''] define dinâmicamente as variáveis de ambiente comuns tais como o '''PATH''', '''LD_LIBRARY_PATH''', '''MANPATH''' entre outras, sem que o usuário tenha que as definir no seu arquivo '''.bash_profile''' toda a vez que precisar utilizar uma determinada aplicação científica. Adicionalmente o [https://github.com/TACC/Lmod '''Lmod'''] permite “carregar” e “descarregar” combinações de aplicações/compiladores incluindo as suas dependências. As variáveis de ambiente específicas de cada pacote estão definidas em um arquivo designado por '''''modulefile''''' <ref>Trata-se de um arquivo do tipo ''script'' que pode ser escrito na linguagem<br />
[https://www.tcl.tk TCL] [https://www.tcl.tk (https://www.tcl.tk)] ou [https://www.lua.org Lua] [https://www.lua.org (https://www.lua.org)].</ref> . Os arquivos modulefile (módulos) estão localizados hierárquicamente sob o diretório definido em '''$MODULEPATH''' (i.e., '''/usr/local/ohpc/pub/modulefiles'''). Existem vários comandos que podem ser utilizados para gerenciar os arquivos modulefile:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição<br />
|-<br />
|'''module avail'''<br />
|Lista todos os módulos disponíveis para carregamento<br />
|-<br />
|'''module spider <pattern>'''<br />
|Procura por um módulo específico (e.g. module spider siesta)<br />
|-<br />
|'''module load <mod1>[mod2 …]'''<br />
|'''''Carrega''''' um módulo ou lista de módulos<br />
|-<br />
|'''module unload <module>'''<br />
|'''''Descarrega''''' o módulo<br />
|-<br />
|'''module list'''<br />
|Lista todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module purge'''<br />
|Descarrega todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module display <module>'''<br />
|Mostra o conteúdo do módulo (e.g. quais as variáveis de ambiente que são definidas)<br />
|-<br />
|'''module use <path>'''<br />
|Acrescenta um diretório local de módulos de um usuário aos módulos do sistema<br />
|}<br />
<br />
Mostramos abaixo o exemplo de saída na ''console'' quando o comando '''module avail''' é executado:<br />
<br />
<pre class="bash"><br />
[user_test@veredas0 ~]$ module avail<br />
<br />
-------------------------------- /usr/local/ohpc/pub/modulefiles -------------<br />
autotools intel/10.1.008<br />
bats/1.1.0 intel/11.1.069<br />
cmake/3.9.2 intel/14.0.1 (D)<br />
convergecfd/2.3.9 (P) intel/15.0.6 (T)<br />
convergecfd/2.3.20 (P) launcher/0.0.git.159.12b099a<br />
convergecfd/2.3.23 (P) likwid/4.3.1<br />
convergecfd/2.4.17 (P,D) ohpc<br />
gnu/5.4.0 orca/4.0.1 (P)<br />
gnu4/4.8.2 pgi/17.10<br />
gnu7/7.2.0 prun/1.2<br />
hwloc/1.11.9 simple/2.5<br />
ibrun-veredas/0.0.git.15.f58fde0 star-cd/4.24.021 (T)<br />
<br />
-------------------------------- /home/user_test/privatemodules --------------<br />
<br />
null<br />
Where:<br />
T: Testing<br />
P: Group restricted<br />
D: Default Module<br />
Use "module spider" to find all possible modules.<br />
Use "module keyword key1 key2 ..." to search for all possible modules matching<br />
any of the "keys".<br />
<br />
------------------------------------------------------------------------------<br />
Site: http://www.cenapad.ufmg.br.<br />
Email: <computacaocientifica@lcc.ufmg.br>.<br />
Telefone: 3409-4909<br />
------------------------------------------------------------------------------<br />
[user_test@veredas0 ~]$<br />
</pre><br />
<br />
<br />
<div class="aviso"><br />
'''Dica'''<br/><br />
Para uma consulta mais detalhada sobre o cluster, a BULL disponibiliza aos usuários os seguintes guias de utilização:<br />
*Bullx cluster suite: User’s Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A222FA02.pdf<br />
<br />
*Bullx cluster suite: Application Tuning Guide<br />
:/usr/local/share/info/20110325/Docs/XBAS-CS/86A223FA02.pdf<br />
<br />
Diversos documentos e apresentações podem também ser encontrados sob o diretório<br />
/usr/local/share/info<br />
</div><br />
<br />
== Notas ==<br />
<references /><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Bull]]<br />
[[Category:Guia Prático do cluster BULL LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Guia_Pr%C3%A1tico_do_cluster_BULL_LCC/CENAPAD-MG&diff=280Guia Prático do cluster BULL LCC/CENAPAD-MG2021-09-25T00:03:38Z<p>Admlccwiki: Admlccwiki moveu Guia Prático do cluster BULL LCC/CENAPAD-MG para Guia Prático do cluster Veredas LCC/CENAPAD-MG</p>
<hr />
<div>#REDIRECIONAMENTO [[Guia Prático do cluster Veredas LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Slurm_-_Veredas&diff=278Slurm - Veredas2021-09-25T00:02:39Z<p>Admlccwiki: </p>
<hr />
<div>O [https://slurm.schedmd.com/ '''''Slurm Workload Manager'''''] (anteriormente conhecido como ''Simple Linux Utility for Resource Management'' ou SLURM), ou Slurm, é num escalonador de tarefas gratuito e de código aberto para Linux e kernels similares ao Unix, usado por muitos dos supercomputadores e clusters de computadores do mundo. O Slurm Workload Manager possui três funções principais:<br />
* alocar nós computacionais para acesso exclusivo e/ou não-exclusivo (compartilhado) aos usuários por um determinado período de tempo necessário para executar as tarefas computacionais submetidas (''jobs'').<br />
* oferece um ambiente integrado que permite executar e monitorar em tempo real as tarefas lançadas nos nós computacionais alocados.<br />
* gerencia a fila de submissão, arbitrando conflitos entre os pedidos de recursos computacionais.<br />
<br />
== Comandos do Slurm ==<br />
Segue abaixo, uma lista de comandos úteis disponíveis para o Slurm que permite a interação dos usuários. A lista completa de comandos por ser encontrada na documentação oficial do Slurm através do link [https://slurm.schedmd.com/quickstart.html https://slurm.schedmd.com/quickstart.html]<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição do comando<br />
|-<br />
|'''SRUN'''<br />
|Submete na linha de comando um job para execução.<br />
|-<br />
|'''SBATCH'''<br />
|Submete scripts shell (eg. bash) para a fila de espera do SLURM.<br />
|-<br />
|'''SALLOC'''<br />
|Reserva recursos do cluster (tempo de cpu, memória, quantidade de nós, etc) para a execução de uma tarefa computacional.<br />
|-<br />
|'''SBCAST'''<br />
|Para transmissão de um arquivo para todos os nós que foram alocados para um determinado job.<br />
|-<br />
|'''SCANCEL'''<br />
|Para cancelar um job que esteja sendo executado ou que ainda esteja na fila de espera.<br />
|-<br />
|'''SQUEUE'''<br />
|Para monitorar o estado dos jobs nas diversas filas de espera do SLURM.<br />
|-<br />
|'''SINFO'''<br />
|Para monitorar o estado global das partições configuradas (filas).<br />
|-<br />
|'''SVIEW'''<br />
|Providencia a integração de toda a informação e disponibiliza-a através de uma interface gráfica.<br />
|}<br />
<br/><br />
Uma mnemônica muito útil é lembrar que todos os comandos do SLURM começam pela letra s. Todos os comandos possuem manuais que podem ser acessados online via linha de comando, '''man <comando>'''<br />
<br />
Exemplo com o comando '''sbatch''' :<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ man sbatch<br />
</pre><br />
Em geral a grande maioria dos usuários precisa familiarizar-se com três comandos básicos do SLURM: '''sbatch, squeue e scancel'''. Assim como no PBS Pro, a submissão de uma tarefa envolve a elaboração de um script shell (em geral em bash) que possui no seu preâmbulo diretrizes específicas do SLURM. Essas diretrizes começam com a palavra-chave '''#SBATCH''' (o análogo da palavra-chave '''#PBS''' para o PBS Pro). No corpo do script é então chamado o executável do programa com os seus respectivos parâmetros.<br />
<br />
== Submissão de tarefas computacionais ==<br />
<br />
=== Filas de submissão ===<br />
No UNIVERSO do SLURM o conceito de '''filas''' envolve a noção de partição de nós computacionais em grupos. Esses grupos não são necessariamente disjuntos (nós podem participar de mais de uma partição) e podem ser solicitados de acordo com a especificação de recursos do sistema (tempo de cpu, memória, etc). Para respeitar a herança do PBS Pro iremos nos referir indistintamente aos termos '''filas''' e '''partições'''.<br />
<br />
O cluster BULL-Veredas possui no momento três filas de submissão definidas apenas pelo recurso '''walltime''':<br />
* partição '''full''': nós '''veredas[12-107]''' sem restrição de tempo.<br />
* partição '''short''': nós '''veredas[2-11]''' máximo 1 hora.<br />
<br />
O usuário poderá listar a qualquer momento os recursos oferecidos por cada partição com o seguinte comando:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ scontrol show partitions<br />
PartitionName=full TotalNodes=96 TotalCPUs=768 RootOnly=NO<br />
Default=YES Shared=NO Priority=1 State=UP MaxTime=UNLIMITED Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[12-107] NodeIndices=10-105 DefaultTime=NONE<br />
<br />
PartitionName=short TotalNodes=10 TotalCPUs=80 RootOnly=NO<br />
Default=NO Shared=NO Priority=1 State=UP MaxTime=01:00:00 Hidden=NO<br />
MinNodes=1 MaxNodes=UNLIMITED DisableRootJobs=NO AllowGroups=ALL<br />
AllocNodes=ALL<br />
Nodes=veredas[2-11] NodeIndices=0-9 DefaultTime=NONE<br />
</pre><br />
ou através do seguinte comando,<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sinfo<br />
PARTITION AVAIL TIMELIMIT NODES STATE NODELIST<br />
full* up infinite 96 idle veredas[12-107]<br />
short up 1:00:00 9 idle veredas[2,4-11]<br />
short up 1:00:00 1 down veredas3.<br />
</pre><br />
<br />
Para racionalizar a utilização de recursos é conveniente que o usuário respeite a real demanda de sua tarefa e submeta seu script à partição mais apropriada, ou seja, ''jobs'' de curta duração (< 1 hora) na partição '''short'''. Caso contrário, pode correr o risco de a sua solicitação permanecer por muito tempo na fila de espera.<br />
<br />
O estado dos ''jobs'' submetidos ou em execução poderá também ser examinado no SLURM através do comando '''squeue''', tal como era feito no PBS Pro com o comando ''qstat'':<br />
<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ squeue<br />
JOBID PARTITION NAME USER ST TIME NODES NODELIST(REASON)<br />
179 short HelloWor test3 R 0:02 2 veredas[4-5]<br />
</pre><br />
<br/><br />
<div class="aviso"><br />
'''Aviso:''' Os exemplos de scripts de submissão que se seguem são para propósitos ilustrativos e representam ''templates'' que os usuários poderão adaptar conforme as suas necessidades específicas.<br />
</div><br />
<br />
=== Tarefas sequenciais ===<br />
Executar um ''job'' sequencial é bastante simples. Basta requisitar a duração necessária para executar a tarefa. Qualquer tarefa puramente seqüencial, que não utiliza MPI ou ''threads'', irá usar necessariamente '''um core apenas''' do nó computacional.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH --job-name="TESTJOB"<br />
#SBATCH --ntasks=1<br />
#SBATCH --time=01:00:00<br />
<br />
./a.out > OUTFILE<br />
</syntaxhighlight><br />
Por padrão o ''output'' do ''script'' acima será redirecionado para um arquivo do tipo ''slurm-'''XXXX'''.out'', onde '''XXXX''' é o número do job que foi atribuído pelo SLURM. Este arquivo de ''output'' estará localizado no diretório de onde foi feita a submissão. O interessante a notar, e a que nos referiremos mais adiante (ver), é de que este arquivo é criado no instante da execução do ''script'' e o seu conteúdo aumenta à medida que o programa vai sendo executado. Remover este arquivo antes da finalização do job acarreta portanto perda total do output da tarefa. Diferentemente no PBS Pro os arquivos de output só eram criados na área do usuário depois de o job finalizar. É possível especificar um nome para o arquivo de output fazendo uso da diretriz '''''#SBATCH --output=meu_job.out'''''. O mesmo vale para o arquivo de erro, '''''#SBATCH --error=meu_job.err'''''.<br />
<br />
=== Tarefas paralelas (MPI) ===<br />
O exemplo seguinte representa a submissão de um ''job'' paralelo MPI que foi compilado com o compilador proprietário da BULL (MPI BULL): '''mpicc -DALIGNED -c hello.c -o hello.o'''; '''mpicc hello.o -o hello.x'''. Nesta situação permitimos que o SLURM se gerencie não só da alocação dos recursos, mas também da execução do programa e da inicialização das comunicações na '''''Infiniband''''' através do comando '''srun'''.<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --ntasks 16<br />
#SBATCH --time 00:30:00<br />
#SBATCH --partition short<br />
source /opt/mpi/mpibull2-1.3.9-18.s/share/mpibull2.sh<br />
mpibull2_devices -d=ibmr_gen2<br />
echo ’------------------------------------------’<br />
ldd ./hello.x<br />
echo ’------------------------------------------’<br />
sleep 15<br />
<br />
srun hostname | sort<br />
<br />
srun ./hello.x<br />
</syntaxhighlight><br />
Segue o resultado da execução deste script:<br />
<br />
<pre class="bash"><br />
[test3@veredas0 SLURM]$ cat slurm-188.out<br />
------------------------------------------<br />
libmpi.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/libmpi.so (0x00002b1b48343000)<br />
librt.so.1 => /lib64/librt.so.1 (0x00000038d1a00000)<br />
libdl.so.2 => /lib64/libdl.so.2 (0x00000038d0e00000)<br />
libpmi.so => /usr/lib64/libpmi.so (0x00002b1b486a0000)<br />
libpthread.so.0 => /lib64/libpthread.so.0 (0x00000038d1200000)<br />
libuuid.so.1 => /lib64/libuuid.so.1 (0x00000038e1800000)<br />
libm.so.6 => /lib64/libm.so.6 (0x00000038d0a00000)<br />
libgcc_s.so.1 => /lib64/libgcc_s.so.1 (0x00000038dba00000)<br />
libc.so.6 => /lib64/libc.so.6 (0x00000038d0600000)<br />
libmpidev.so => /opt/mpi/mpibull2-1.3.9-18.s/lib/drivers/ibmr_gen2/libmpidev.so (0x00002b1b488a7000)<br />
/lib64/ld-linux-x86-64.so.2 (0x00000038d0200000)<br />
libslurm.so.20 => /usr/lib64/libslurm.so.20 (0x00002b1b48ba6000)<br />
libibverbs.so.1 => /usr/lib64/libibverbs.so.1 (0x00002b1b48e66000)<br />
libsvml.so => /opt/intel/Compiler/11.1/069/lib/intel64/libsvml.so (0x00002b1b49074000)<br />
------------------------------------------<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas4<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
veredas5<br />
Hello MPI: processor 5 of 16 on veredas4<br />
Hello MPI: processor 15 of 16 on veredas5<br />
MPIBull2 1.3.9-s (Astlik) 20091113-1606 MPI_THREAD_FUNNELED (job 188) (device gen2)<br />
Hello MPI: processor 0 of 16 on veredas4<br />
Hello MPI: processor 1 of 16 on veredas4<br />
Hello MPI: processor 2 of 16 on veredas4<br />
Hello MPI: processor 3 of 16 on veredas4<br />
Hello MPI: processor 4 of 16 on veredas4<br />
Hello MPI: processor 7 of 16 on veredas4<br />
Hello MPI: processor 8 of 16 on veredas5<br />
Hello MPI: processor 6 of 16 on veredas4<br />
Hello MPI: processor 9 of 16 on veredas5<br />
Hello MPI: processor 10 of 16 on veredas5<br />
Hello MPI: processor 11 of 16 on veredas5<br />
Hello MPI: processor 12 of 16 on veredas5<br />
Hello MPI: processor 13 of 16 on veredas5<br />
Hello MPI: processor 14 of 16 on veredas5<br />
</pre><br />
=== Tarefas paralelas com ''threads'' (MPI+OpenMP) ===<br />
Cada nó computacional do cluster BULL da UFMG possui '''2 quad-cores''' totalizando '''8 ''cores'''''. Mostramos a seguir um exemplo de submissão de uma tarefa paralela (MPI+OpenMP) que utiliza a Infiniband, cujo executável foi compilado com o '''Intel MPI''' e que requisita '''8 processos''', sendo que cada processo é um conjunto de '''4 ''threads'''''.<br />
<br />
Repare que propositalmente, e contráriamente ao caso anterior, a ferramenta '''[https://docs.par-tec.com/html/psmpi-userguide/rn01re01.html mpiexec]''' foi utilizada em vez do '''srun''' para lançar os processos MPI. O SLURM foi então utilizado apenas para reservar os recursos necessários.<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash<br />
#SBATCH -J HelloWorld<br />
#SBATCH --partition short<br />
#SBATCH --nodes 4<br />
#SBATCH --ntasks 8<br />
#SBATCH --cpus-per-task 4<br />
#SBATCH --time 00:30:00<br />
<br />
source /opt/intel/impi/4.0.0/bin64/mpivars.sh<br />
<br />
export OMP_NUM_THREADS=4<br />
export I_MPI_PMI_LIBRARY=/usr/lib64/libpmi.so<br />
export I_MPI_FABRICS=dapl<br />
<br />
sleep 20<br />
<br />
echo ’------------------------------------’<br />
ldd ./hello<br />
echo ’------------------------------------’<br />
srun hostname -s | sort -u >slurm.hosts<br />
<br />
<br />
mpdboot -n $SLURM_NNODES -f slurm.hosts -r ssh<br />
mpiexec -perhost 2 -np 8 ./hello<br />
mpdallexit<br />
</syntaxhighlight><br />
<br />
O diagrama abaixo,Figura 1, procura ilustrar a forma como os processos MPI e seus respetivos ''threads'' foram distribuídos nos '''32 cores''' dos quatro nós requisitados. A descrição detalhada de cada diretriz '''#SBATCH''' poderá ser consultada online através do comando man sbatch. A descrição de cada flag do mpiexec também pode ser obtida através de '''/opt/intel/impi/4.0.0/bin64/mpiexec -help'''.<br />
<br />
<br />
[[image:DiagramaTheadsMPI ClusterVeredas.png|frame|center|'''Figura 1''' - Diagrama com processos MPI e distribuição das '''''threads''''' em dois nós computacionais e 32 cores]]<br />
<br/><br />
<br />
=== Variáveis de ambiente do Slurm ===<br />
Quaisquer variáveis de ambiente que você define com o comando '''sbatch''' serão passadas para o seu ''job''. Por esse motivo, se o seu programa precisar que determinadas variáveis de ambiente , é melhor colocá-las no ''script'' do seu ''job''. Isso também facilita a reprodução dos resultados do ''job'' posteriormente, caso você necessite.<br />
A tabela abaixo, contém informações sobre algumas das variáveis de ambiente de entrada e saída mais comuns quando se usa o comando '''sbatch''' no ''script shell''. Para informações adicionais, veja a página man do '''sbatch''' ou acesse a documentação online no site oficial do Slurm [https://slurm.schedmd.com/sbatch.html https://slurm.schedmd.com/sbatch.html].<br />
<br />
{|class="wikitable" width=100% border=1 cellpadding=35px <br />
!|Variáveis de ambiente<br />
!|Definição<br />
|-<br />
|'''SLURM_JOB_ID (and SLURM_JOBID for backwards compatibility)'''<br />
|''The ID of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_NAME'''<br />
|''Name of the job.''<br />
|-<br />
|'''SLURM_JOB_NODELIST (and SLURM_NODELIST for backwards compatibility)'''<br />
|''List of nodes allocated to the job.''<br />
|-<br />
|'''SLURM_JOB_NUM_NODES (and SLURM_NNODES for backwards compatibility)'''<br />
|''Total number of different nodes in the job's resource allocation.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_COUNT'''<br />
|''Total number of tasks in a job array.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_ID'''<br />
|''Job array ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MAX'''<br />
|''Job array's maximum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_MIN'''<br />
|''Job array's minimum ID (index) number.''<br />
|-<br />
|'''SLURM_ARRAY_TASK_STEP'''<br />
|''Job array's index step size.''<br />
|-<br />
|'''SLURM_ARRAY_JOB_ID'''<br />
|''Job array's master job ID number.''<br />
|-<br />
|'''SLURM_CLUSTER_NAME'''<br />
|''Name of the cluster on which the job is executing.''<br />
|-<br />
|'''SLURM_CPUS_ON_NODE'''<br />
|''Number of CPUS on the allocated node.''<br />
|-<br />
|'''SLURM_CPUS_PER_TASK'''<br />
|''Number of cpus requested per task. Only set if the '''--cpus-per-task''' option is specified.''<br />
|-<br />
|'''SLURM_JOB_ACCOUNT'''<br />
|''Account name associated of the job allocation.''<br />
|-<br />
|'''SLURM_JOB_CPUS_PER_NODE'''<br />
|''Count of processors available to the job on this node.''<br />
|-<br />
|'''SLURM_JOB_DEPENDENCY'''<br />
|''Set to value of the '''--dependency''' option.''<br />
|-<br />
|'''SLURM_MEM_PER_NODE'''<br />
|''Same as '''--mem'''.''<br />
|-<br />
|'''SLURM_MEM_PER_CPU'''<br />
|''Same as '''--mem-per-cpu'''.''<br />
|-<br />
|'''SLURM_NTASKS (and SLURM_NPROCS for backwards compatibility)'''<br />
|''Same as '''-n, --ntasks'''''.<br />
|-<br />
|'''SLURM_NTASKS_PER_NODE'''<br />
|''Number of tasks requested per node. Only set if the '''--ntasks-per-node''' option is specified.''<br />
|-<br />
|'''SLURM_NTASKS_PER_SOCKET'''<br />
|''Number of tasks requested per socket. Only set if the '''--ntasks-per-socket''' option is specified.''<br />
|-<br />
|'''SLURM_SUBMIT_DIR'''<br />
|''The directory from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_SUBMIT_HOST'''<br />
|''The hostname of the computer from which '''sbatch''' was invoked.''<br />
|-<br />
|'''SLURM_TASK_PID'''<br />
|''The process ID of the task being started.''<br />
|-<br />
|'''SLURMD_NODENAME'''<br />
|''Name of the node running the job script.''<br />
|}<br />
<br />
== Comparação entre o SLURM e o PBS Pro ==<br />
Segue alguns comandos essenciais do SLURM e seus equivalentes no PBS Pro.<br />
<br />
{|class="wikitable" width=80% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
!|Comando PBS Pro<br />
|-<br />
|'''srun'''<br />
|submete um comando via SLURM no modo interativo.<br />
|'''qsub -I'''<br />
|-<br />
|'''sbatch'''<br />
|submete um ''script shell''.<br />
|'''qsub'''<br />
|-<br />
|'''squeue'''<br />
|lista todos os ''jobs'' (em execução ou no modo de espera) nas filas.<br />
|'''qstat'''<br />
|-<br />
|'''scontrol'''<br />
|modifica o estado de um ''job'' (maioria só é permitida ao ''root'').<br />
|'''qalter'''<br />
|-<br />
|'''scancel'''<br />
|cancela um ''job'', quer em execução ou na fila de espera.<br />
|'''qdel'''<br />
|}<br />
<br />
=== Variáveis de ambiente ===<br />
Existem também algumas diferenças no tocante às variáveis de ambiente como ilustra a tabela abaixo:<br />
{|class="wikitable" width=40% border=1 cellpadding=35px <br />
!|Comando Slrum<br />
!|Descrição do comando<br />
|-<br />
|$SLURM_JOB_ID<br />
|$PBS_JOBID<br />
|-<br />
|$SLURM_JOB_NAME<br />
|$PBS_JOBNAME<br />
|}<br />
<br />
O SLURM não possui o equivalente à variável '''$PBS_NODEFILE''' que aponta para o arquivo que contém os nomes dos nós computacionais reservados para a execução do ''job''. Contudo, quando necessário, é possível criar manualmente esse tipo de arquivo com o comando '''srun''':<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
<br />
HOSTFILE=/tmp/hosts.$SLURM_JOB_ID<br />
<br />
srun hostname -s > $HOSTFILE<br />
<br />
if [ -z "$SLURM_NPROCS" ] ; then<br />
if [ -z "$SLURM_NTASKS_PER_NODE" ] ; then<br />
SLURM_NTASKS_PER_NODE=1<br />
fi<br />
SLURM_NPROCS=$(( $SLURM_JOB_NUM_NODES * $SLURM_NTASKS_PER_NODE ))<br />
fi<br />
<br />
/path/to/mpirun -machinefile $HOSTFILE -np $SLURM_NPROCS programa.x<br />
<br />
rm /tmp/hosts.$SLURM_JOB_ID<br />
</syntaxhighlight><br />
<br />
=== Diretório de execução ===<br />
Uma outra diferença importante que distingue o '''SLURM''' do '''PBS Pro''' é que enquanto no primeiro escalonador a tarefa batch é executada automáticamente no diretório de onde foi submetido o seu script, o segundo precisa explicitamente que seja introduzida a seguinte linha:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
cd $PBS_O_WORKDIR<br />
...<br />
</syntaxhighlight><br />
<br />
As variáveis de ambiente que são definidas durante uma sessão shell do '''SLURM''' são automáticamente exportadas para o ''job batch'' em todos os nós computacionais no instante em que o script entra em execução. Já no '''PBS Pro''' é necessário garantir isso com a introdução da diretriz:<br />
<br />
<syntaxhighlight lang="Bash"><br />
#!/bin/bash -x<br />
...<br />
#PBS -V<br />
...<br />
</syntaxhighlight><br />
<br />
=== Output ===<br />
O '''SLURM''' apresenta ainda uma vantagem considerável e muito útil para aqueles usuários que precisam inspecionar numéricamente e em tempo real a evolução do seu programa, como por exemplo, a convergência de uma determinada iteração: os arquivos de saída '''stdout''' e de erro, '''stderr''' (ver as flags do SLURM) , são criados automáticamnte no diretório de onde foi submetido o script e vão crescendo gradualmente de tamanho à medida que a simulação evolui no tempo. O '''PBS Pro''' mostra-se insuficiente neste quesito: somente no final da execução da tarefa é que os arquivos de saída são escritos no diretório destinado.<br />
<br />
=== Diretrizes de submissão ===<br />
Finalmente com o intuito de auxiliar os usuários na migração dos seus scripts de submissão do '''PBS Pro''' para o '''SLURM''' apresentamos a seguinte tabela comparativa das diretrizes de submissão:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|PBS Pro<br />
!|Slurm<br />
|-<br />
|#PBS -N job_name<br />
|#SBATCH –job-name=”job_name” ou #SBATCH -J job_name<br />
|-<br />
|#PBS -l nodes=n<br />
|#SBATCH –nodes=n<br />
|-<br />
|#PBS -l walltime=HH:MM:SS<br />
|#SBATCH –time=HH:MM:SS<br />
|-<br />
|#PBS -l min_walltime=HH:MM:SS<br />
|#SBATCH –time-min=HH:MM:SS<br />
|-<br />
|#PBS -q <queue><br />
|#SBATCH –partition=<queue><br />
|-<br />
|#PBS -l mppwidth=n<br />
|#SBATCH –ntasks=n<br />
|-<br />
|#PBS -l mppnppn=N<br />
|#SBATCH –ntasks-per-node=N<br />
|-<br />
|#PBS -l mppdepth=d<br />
|#SBATCH –cpus-per-task=d<br />
|-<br />
|#PBS -l mppmem=mM<br />
|#SBATCH –mem=m<br />
|-<br />
|#PBS -l mppnodes=<nid-list><br />
|#SBATCH –nodelist=<nid-list><br />
|-<br />
|#PBS -W group_list=a_group<br />
|#SBATCH –account=a_group<br />
|-<br />
|#PBS -o /path/to/stdout<br />
|#SBATCH –output=/path/to/stdout (pode ser usado %j para jobid)<br />
|-<br />
|#PBS -e /path/to/stderr<br />
|#SBATCH –error=/path/to/stderr<br />
|-<br />
|#PBS -V<br />
|não é necessário<br />
|}<br />
<br />
Devemos também ressaltar que as diretrizes do SLURM podem ser especificadas na linha de comando em vez de colocadas no ''script'':<br />
<pre class="bash"><br />
[test3@veredas0 ~]$ sbatch --job-name="meu job" --ntasks=N ...<br />
</pre><br />
<br />
<div class="aviso"><br />
'''Aviso:''' Para uma informação mais detalhada sobre o escalonador '''SLURM''' o usuário poderá baixar e consultar o arquivo [https://www.lcc.ufmg.br/sites/default/files/manuais/BullXClusterSuite-UserGuide.pdf Bullx cluster suite: User’s Guide]. Para quem estiver interessado o [https://www.cscs.ch Swiss National Supercomputing Centre] disponibiza um video no qual são feitas várias demonstrações de como o usuário pode interagir com o '''SLURM'''.<br />
</div><br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Cluster Veredas]]<br />
[[Category:Slurm]]<br />
[[Category:Gerenciador de filas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Acesso_remoto_para_usu%C3%A1rios_Windows&diff=277Acesso remoto para usuários Windows2021-09-25T00:00:41Z<p>Admlccwiki: </p>
<hr />
<div>Para acessar os computadores do LCC/CENAPAD-MG remotamente, o usuário deve utiizar o Secure Shell (SSH).<br />
<br />
O Secure Shell (SSH) é um protocolo de rede criptográfico para operação de serviços de rede de forma segura sobre uma rede insegura. O melhor exemplo de aplicação conhecido é para login remoto de usuários a sistemas de computadores.<br />
<br />
Para os usuários da plataforma Windows, para conectar via SSH é possível através do cliente [https://www.putty.org/ PuTTy] com as configurações default e também do cliente [https://docs.microsoft.com/pt-br/windows-server/administration/openssh/openssh_overview OpenSSH nativo no Windows 10] que pode ser acessado através do Windows PowerShell.<br />
<br />
=Acessar o cluster Avicena=<br />
<br />
===Utilizando o cliente PuTTY===<br />
<ol><br />
<li>Abra o client PuTTy e digite o comando abaixo na caixa de texto Host Name(or IP address), figura 1.</li><br />
<pre class="bash"><br />
ssh seu_login@avicena.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<br />
[[File:TelaLoginPuttyAvicena.png|center|thumb|460px|'''Figura 1''' - Tela de login software PuTTy preenchido para acessar o cluster Avicena]]<br />
<br />
<li>Clique no botão Open e digite a sua senha.</li><br />
</ol><br />
<br /><br />
----<br />
<br />
===Utilizando o cliente Windows PowerShell===<br />
Primeiro verifique se o OpenSSH está instalado em seu computador, senão estiver faça a instalação. Para saber como fazer a verificação e instalaçao [[Instalar cliente OpenSSH no Windows|entre nessa página]].<br />
Após ter instalado o OpenSSH em seu computador, execute os passos abaixo:<br />
<ol><br />
<li>Abra o PowerShell e digite o comando abaixo:</li><br />
<pre class="bash"><br />
ssh seu_login@avicena.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<li>Aperte a tecla enter e digite a sua senha.</li><br />
</ol><br />
<br />
<br />
<br />
=Acessar o cluster Veredas=<br />
<br />
===Utilizando o cliente PuTTY===<br />
<ol><br />
<li>Abra o client PuTTy e digite o comando abaixo na caixa de texto Host Name(or IP address), figura 2.</li><br />
<pre class="bash"><br />
ssh seu_login@veredas.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<br />
[[File:TelaLoginPuttyVeredas.png|center|thumb|460px|'''Figura 2''' - Tela de login software PuTTy preenchido para acessar o cluster Veredas]]<br />
<br />
<li>Clique no botão Open e digite a sua senha.</li><br />
</ol><br />
<br /><br />
----<br />
<br />
===Utilizando o cliente Windows PowerShell===<br />
Primeiro verifique se o OpenSSH está instalado em seu computador, senão estiver faça a instalação. Para saber como fazer a verificação e instalaçao [[Instalar cliente OpenSSH no Windows|entre nessa página]].<br />
Após ter instalado o OpenSSH em seu computador, execute os passos abaixo:<br />
<ol><br />
<li>Abra o PowerShell e digite o comando abaixo:</li><br />
<pre class="bash"><br />
ssh seu_login@veredas.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<li>Aperte a tecla enter e digite a sua senha.</li><br />
</ol><br />
<br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Cluster Veredas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Arquivo:TelaLoginPuttyAvicena.png&diff=276Arquivo:TelaLoginPuttyAvicena.png2021-09-24T23:59:32Z<p>Admlccwiki: Tela de login software PuTTy preenchido para acessar o cluster Avicena</p>
<hr />
<div>== Descrição do arquivo ==<br />
Tela de login software PuTTy preenchido para acessar o cluster Avicena</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Cluster_Veredas&diff=274Categoria:Cluster Veredas2021-09-24T23:53:21Z<p>Admlccwiki: Admlccwiki moveu Categoria:Cluster Bull para Categoria:Cluster Veredas</p>
<hr />
<div>[[Category:Manuais]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Cluster_Bull&diff=275Categoria:Cluster Bull2021-09-24T23:53:21Z<p>Admlccwiki: Admlccwiki moveu Categoria:Cluster Bull para Categoria:Cluster Veredas</p>
<hr />
<div>#REDIRECIONAMENTO [[:Categoria:Cluster Veredas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Acesso_remoto_para_usu%C3%A1rios_Linux&diff=273Acesso remoto para usuários Linux2021-09-24T23:52:45Z<p>Admlccwiki: </p>
<hr />
<div>Para acessar os computadores do LCC/CENAPAD-MG remotamente, o usuário deve utiizar o Secure Shell (SSH).<br />
<br />
O Secure Shell (SSH) é um protocolo de rede criptográfico para operação de serviços de rede de forma segura sobre uma rede insegura. O melhor exemplo de aplicação conhecido é para login remoto de usuários a sistemas de computadores.<br />
<br />
=Acessar o cluster Avicena=<br />
<br />
<ol><br />
<br />
<li>Abra seu terminal do linux e digite o comando abaixo:</li><br />
<pre class="bash"><br />
ssh seu_login@avicena.cenapad.ufmg.br<br />
</pre><br />
<br />
* Substitua a palavra '''seu_login''' pelo login que você recebeu na abertura de sua conta.<br />
<br />
<li>Aperte a tecla entrer e digite a sua senha.</li><br />
<br />
</ol><br />
<br />
=Acessar o cluster Veredas=<br />
<ol><br />
<br />
<li>Abra seu terminal do linux e digite o comando abaixo:</li><br />
<pre class="bash"><br />
ssh seu_login@veredas.cenapad.ufmg.br<br />
</pre><br />
<br />
* Substitua a palavra '''seu_login''' pelo login que você recebeu na abertura de sua conta.<br />
<br />
<li>Aperte a tecla entrer e digite a sua senha.</li><br />
<br />
</ol><br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Cluster Veredas]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Sidebar&diff=272MediaWiki:Sidebar2021-09-24T23:51:06Z<p>Admlccwiki: </p>
<hr />
<div>**{{SERVER}}|icone<br />
* navigation<br />
** mainpage|mainpage-description<br />
** recentchanges-url|recentchanges<br />
** randompage-url|randompage<br />
*Acesso rápido<br />
** Guia_Prático_do_cluster_Avicena_LCC/CENAPAD-MG|Guia prático cluster Avicena<br />
** Guia_Prático_do_cluster_Veredas_LCC/CENAPAD-MG|Guia prático cluster Veredas<br />
** Slurm|Slurm<br />
** Acesso_remoto_para_usuários_Linux|Acesso remoto via Linux<br />
** Acesso_remoto_para_usuários_Windows|Acesso remoto via Windows<br />
** https://pt.wikipedia.org/wiki/Utilit%C3%A1rios_Unix|Comandos Linux<br />
* Categorias<br />
** Categoria:Manuais|Manuais<br />
** Categoria:Cluster Avicena|Cluster Avicena<br />
** Categoria:Cluster Veredas|Cluster Veredas<br />
* SEARCH<br />
* TOOLBOX<br />
* LANGUAGES</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Guia_Pr%C3%A1tico_do_cluster_Avicena_LCC/CENAPAD-MG&diff=271Categoria:Guia Prático do cluster Avicena LCC/CENAPAD-MG2021-09-24T23:49:48Z<p>Admlccwiki: Criar página em branco</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Categoria:Cluster_Avicena&diff=270Categoria:Cluster Avicena2021-09-24T23:49:33Z<p>Admlccwiki: Criar página em branco</p>
<hr />
<div></div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Guia_Pr%C3%A1tico_do_cluster_Avicena_LCC/CENAPAD-MG&diff=269Guia Prático do cluster Avicena LCC/CENAPAD-MG2021-09-24T23:49:15Z<p>Admlccwiki: Criou página com '== Abertura de conta == Após o usuário preencher o [https://www.lcc.ufmg.br/abertura-de-contas-formularios formulário de abertura de conta] e enviar para o LCC/CENAPAD-MG,...'</p>
<hr />
<div>== Abertura de conta ==<br />
Após o usuário preencher o [https://www.lcc.ufmg.br/abertura-de-contas-formularios formulário de abertura de conta] e enviar para o LCC/CENAPAD-MG, caso aprovada pela equipe do LCC/CENAPAD-MG, a conta será aberta e este poderá utlizar o Cluster Avicena LCC/CENAPAD-MG. O usuário receberá os dados de acesso através do email cadastrado no ato da aberto de conta.<br />
<br />
A abertura de cada conta estará vinculada a um projeto para fins de contabilidade de uso. No cluster o projeto será identificado pelo grupo unix '''CODIGO_DO_PROJETO''' (código que você receberá por email) e as áreas de trabalho concedidas são:<br />
<br />
*áreas privativas dos usuários: /home/'''CODIGO_DO_PROJETO'''/'''SEU_LOGIN'''<br />
*área para software do grupo: /home/projetos/'''CODIGO_DO_PROJETO'''<br />
*storage para dados computacionais: /storage/'''CODIGO_DO_PROJETO'''<br />
<br />
Somente os usuários do grupo '''CODIGO_DO_PROJETO''' têm permissões de leitura, escrita e execução nos diretórios /projetos/'''CODIGO_DO_PROJETO''' e /storage/'''CODIGO_DO_PROJETO'''. A organização interna dos diretórios fica a critério dos membros do grupo. O responsável pelas atividades e ações do grupo será o seu pesquisador principal (principal investigator, PI), ou seja, o professor com vínculo empregatício à sua universidade de origem ou um PostDoc. Em geral será o pesquisador principal que solicitará a abertura de projeto e a inclusão de seus colaboradores de pesquisa. Qualquer usuário poderá solicitar à equipe de manutenção a sua inclusão em mais de um projeto diferente, sujeito à aprovação do seu respetivo PI.<br />
<br />
<div class="aviso"><br />
'''Atenção!'''<br/><br />
Para a comunicação das senhas será utilizado o serviço [https://privnote.com Privnote]. Trata-se de um serviço de anotações online no qual o destinatário tem um tempo limite para ler a anotação até que esta se auto-destrua. Os links de acesso ao '''Privnote''' serão enviados posteriormente para cada email cadastrado. No momento em que o link for ‘clicado’, a página será carregada com uma janela contendo uma string de 12 caracteres alfanuméricos. Essa string é a senha gerada para o primeiro acesso do usuário ao cluster. Copie essa string, porque o link será destruído. Recomendamos fortemente que no primeiro acesso o usuário troque a senha com o comando '''passwd'''. Lembre-se da importância de utilizar senhas fortes. Todos os estudos corroboram que a principal razão por detrás da grande maioria dos incidentes de segurança digital é a utilização de senhas fracas.<br />
</div><br />
<br />
== Acesso Remoto ==<br />
O acesso ao Cluster Avicena do LCC/CENAPAD-MG é feito através do ssh através do endereço: <br />
<br />
<pre class="bash"><br />
ssh SEU_LOGIN@avicena.cenapad.ufmg.br<br />
</pre><br />
<br />
* substitua a palavra '''SEU_LOGIN''' pelo login que você recebeu após a abertura da conta. <br />
<br />
<br />
Caso necessite de mais detalhes, acesso os link abaixo:<br />
<br />
*[[Acesso remoto para usuários Linux|Acesso remoto para usuários Linux]]<br />
<br />
*[[Acesso remoto para usuários Windows|Acesso remoto para usuários Windows]]<br />
<br />
== O Cluster Avicena LCC/CENAPAD-MG ==<br />
<br />
O Cluster Avicena LCC/CENAPAD-MG possui 6 nós computacionais distribuídos fisicamente. Os nós possuem configurações heterogêneas agregando um total de 42 núcleos de processamento (cores) e aproximadamente 384 Gigabytes de memória distribuída pela máquina. O potencial de desempenho teórico do cluster traduz-se em 392 Gigaflops (392 bilhões de operações elementares por segundo). O Cluster é interligado através de um switch lógico de alto desempenho seguindo a arquitetura de rede ethernet.<br />
<br />
=== Hardware ===<br />
Os servidores que compõem o cluster Avicena do LCC/CENAPAD-MG estão organizados da seguinte forma:<br />
<br />
{|class="wikitable" width=50% border=1 cellpadding=35px <br />
!|Quantidade<br />
!|Descrição<br />
!|Hardware<br />
!|Hostnames<br />
|-<br />
|1<br />
|Servidor login (masternode)<br />
|Intel Core 17-9700F 3 Ghz – 64GB DDR4 2 TB hard disk<br />
|masternode<br />
|-<br />
|3<br />
|Nodos computacionais<br />
|Intel Core i7-8700 3.20 Ghz 64GB DDR4 1 TB hard disk<br />
|node[001,002,003]<br />
|-<br />
|1<br />
|Nodos computacionais<br />
|Intel Core 17-9700F 3 Ghz – 64GB DDR4 1 TB hard disk<br />
|node 004<br />
|-<br />
|2<br />
|Nodos computacionais<br />
|AMD Ryzen 3700X 64GB DDR4 12 TB hard disk<br />
|node [005, 006]<br />
|}<br />
<br />
Todo o trabalho de desenvolvimento de programas científicos bem como a preparação das tarefas computacionais devem ser realizados no servidor de login '''masternode'''. O workflow que rege um determinado cálculo deve ser expresso num arquivo de ''script'' em linguagem bash e submetido ao [[Slurm|gerenciador de recursos '''Slurm''']].<br />
<br />
Extensa fonte de informação sobre o [https://www.schedmd.com/ '''Slurm'''] encontra-se no site dos seus criadores, onde é mantida uma mailing-list para usuários [https://lists.schedmd.com/cgi-bin/mailman/listinfo/slurm-users '''slurm-users''']. Praticamente todos os grandes centros de HPC no mundo apresentam também exemplos de submissão de jobs para códigos específicos das diversas áreas.<br />
<br />
=== Software ===<br />
==== Compiladores ====<br />
O cluster está equipado com vários compiladores e ferramentas de análise de desempenho, de depuração e de desenvolvimento. Para além dos compiladores integrados que acompanham a distribuição '''Centos Linux 7.8''', tais como o '''''gcc, gfortran, dbg, openmpi, mpich''''', etc, sob a licença da [http://www.gnu.org/licenses/gpl-3.0.html '''GNU'''], existem também os suítes proprietários da '''Intel''':<br />
<br />
* '''Intel(R) Fortran Compiler 2021.1.1 for IA-32 / Intel(R) 64'''<br />
* '''Intel(R) C/C++ Compiler 2021.1.1 for IA-32 / Intel(R) 64'''<br />
* '''Intel(R) MPI Library, Development Kit for Linux OS'''<br />
<br />
==== Aplicações e Bibliotecas para desenvolvimento ====<br />
Os pacotes científicos e bibliotecas para desenvolvimento instalados pela equipe de operação do cluster estão localizados nos diretórios diretório_raiz/'''desenvolvimento'''. Os pacotes de domínio público serão instalados sob demanda dos usuários. Está aberta a possibilidade de instalação de pacotes proprietários (licença paga) para uso exclusivo de determinados grupos de pesquisa. Nestes casos, é conveniente haver um contato prévio entre o grupo interessado e a equipe de operação de modo a realizar uma instalação que respeite as cláusulas da licença de contrato do software. Veja abaixo a lista de alguns itens instalados no cluster Avicena:<br />
* '''Pacotes'''<br />
** QUANTUM ESPRESSO 6.6<br />
** GROMACS 2020<br />
** LAMMPS-MAR2021<br />
** GAMESS 2021<br />
** ORCA-4.2.1<br />
** R-4.0.3<br />
** SIESTA-4.1<br />
<br />
* '''Programação'''<br />
** GNU-4.8.5<br />
** GNU-9.3.0<br />
** Compiladores Intel 2021<br />
** MPICH-3.4<br />
** OPENMPI-2.1.6<br />
** OPENMPI-4.1.0<br />
** OPENMPI-3.1.4<br />
** PYTHON-2.7<br />
** PYTHON-3.6<br />
<br />
* '''Bibliotecas'''<br />
** CURL<br />
** FFTW<br />
** INTEL MKL<br />
** LIBXC<br />
** NETCDF C<br />
** NETCDF FORTRAN<br />
** OPENBLAS<br />
** BLAS/LAPACK<br />
** SCALAPACK<br />
<br />
* '''Utilitários'''<br />
** HDF5-1.10.5<br />
** CMAKE-3.20<br />
<br />
O cluster '''Avicena''' possui o pacote de gerenciamento [https://github.com/TACC/Lmod '''Lmod'''] [https://github.com/TACC/Lmod (https://github.com/TACC/Lmod)] instalado. Esta ferramenta permite a um usuário alternar entre diferentes versões de um pacote ou compiladores de maneira fácil, limpa e eficaz. O [https://github.com/TACC/Lmod '''Lmod'''] define dinâmicamente as variáveis de ambiente comuns tais como o '''PATH''', '''LD_LIBRARY_PATH''', '''MANPATH''' entre outras, sem que o usuário tenha que as definir no seu arquivo '''.bash_profile''' toda a vez que precisar utilizar uma determinada aplicação científica. Adicionalmente o [https://github.com/TACC/Lmod '''Lmod'''] permite “carregar” e “descarregar” combinações de aplicações/compiladores incluindo as suas dependências. As variáveis de ambiente específicas de cada pacote estão definidas em um arquivo designado por '''''modulefile''''' <ref>Trata-se de um arquivo do tipo ''script'' que pode ser escrito na linguagem<br />
[https://www.tcl.tk TCL] [https://www.tcl.tk (https://www.tcl.tk)] ou [https://www.lua.org Lua] [https://www.lua.org (https://www.lua.org)].</ref> . Os arquivos modulefile (módulos) estão localizados hierárquicamente sob o diretório definido em '''$MODULEPATH''' (i.e., '''/usr/local/ohpc/pub/modulefiles'''). Existem vários comandos que podem ser utilizados para gerenciar os arquivos modulefile:<br />
<br />
{|class="wikitable" width=60% border=1 cellpadding=35px <br />
!|Comando<br />
!|Descrição<br />
|-<br />
|'''module avail'''<br />
|Lista todos os módulos disponíveis para carregamento<br />
|-<br />
|'''module spider <pattern>'''<br />
|Procura por um módulo específico (e.g. module spider siesta)<br />
|-<br />
|'''module load <mod1>[mod2 …]'''<br />
|'''''Carrega''''' um módulo ou lista de módulos<br />
|-<br />
|'''module unload <module>'''<br />
|'''''Descarrega''''' o módulo<br />
|-<br />
|'''module list'''<br />
|Lista todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module purge'''<br />
|Descarrega todos os módulos que estão carregados no ambiente<br />
|-<br />
|'''module display <module>'''<br />
|Mostra o conteúdo do módulo (e.g. quais as variáveis de ambiente que são definidas)<br />
|-<br />
|'''module use <path>'''<br />
|Acrescenta um diretório local de módulos de um usuário aos módulos do sistema<br />
|}<br />
<br />
Mostramos abaixo o exemplo de saída na ''console'' quando o comando '''module avail''' é executado:<br />
<br />
<pre class="bash"><br />
<br />
[prado@masternode ~]$ module avail<br />
<br />
------------------------------- /desenvolvimento/modulefiles/intel/oneapi -------------<br />
advisor/2021.1.1 dnnl/latest intel_ipp_intel64/2021.1.1<br />
advisor/latest dnnl—cpu—gomp/2021.1.1 intel_ipp_intel64/latest<br />
cc1/2021.1.1 dnnl—cpu—gomp/latest itac/2021.1.1<br />
ccl/latest dnnl—cpu—iomp/2021.1.1 itac/latest<br />
clck/2021.1.1 dnnl—cpu—iomp/latest mkl/2021.1.1<br />
clck/lacest dnnl—cpu—tbb/2021.1.1 mkl/latest<br />
compiler/2021.1.1 dnnl—cpu—tbb/latest mk132/2021.1.1<br />
compiler/latest dpct/2021.1.1 mk132/latest<br />
compiler32/2021.1.1 dpct/latest mpi/2021.1.1<br />
compiler32/latest dpl/2021.1.1 mpi/latest<br />
compiler—rt/2021.1.1 dpl/latest oclfpga/2021.1.1<br />
compiler—rt/latest init_opencl/2021.1.1 oclfpg/latest<br />
compiler—rt32/2021.1.1 init_opencl/latest tbb/2021 .1.1<br />
compiler—rt32/latest inspector/2021.1.1 tbb/latest<br />
dal/2021.1.1 inspector/latest tbb32/2021.1.1<br />
dal/latest intel_ippcp_ia32/2021.1.1 tbb32/Iatest<br />
debugger/10.0.0 intel_ippcp_ia32/latest vpl/2021.1.1<br />
debugger/latest intel_ippcp_intel64/2021.1.1 vpl/latest<br />
dev—utilities/2021.1..1 intel_ippcp_intel64/latest vtune/2021.1.1<br />
dev—utilities/latest intel_ipp_ia32/2021.1.1 vtune/latest<br />
dnnl/2021.1.1 intel_ipp_ia32/latest<br />
<br />
-------------------------------- /usr/share/Modules/modulefiles --------------<br />
cmake/3.20 gromacs/2020<br />
fftw/3.3.9 hdf5/1.10.5<br />
gamess/2021 lammps/2021<br />
gcc/9.3 libxc/5.1.3<br />
gnu—mpi/mpich/3.2.1 netcdf/4.7.4<br />
</pre><br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Avicena]]<br />
[[Category:Guia Prático do cluster Avicena LCC/CENAPAD-MG]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Sidebar&diff=268MediaWiki:Sidebar2021-09-21T01:17:11Z<p>Admlccwiki: </p>
<hr />
<div>**{{SERVER}}|icone<br />
* navigation<br />
** mainpage|mainpage-description<br />
** recentchanges-url|recentchanges<br />
** randompage-url|randompage<br />
*Acesso rápido<br />
** Guia_Prático_do_cluster_BULL_LCC/CENAPAD-MG|Guia prático cluster<br />
** Slurm|Slurm<br />
** Acesso_remoto_para_usuários_Linux|Acesso cluster via Linux<br />
** Acesso_remoto_para_usuários_Windows|Acesso cluster via Windows<br />
** https://pt.wikipedia.org/wiki/Utilit%C3%A1rios_Unix|Comandos Linux<br />
* Categorias<br />
** Categoria:Manuais|Manuais<br />
** Categoria:Cluster Bull|Cluster Bull<br />
* SEARCH<br />
* TOOLBOX<br />
* LANGUAGES</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=Acesso_remoto_para_usu%C3%A1rios_Windows&diff=267Acesso remoto para usuários Windows2020-09-03T17:39:03Z<p>Admlccwiki: </p>
<hr />
<div>Para acessar o Cluster Bull remotamente, o usuário deve utiizar o Secure Shell (SSH).<br />
<br />
O Secure Shell (SSH) é um protocolo de rede criptográfico para operação de serviços de rede de forma segura sobre uma rede insegura. O melhor exemplo de aplicação conhecido é para login remoto de usuários a sistemas de computadores.<br />
<br />
Para os usuários da plataforma Windows, para conectar via SSH é possível através do cliente [https://www.putty.org/ PuTTy] com as configurações default e também do cliente [https://docs.microsoft.com/pt-br/windows-server/administration/openssh/openssh_overview OpenSSH nativo no Windows 10] que pode ser acessado através do Windows PowerShell.<br />
<br />
==Como acessar o Cluster Bull remotamente via Windows?==<br />
<br />
===Utilizando o cliente PuTTY===<br />
<ol><br />
<li>Abra o client PuTTy e digite o comando abaixo na caixa de texto Host Name(or IP address), figura 1.</li><br />
<pre class="bash"><br />
seu_login@veredas.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<br />
[[File:TelaLoginPuttyVeredas.png|center|thumb|460px|'''Figura 1''' - Tela de login software PuTTy preenchido para acessar o cluster veredas]]<br />
<br />
<li>Clique no botão Open e digite a sua senha.</li><br />
</ol><br />
<br /><br />
----<br />
<br />
===Utilizando o cliente Windows PowerShell===<br />
Primeiro verifique se o OpenSSH está instalado em seu computador, senão estiver faça a instalação. Para saber como fazer a verificação e instalaçao [[Instalar cliente OpenSSH no Windows|entre nessa página]].<br />
Após ter instalado o OpenSSH em seu computador, execute os passos abaixo:<br />
<ol><br />
<li>Abra o PowerShell e digite o comando abaixo:</li><br />
<pre class="bash"><br />
ssh seu_login@veredas.cenapad.ufmg.br<br />
</pre><br />
* Substitua a palavra '''seu_login''' pelo login que você criou na abertura de sua conta.<br />
<li>Aperte a tecla enter e digite a sua senha.</li><br />
</ol><br />
<br />
<br />
<br />
[[Category:Manuais]]<br />
[[Category:Cluster Bull]]<br />
[[Category:Guia de comandos linux]]<br />
[[Category:Acesso remoto ao Cluster Bull]]<br />
[[Category:Acesso remoto para usuários Windows]]</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=41MediaWiki:Common.css2019-06-04T13:39:49Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 1.18em;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=40MediaWiki:Common.css2019-06-04T13:39:31Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 1.17em;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=39MediaWiki:Common.css2019-06-04T13:39:08Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 1.15em;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=38MediaWiki:Common.css2019-06-04T13:10:23Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 1.2em;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=37MediaWiki:Common.css2019-06-04T13:09:35Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 16px;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=36MediaWiki:Common.css2019-06-04T13:09:11Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 17px;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=35MediaWiki:Common.css2019-06-04T13:08:47Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: 15px;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=34MediaWiki:Common.css2019-06-04T13:08:12Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-size: large;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=33MediaWiki:Common.css2019-06-04T13:07:44Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-weight: bold;<br />
font-size: large;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=32MediaWiki:Common.css2019-06-04T13:07:04Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-weight: bold;<br />
font-size: 16px;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=31MediaWiki:Common.css2019-06-04T13:06:16Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
font-weight: bold;<br />
font-size: 16px;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=30MediaWiki:Common.css2019-06-04T13:05:47Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
font-weight: bold;<br />
font-size: large;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=29MediaWiki:Common.css2019-06-04T13:04:46Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
font-weight:bold;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=28MediaWiki:Common.css2019-06-04T13:03:26Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
/*.mw-highlight pre {<br />
font-size: 90%;<br />
}*/</div>Admlccwikihttps://www.lcc.ufmg.br/wiki/index.php?title=MediaWiki:Common.css&diff=27MediaWiki:Common.css2019-06-04T13:02:33Z<p>Admlccwiki: </p>
<hr />
<div>/** o código CSS colocado aqui será aplicado a todos os temas */<br />
/*Style for bash scripts: pre tags with class "bash"*/<br />
pre.bash {<br />
background-color: black;<br />
color: grey;<br />
font-family: Consolas,Monaco,Lucida Console,Liberation Mono,DejaVu Sans Mono,Bitstream Vera Sans Mono,Courier New, monospace;<br />
}<br />
<br />
.mw-highlight pre {<br />
font-size: 90%;<br />
}</div>Admlccwiki