GRID CBPF/COHEP se prepara para dobrar sua produção de simulações

O Centro Brasileiro de Pesquisas Físicas (CBPF) tem entre seus propósitos desenvolver a física de altas energias e contribuir para a infraestrutura de suporte à ciência. Alinhando esses dois eixos, o CBPF se prepara para receber um computador que quase dobrará sua capacidade de processamento e o colocará entre os principais GRIDs do mundo.

Eficiência e agilidade no processamento de dados

A computação em GRID é um modelo computacional capaz de alcançar uma alta taxa de processamento dividindo as tarefas entre diversas máquinas.

Digamos que um grupo de pesquisadores esteja conduzindo uma pesquisa em física de partículas, mais especificamente, em um experimento de colisão de alta energia em aceleradores de partículas, como o Large Hadron Collider (LHC).

Esses experimentos geram uma grande quantidade de dados que precisam ser processados e analisados para extrair informações relevantes sobre as partículas subatômicas envolvidas e as leis fundamentais da física. No entanto, o volume de dados produzido é imenso, demandando recursos computacionais intensivos.

Nesse contexto, o conceito de GRID se torna crucial. Com o GRID, os pesquisadores podem criar uma infraestrutura distribuída que combina o poder de processamento de vários computadores em uma única unidade virtual. Isso permite lidar com um grande volume de dados gerados pelos experimentos de forma mais eficiente e rápida.

GRID CBPF - Crédito: Tatiana Azzi (NCS/CBPF)

Além disso, o GRID também facilita o compartilhamento de recursos entre diversos centros de pesquisa ao redor do mundo. Os pesquisadores podem acessar e utilizar recursos de computação de diferentes locais, colaborando de forma mais efetiva e maximizando o potencial da pesquisa.

Portanto, o conceito de GRID na física permite que os pesquisadores lidem com a enorme quantidade de dados gerados em experimentos de alta energia, acelerando as análises e colaborações, contribuindo assim para o avanço do conhecimento e descobertas científicas.

Sobre o projeto

O projeto de GRID é uma colaboração internacional global da Organização Europeia para Investigação Nuclear (CERN), conhecida como Worldwide LHC Computing Grid (WLCG) e na qual CBPF faz parte. O objetivo do WLCG é facilitar a colaboração e o compartilhamento de recursos computacionais para processar e analisar os dados gerados nos experimentos do LHC, contribuindo para avanços significativos na física de partículas e ampliando nosso conhecimento do universo em que vivemos.

Essa colaboração abrange 42 países, 170 centros de computação, mais de um milhão de núcleos de processamento e dois exabytes de armazenamento distribuídos pelo mundo.

Para avaliar o desempenho de cada site de GRID, o WLCG utiliza o parâmetro de horas de CPU para determinar o tempo de execução que cada simulação leva para ser concluída. Na classificação geral o GRID do CBPF, que está alocado na categoria “Latin América”, ocupava a posição 106 no ano de 2022 com um total de 459.862 jobs (programas executados, em tradução livre) e 90.169.074 de horas de CPU; e no ano de 2023, com a aquisição novos computadores, o GRID do CBPF passou a ocupar a posição 66 entre todos os sites de GRID do mundo com um total de 2.006.024 jobs e 300.172.115 de horas de CPU.

Captura de vídeo sobre a atividade de processamento do GRID em 2017 - Crédito: CERN

Atualmente existem 34 sites no mundo dando suporte ao experimento Large Hadron Collider beauty experiment (LHCb). O GRID do CBPF é o único oficialmente a dar suporte a este experimento na América Latina e tem se mantido entre os 10 sites que mais executam simulações. Desde junho de 2023, o GRID do CBPF se mantêm entre os cinco sites com melhor desempenho. Cabe destacar que neste específico mês o GRID do CBPF ficou na segunda posição, com 29.738.269 de horas de CPU.

Entendendo as classificações

Os sites de GRID são classificados em quatro níveis (Tiers em inglês): 0, 1, 2 e 3. Cada Tier é composto por vários centros de informática e fornece um conjunto específico de serviços, processamento, armazenamento e analise de todos os dados do LHC. O nível 0 é o data center do CERN onde todos os dados do LHC passam por esse ponto central, mas ele oferece apenas 20% da capacidade total da rede. O CERN é responsável pela manutenção segura dos dados brutos (milhões de leituras digitais dos detectores) e realiza a primeira etapa na reconstrução dos dados brutos em informações significativas. A camada 0 distribui os dados brutos e a saída reconstruída para a camada 1 e reprocessa os dados quando o LHC não está em execução.

Os Tier 1 consistem em 13 centros de computação com unidades de fita magnética para armazenar dados do LHC e são responsáveis ​​por armazenar uma parcela proporcional dos dados brutos e reconstruídos, bem como realizar o reprocessamento em larga escala e armazenar a saída correspondente: distribuição de dados para Tier 2, e armazenagem de uma parte dos dados simulados produzidos pelos Tier 2.

Links de fibra óptica operando a dez gigabits por segundo conectam o CERN a cada um dos 13 principais centros Tier 1 em todo o mundo. Esta rede dedicada de alta largura de banda é chamada LHC Optical Private Network (LHCOPN). Os Tier 2 são normalmente universidades e outros institutos científicos que podem armazenar dados suficientes e fornecer capacidade computacional adequada para tarefas de análise específicas. Eles lidam com uma parte proporcional da produção e reconstrução de eventos simulados. Existem cerca de 155 sites Tier 2 em todo o mundo. Os cientistas individuais podem acessar o GRID por meio de recursos de computação locais (ou Tier 3), que podem consistir em clusters locais em um departamento universitário ou até mesmo em um PC individual.

Mapa topológico das conexões dos Tiers - Crédito: CERN

Alta confiabilidade

O GRID do CBPF é classificado como um Tier 2, apenas processamento, e o projeto está alocado na Coordenação de Física de Altas Energias (COHEP), sendo liderado pelo pesquisador Ignácio Bediaga, que é o coordenador científico, e administrado pelos técnicos: Jaime Fernandes, coordenador técnico e Eraldo Junior, coordenador operacional. Essa colaboração teve início há mais de dez anos e vem sendo mantida pelo CBPF através de investimentos em infraestrutura, rede de comunicação de alta velocidade (atualmente em 10Gb/s) e aquisições de novos computadores de alto desempenho.

Para um site de GRID é muito importante ter uma infraestrutura de qualidade para manter uma alta disponibilidade e confiabilidade no mesmo. Isso garante o funcionamento do site 24h por dia e que todas as simulações que venham a ser executadas no GRID do CBPF possam ser concluídas sem falhas ou interrupções e os resultados enviados ao CERN.

Atualmente o GRID do CBPF conta com 3.075 núcleos de processamento de alto desempenho, para a análise de dados gerados pelo LHC e prover suporte aos experimentos LHCb, A Large Ion Collider Experiment (ALICE) e Deep Underground Neutrino Experiment (DUNE).

No ano de 2022, Bediaga submeteu um projeto à Financiadora de Estudos e Projetos (FINEP), contemplando uma melhoria na infraestrutura do Data Center do GRID que previa, entre outros itens, a aquisição de um novo computador para cálculo – que chegou ao CBPF no final de 2023 e está em fase de instalação.

O novo computador é composto por um único gabinete com 20 computadores de 128 núcleos de processamento e conta com 4GB de RAM para cada núcleo de processamento, em um total de 2.560 núcleos e 10TB de memória RAM e conexão de rede de 40Gb/s. Com esse novo computador, o site de GRID do CBPF contará com 5.635 núcleos de processamento.

Eraldo Junior e Jaime Fernandes monitorando o processamento do GRID - Crédito: Tatiana Azzi (NCS/CBPF)

Novidades

O GRID do CBPF passará a ser o maior site de GRID da América Latina em horas de CPU e, com a aquisição do novo computador pelo projeto da Financiadora de Estudos e Projetos (FINEP), o GRID do CBPF irá ultrapassar alguns sites Tiers 1 em horas de CPU, saindo da posição 66 indo, provavelmente, para a posição 45 entre os sites de GRID do mundo – e figurar cada vez mais entre os destaques.

Mais informações:

Produção total mundial de GRID ano de 2022: https://wlcg-cric.cern.ch/wlcg/reporting/countries/report/?csrfmiddlewaretoken=lHum580aQuRAdE9Y7pZSrUJpPNMSlrZert1WcmmtUxkYdtIvqu2TjHJ5YSYFA1lH&start_date=2022-01&end_date=2022-12&dtypes=C 

Produção total mundial de GRID de janeiro de 2023 a novembro de 2023: https://wlcg-cric.cern.ch/wlcg/reporting/countries/report/?csrfmiddlewaretoken=DMuD3g9MT32X4fr7ZvGHbiv8jdhTCECjJy1dauv5X6vl440EiAJI35vOsitGReYM&start_date=2023-01&end_date=2023-11&dtypes=C

The Worldwide LHC Computing Grid activity captured live by the EGL application in August 2017 (Vídeo): https://videos.cern.ch/record/2640380/embed

Processing LHC Data (Vídeo): https://www.youtube.com/watch?v=jDC3-QSiLB4