INFN CNAF Di Bologna: L'Ingegneria Del Calcolo Distribuito Tra Centro Tier-1 Di LHC, Rete Dati Terabit E Infrastruttura Cloud Per La Fisica Delle Alte Energie
Nel quartiere Navile, all'interno delle storiche strutture industriali progettate da Pier Luigi Nervi, sorge il nuovo data center Tier-1 dell'Istituto Nazionale di Fisica Nucleare. Con 60.000 core computazionali, 150 petabyte di memoria multilivello e una dorsale in fibra a 400 Gbps integrata con la rete GARR-T, il CNAF si consacra come uno dei centri di supercalcolo più avanzati al mondo, snodo cruciale per gli esperimenti del CERN, le onde gravitazionali di Virgo e la rivoluzione del calcolo quantistico.
1. Genesi e Rinascimento Tecnologico: Il Tier-1 al Tecnopolo di Bologna
Sotto le imponenti volte paraboliche in cemento armato dell'ex Manifattura Tabacchi di Bologna — capolavoro dell'ingegneria razionalista del Novecento firmato da Pier Luigi Nervi — si consuma ogni secondo una delle più imponenti elaborazioni di flussi digitali del pianeta. È qui, negli spazi monumentali ribattezzati "Botti", che l'Istituto Nazionale di Fisica Nucleare (INFN) ha completato il trasferimento e l'accensione del nuovo polo dell'INFN CNAF (Centro Nazionale per la Ricerca e lo Sviluppo nelle Tecnologie Informatiche e Telematiche).
Il CNAF non è un semplice centro di calcolo dipartimentale, bensì il fulcro del Tier-1 italiano all'interno della Worldwide LHC Computing Grid (WLCG), la mastodontica griglia distribuita planetaria creata per sostenere l'elaborazione dei dati del Large Hadron Collider (LHC) del CERN di Ginevra. Il Tier-1 bolognese è uno dei dieci hub computazionali primari al mondo, affiancato a colossi come il Fermilab negli Stati Uniti, l'IN2P3 di Lione in Francia e il Rutherford Appleton Laboratory nel Regno Unito.
L'inaugurazione dell'infrastruttura al Tecnopolo di Bologna Manifattura segna un punto di svolta per la cosiddetta Data Valley dell'Emilia-Romagna. La struttura convive a stretto contatto con il supercomputer pre-exascale europeo Leonardo di CINECA e con il Data Centre del Centro Europeo per le Previsioni Meteorologiche a Medio Termine (ECMWF), trasformando l'area urbana bolognese nel più denso distretto di calcolo scientifico d'Europa, capace di concentrare oltre il 70% della potenza di calcolo italiana e più del 30% di quella dell'intera Unione Europea.
Il Ciclo di Vita dei Dati dalle Collisioni Subatomiche
Per comprendere la scala del lavoro svolto dal CNAF, è necessario seguire il viaggio dei dati fisici generati a cento metri di profondità sotto il confine franco-svizzero. All'interno del tunnel di 27 chilometri dell'LHC, fasci di protoni collidono a un'energia nel centro di massa pari a 13,6 TeV con una frequenza di attraversamento dei pacchetti di 40 milioni di volte al secondo (40 MHz).
Questa titanica fucina di particelle genera un volume potenziale di dati nell'ordine delle decine di terabit al secondo per ciascuno dei quattro grandi rivelatori: ATLAS, CMS, ALICE e LHCb. 1. Trigger di Livello 1 (L1): Sistemi elettronici custom (FPGA e ASIC ultraveloci) riducono la frequenza dagli iniziali 40 MHz a circa 100 kHz in meno di 3,2 microsecondi, scartando il rumore di fondo quantistico e gli eventi di scattering elastico non rilevanti. 2. High-Level Trigger (HLT): Una vasta farm di server commerciali situata in superficie al CERN esegue una prima ricostruzione software parziale delle traiettorie, portando il flusso a una frequenza gestibile compresa tra 1 e 5 kHz per esperimento. 3. Formato RAW e Tier-0: I dati registrati, detti file RAW, contengono le risposte digitali elementari di milioni di canali dei sensori (tempi di deriva, cariche depositate, segnali di calorimetri e tracciatori al silicio). Il Tier-0 del CERN acquisisce il flusso, effettua una prima copia permanente e ne trasmette istantaneamente una quota determinata (circa il 10-15% del totale mondiale) al Tier-1 dell'INFN CNAF. 4. Processing al Tier-1: Il CNAF assume la custodia permanente (custodial role) di questi petabyte. Qui i dati grezzi vengono sottoposti al processo di ricostruzione di evento: algoritmi geometrici e di tracciamento convertono le cariche elettriche grezze in grandezze fisiche strutturate (vettori di momento quadrudimensionale, vertici di decadimento, identificazione di leptoni, fotoni, jet adronici e bosoni). 5. Generazione dei formati AOD e MiniAOD: Dai dati ricostruiti vengono estratti formati compressi per l'analisi (Analysis Object Data), distribuiti poi capillarmente alla rete dei centri Tier-2 e Tier-3 sparsi nelle università e nelle sezioni INFN di tutta Italia (da Legnaro a Bari, da Pisa a Catania) e all'estero, dove i gruppi di ricerca estraggono i parametri sperimentali per verificare il Modello Standard o cercare tracce di Materia Oscura e Nuova Fisica.
2. Architettura di Calcolo: Il Trionfo dell'High Throughput Computing
Nel panorama delle scienze computazionali esiste una distinzione fondamentale tra HPC (High Performance Computing) e HTC (High Throughput Computing). Mentre l'HPC è ottimizzato per risolvere un singolo problema matematico complesso su migliaia di processori strettamente accoppiati tramite interconnessioni a bassissima latenza (come InfiniBand per fluidodinamica o calcoli ab-initio di chimica quantistica), l'architettura del CNAF è il regno indiscusso dell'HTC.
+-------------------------------------------------------------------------+
| HTC (High Throughput) vs HPC (High Performance) |
+-------------------------------------------------------------------------+
| Caratteristica | INFN-CNAF (HTC Tier-1) | Supercomputer (HPC) |
+-------------------+---------------------------+-------------------------+
| Obiettivo primario| Esecuzione di milioni di | Risoluzione rapida di |
| | job paralleli indipendenti| un singolo task massivo |
| Dipendenza nodi | Disaccoppiati (No MPI) | Strettamente accoppiati |
| Orchestratore | HTCondor | Slurm / PBS Professional|
| Metrica chiave | Troughput (Job finiti/mese)| Flops (Floating Point Op)|
| Scalabilità I/O | PetaByte/sec distribuiti | Terabyte/s su filesystem|
| Storage Tiering | Disco, NVMe, Tape Library | File system scratch POSIX|
+-------------------------------------------------------------------------+
Nella fisica delle alte energie, ciascuna collisione protone-protone o ione-ione rappresenta un evento quantistico statisticamente indipendente dagli altri (embarrassingly parallel workload). L'obiettivo computazionale non consiste nel velocizzare la ricostruzione di un singolo evento su centinaia di nodi, ma nell'eseguire contemporaneamente centinaia di migliaia di processi computazionali indipendenti per mesi e anni senza interruzioni.
Il Cuore del Dispatching: L'Orchestratore HTCondor
La gestione di questo carico di lavoro continuo e massivo è affidata a HTCondor, il middleware di gestione delle code e schedulazione distribuita sviluppato originariamente dall'Università del Wisconsin-Madison e adattato su misura dagli ingegneri del CNAF. * Matchmaking Dinamico: Tramite il meccanismo basato su ClassAds (Classified Advertisements), i job sottomessi specificano i requisiti di memoria, architettura CPU, istruzioni vettoriali (AVX-512) ed eventuali acceleratori GPU. HTCondor incrocia in tempo reale tali vincoli con lo stato dei nodi operativi (Worker Nodes), massimizzando il tasso di occupazione (saturation rate costantemente sopra il 95%). * Isolamento e Containerizzazione con Apptainer/Singularity: Ogni job viene istanziato all'interno di container non privilegiati per garantire l'isolamento dei processi e la perfetta riproducibilità degli ambienti software degli esperimenti (da AlmaLinux a framework C++ dedicati come ROOT, Gaudi, CMSSW o Athena). * Parco Macchine e Potenza di Calcolo: Il Tier-1 del CNAF mette a disposizione della comunità scientifica oltre 60.000 core logici (implementati su server biprocessore AMD EPYC e Intel Xeon di ultima generazione), capaci di sprigionare una potenza di calcolo aggregata superiore a 1,2 milioni di HS06 (HepSPEC06, l'unità di misura standard delle prestazioni di calcolo in fisica delle alte energie), ora in transizione verso il nuovo benchmark HEPScore.
3. Storage Multilivello: La Struttura dei Dati tra NVMe, Ceph, StoRM e Nastri Robotizzati
La memorizzazione e la disponibilità continua di oltre 150 petabyte di dati (con proiezioni oltre i 300 petabyte per la seconda metà del decennio) richiede un'infrastruttura di storage multilivello (tiered storage) progettata per bilanciare costi, densità energetica, velocità di accesso ed estrema resilienza.
Il Ruolo di StoRM e Ceph nel Data Lake Scientifico
Uno dei contributi tecnologici d'eccellenza nati dalla ricerca e sviluppo del CNAF è StoRM (Storage Resource Manager). Si tratta di un software di gestione dello storage open source progettato specificamente dall'INFN per interfacciarsi con filesystem paralleli ad alte prestazioni (come GPFS/IBM Spectrum Scale e Lustre) senza alterarne la semantica POSIX.
A differenza di altri sistemi che incapsulano i file in database proprietari, StoRM consente l'accesso diretto ai dati memorizzati via protocolli grid standard (SRM, GridFTP, e modernamente WebDAV/HTTP e XRootD), permettendo a decine di migliaia di job concorrenti di leggere blocchi di file contemporaneamente senza generare colli di bottiglia sui metadati.
Parallelamente, l'adozione di Ceph come piattaforma di Software-Defined Storage (SDS) su larga scala fornisce un'infrastruttura resiliente per lo storage a oggetti compatibile S3, garantendo la ridondanza tramite codici di cancellazione (Erasure Coding) distribuiti geograficamente, riducendo l'overhead di memorizzazione rispetto alla classica replica tripla.
I Guardiani Robotici: Le Tape Library per la Preservazione a Lungo Termine
Per i dati RAW che costituiscono il patrimonio storico e irriproducibile della fisica delle particelle, il supporto magnetico su nastro resta imbattibile per densità di costo e affidabilità fisica. All'interno delle sale climatizzate del CNAF operano mastodontiche librerie a nastro robotizzate (quali i sistemi Enterprise IBM TS4500 e Spectra Logic TFinity).
Bracci robotici a controllo ottico scorrono lungo binari millimetrici, prelevando automaticamente le cartucce magnetiche e inserendole nei drive a lettura ottico-magnetica Fibre Channel. Questo sistema permette non solo di archiviare decine di petabyte con un consumo di energia elettrica nullo per i supporti a riposo (cold storage ecologico), ma garantisce l'integrità dei dati fisici per oltre trent'anni contro corruzioni silenziose (bit rot) o attacchi cibernetici.
4. Connettività di Rete e Data Fabric: L'Autostrada GARR-T a 400 Gbps
Nessun centro di calcolo scientifico può operare isolato. L'INFN CNAF è innervato all'interno della rete telematica della ricerca italiana gestita dal Consorzio GARR. Con l'evoluzione verso la rete di nuova generazione GARR-T (Terabit), il CNAF beneficia di collegamenti diretti a larghissima banda e bassissima latenza.
Le Caratteristiche della Connettività
- Collegamento Primario a 400 Gbps: Il Tier-1 del CNAF è interconnesso alla dorsale nazionale della ricerca mediante doppi link a 400 Gigabit al secondo, ridondati geograficamente su percorsi fisici in fibra spenta completamente disgiunti per prevenire qualsiasi single point of failure.
- Spectrum Sharing verso il CERN (1,6 Tbps): Grazie all'innovativa tecnologia di condivisione dello spettro ottico (spectrum sharing) implementata da GARR su infrastruttura ottica DWDM (Dense Wavelength Division Multiplexing), il CNAF dispone di una capacità ottica potenziale aggregata fino a 1,6 Terabit al secondo diretta verso il CERN di Ginevra.
- LHCOPN e LHCONE: Il centro partecipa attivamente sia alla rete LHCOPN (LHC Optical Private Network, la rete punto-punto privata che connette il Tier-0 ai Tier-1 mondiali) sia a LHCONE (LHC Open Network Environment, il data fabric globale per Tier-1, Tier-2 e Tier-3).
- Interconnessione Diretta con CINECA a 800 Gbps: All'interno del campus del Tecnopolo di Bologna, il CNAF è collegato direttamente alle sale macchine del supercalcolatore Leonardo con un'infrastruttura ad altissima densità a 800 Gbps (scalabile a 1,2 Tbps), consentendo scambi di memoria e calcolo ibrido con tempi di andata e ritorno del pacchetto (Round Trip Time, RTT) inferiori a un millisecondo.
+--------------------------------------------------------------------------+
| ESPERIMENTI MULTIDISCIPLINARI AL CNAF |
+--------------------------------------------------------------------------+
| Ambito Scientifico | Esperimenti Supportati |
+---------------------+----------------------------------------------------+
| Fisica LHC (CERN) | ATLAS, CMS, ALICE, LHCb |
| Onde Gravitazionali | Virgo (Cascina, Italia), Einstein Telescope |
| Raggi Gamma & Cosmo | CTAO (Cherenkov Telescope Array Observatory) |
| Neutrini Astrofisici| KM3NeT (Telescopio sottomarino nel Mediterraneo) |
| Fisica del Quark b | Belle II (KEK, Tsukuba - Giappone) |
| Raggi Cosmici | AMS-02 (Stazione Spaziale Internazionale), DAMPE |
| Materia Oscura | DarkSide (Laboratori Nazionali del Gran Sasso) |
+--------------------------------------------------------------------------+
Oltre alla fisica delle particelle del CERN, il CNAF ha esteso la sua funzione di Data Lake nazionale a una costellazione di grandi esperimenti internazionali: * Virgo: Il rivelatore interferometrico europeo di onde gravitazionali a Cascina (Pisa), per il quale il CNAF elabora i segnali di coalescenza di buchi neri e stelle di neutroni. * CTAO (Cherenkov Telescope Array Observatory): Il futuro osservatorio planetario per raggi gamma ad altissima energia, il cui Science Data Management Centre beneficia dell'architettura bolognese. * KM3NeT: Il telescopio sottomarino a chilometro cubo ancorato nei fondali del Mar Mediterraneo (Capo Passero e Tolone) per la caccia ai neutrini cosmici di altissima energia. * Belle II: L'esperimento all'acceleratore SuperKEKB in Giappone dedicato allo studio delle asimmetrie materia-antimateria.
5. Frontiere Computazionali: GPU, Intelligenza Artificiale e Calcolo Quantistico
L'evoluzione dell'acceleratore del CERN verso l'era dell'High-Luminosity LHC (HL-LHC) — prevista a partire dalla fine del decennio — comporterà un incremento della luminosità istantanea e del tasso di collisioni di un fattore dieci, portando il volume annuo di dati prodotti nell'ordine degli exabyte (migliaia di petabyte). Per far fronte a questo tsunami numerico senza aumentare in modo esponenziale i consumi energetici, il CNAF sta rivoluzionando i propri paradigmi algoritmici.
1. Cluster GPU e Deep Learning per il Tracciamento delle Particelle
La tradizionale ricostruzione delle traiettorie basata sul filtro di Kalman richiede un tempo computazionale che cresce in maniera fortemente non lineare all'aumentare della densità delle tracce (pile-up, fino a 200 collisioni simultanee per incrocio di fasci in HL-LHC). Al CNAF sono stati allestiti cluster di nodi accelerati con GPU ad alte prestazioni (NVIDIA A100 e H100 Tensor Core). Su queste macchine i ricercatori eseguono reti neurali a grafo (Graph Neural Networks, GNN) che interpretano i punti di impatto nei rivelatori come nodi di una rete spaziale, riducendo i tempi di ricostruzione di ordini di grandezza. Parallelamente, modelli generativi avanzati (reti avversarie generative GAN e modelli di diffusione) sostituiscono le lente simulazioni Monte Carlo basate su toolkit Geant4, sintetizzando le docce calorimetriche in frazioni di millisecondo.
2. Quantum Computing e il Centro Nazionale ICSC
Grazie al Piano Nazionale di Ripresa e Resilienza (PNRR), il CNAF è uno dei motori pulsanti di ICSC - Centro Nazionale di Ricerca in High Performance Computing, Big Data and Quantum Computing. In stretta sinergia con l'Università di Bologna e CINECA, gli scienziati del CNAF sviluppano algoritmi di Quantum Machine Learning (QML) e ottimizzazione combinatoria quantistica (QAOA - Quantum Approximate Optimization Algorithm). L'obiettivo è trasferire parti complesse dell'analisi di fisica fondamentale — come la separazione del segnale di produzione di coppie di bosoni di Higgs dal massiccio fondo di getti quantocromodinamici — su futuri processori quantistici a qubit superconduttori e a ioni intrappolati.
6. Ingegneria dell'Efficienza: Raffreddamento a Circuito Chiuso e Sostenibilità
La concentrazione di migliaia di server ad alta densità termica pone sfide ingegneristiche senza precedenti in termini di consumo energetico e sostenibilità ambientale. La nuova sala macchine del CNAF al Tecnopolo di Bologna è stata concepita secondo i più severi standard internazionali di eco-compatibilità.
- Direct Liquid Cooling (DLC): I rack a maggior densità computazionale (in particolare i cluster GPU) utilizzano sistemi di raffreddamento a liquido diretto sul chip. Un fluido termovettore scorre su piastre di scambio in rame a contatto con i die di silicio, asportando il calore con un'efficienza fino a 4.000 volte superiore rispetto all'aria forzata.
- Free-Cooling e Geotermia: L'impianto termomeccanico sfrutta il raffreddamento naturale (free-cooling ad aria e acqua) per gran parte dell'anno, eliminando la necessità di compressori frigoriferi tradizionali ad alto consumo quando la temperatura ambiente scende sotto determinate soglie.
- PUE Target Inferiore a 1.15: Il Power Usage Effectiveness (PUE), ovvero il rapporto tra l'energia elettrica totale assorbita dall'intera infrastruttura e quella effettivamente consumata dai server IT, è certificato a un valore inferiore a 1.15, collocando il data center dell'INFN ai vertici mondiali per efficienza ecologica.
- Economia Circolare del Calore: L'acqua calda in uscita dalle sale server a circa 40-45°C è predisposta per essere convogliata nella rete di teleriscaldamento cittadino del Comune di Bologna, trasformando il calore di scarto dei calcoli di fisica fondamentale in riscaldamento per l'edilizia pubblica e universitaria adiacente.
7. L'Impatto sulla Città: Dalla Manifattura Tabacchi alla Data Valley Globale
La ricollocazione del CNAF all'interno del Tecnopolo rappresenta anche una delle più riuscite operazioni di rigenerazione urbana e archeologia industriale d'Europa. La Regione Emilia-Romagna ha guidato il recupero degli oltre 100.000 metri quadrati dell'ex complesso industriale dismesso, restituendo alla città uno spazio che un tempo impiegava migliaia di operai nella lavorazione del tabacco e che oggi ospita i massimi talenti mondiali della scienza dei dati.
+--------------------------------------------------------------------------+
| CRONOLOGIA DELLA TRASFORMAZIONE DELL'EX MANIFATTURA |
+--------------------------------------------------------------------------+
| Anno | Evento Chiave |
+-----------+--------------------------------------------------------------+
| Anni '50 | Costruzione dello stabilimento su progetto di P.L. Nervi |
| 2014-2018 | Accordo istituzionale per la nascita del Tecnopolo Big Data |
| 2021-2022 | Insediamento del Data Centre ECMWF e supercomputer Leonardo |
| 2023-2024 | Trasferimento e inaugurazione operativa del nuovo Tier-1 CNAF|
| 2025-2030 | Espansione a 10 MW e integrazione per High-Luminosity LHC |
+--------------------------------------------------------------------------+
Le ricadute per il tessuto sociale ed economico di Bologna e del quartiere Navile sono tangibili: * Attrazione di Cervelli e Ricercatori Internazionali: La presenza congiunta di INFN, CINECA, ECMWF e delle facoltà scientifiche dell'Alma Mater Studiorum ha innescato un flusso continuo di dottorandi, ingegneri del software e data scientist provenienti da tutto il mondo. * Trasferimento Tecnologico verso le Imprese: Come documentato dalle testate di informazione economica e dalle cronache regionali di ANSA Emilia-Romagna e de Il Resto del Carlino, il CNAF non serve unicamente la fisica pura, ma funge da incubatore di metodologie software (dalla gestione di database eterogenei alla cybersecurity distribuita) fruibili dal comparto industriale della meccatronica, dell'aerospazio e del biomedicale dell'Emilia-Romagna. * Sicurezza Idrogeologica e Resilienza: Il trasferimento ha permesso di superare definitivamente le vulnerabilità logistiche della vecchia sede universitaria (colpita nel 2017 da una drammatica alluvione sotterranea del canale cittadino). La nuova struttura del Tecnopolo è collocata su piattaforme antisismiche sopraelevate, dotate di sistemi antincendio a gas inerte ad azoto e ridondanza elettrica continua garantita da gruppi di continuità rotanti e generatori diesel di emergenza.
8. Sintesi Architetturale e Dati Chiave
A beneficio di studenti, ricercatori e appassionati di tecnologie computazionali avanzate, la tabella seguente sintetizza l'architettura tecnica complessiva del nodo Tier-1 INFN-CNAF:
================================================================================
SCHEDA TECNICA COMPLESSIVA: INFN-CNAF TIER-1 BOLOGNA
================================================================================
PARAMETRO SPECIFICA TECNICA ATTUALE & TARGET
--------------------------------------------------------------------------------
Ubicazione Tecnopolo di Bologna (Ex Manifattura Tabacchi)
Ruolo nel WLCG Tier-1 Primario (1 di 10 al mondo)
Potenza di Calcolo > 60.000 Core x86_64 (> 1.200.000 HS06)
Accelerazione Hardware Nodi Multi-GPU NVIDIA A100 / H100 Tensor Core
Orchestratore di Batch HTCondor con containerizzazione Apptainer/Singularity
Storage su Disco (Online) > 60 Petabyte (Ceph SDS & GPFS / IBM Spectrum Scale)
Storage su Nastro (Nearline) > 90 Petabyte (Librerie Robotizzate LTO/Enterprise)
Middleware di Accesso StoRM (sviluppato da INFN), XRootD, WebDAV/HTTP
Banda di Rete Dorsale 400 Gbps primario su rete GARR-T (Spectrum Sharing 1.6T)
Banda Inter-Campus (CINECA) 800 Gbps - 1.2 Tbps (Latenza sub-millisecondo)
Protocolli di Rete HEP LHCOPN (punto-punto Tier-0) e LHCONE (overlay globale)
Efficienza Energetica (PUE) < 1.15 (Direct Liquid Cooling + Free Cooling)
Potenza Elettrica IT Scalabile 3 MW iniziali fino a 10 MW a pieno regime
================================================================================
9. Takeaway Box: Sintesi e Punti Chiave della Notizia
[!IMPORTANT]
I Punti Cardine dell'INFN-CNAF al Tecnopolo di Bologna
- Un Polo di Rilevanza Planetaria: L'INFN-CNAF costituisce il Tier-1 italiano della Worldwide LHC Computing Grid (WLCG), responsabile della ricezione, conservazione permanente e ricostruzione dei dati generati dalle collisioni protone-protone al CERN per gli esperimenti ATLAS, CMS, ALICE e LHCb.
- Ingegneria HTC e Storage Multilivello: Il centro si basa sul paradigma dell'High Throughput Computing orchestrato da HTCondor, con una capacità computazionale superiore a 60.000 core e un'infrastruttura di storage multilivello di oltre 150 PB che spazia da dischi NVMe ultraveloci a librerie a nastro robotizzate a consumo energetico zero.
- Autostrada Digitale GARR-T: La connessione in fibra ottica a 400 Gbps (con canali scalabili fino a 1,6 Tbps verso il CERN e 800 Gbps verso il supercomputer Leonardo di CINECA) garantisce la convergenza nei Data Lake europei a supporto anche di Virgo, CTAO, KM3NeT e Belle II.
- Sostenibilità e Transizione Quantistica: Con un PUE certificato inferiore a 1.15, raffreddamento a liquido direct-to-chip, utilizzo di algoritmi di Machine Learning per l'era High-Luminosity LHC e ricerca applicata nel Quantum Computing, il CNAF consolida la leadership scientifica di Bologna capitale europea dei Big Data.