Come montare un supercomputer

Contenuto

• stadi

è un wiki, il che significa che molti articoli sono scritti da diversi autori. Per creare questo articolo, 18 persone, alcune anonime, hanno partecipato alla sua edizione e al suo miglioramento nel tempo.

Ti serve una macchina che deve eseguire centinaia di miliardi di calcoli in virgola mobile al secondo? Hai bisogno di una storia per spiegare come il tuo supercomputer in cantina ha fatto saltare in aria l'interruttore? La creazione di un cluster (o cluster) di computer ad alte prestazioni è una sfida che ogni esperto può superare in un fine settimana con il budget adeguato. Da un punto di vista tecnico, un moderno supercomputer multiprocessore è una rete di computer che lavorano in parallelo per risolvere un problema. Seguendo semplici passaggi per montare l'apparecchiatura e installare il software necessario, anche tu puoi avere un supercomputer.

stadi

1. 
   

   
   Determinare le attrezzature e le risorse necessarie. Avrai bisogno di un nodo head, almeno dodici altri nodi identici, uno switch Ethernet, un'unità di alimentazione e uno scaffale. Determina le tue esigenze di elettricità, raffreddamento e spazio. Devi anche decidere quale indirizzo IP vuoi usare per le tue reti private, i nomi dei nodi, il software che vuoi installare e la tecnologia che desideri per le capacità di elaborazione (torneremo su questo più avanti).
   • Anche se l'hardware ti costerà caro, tutto il software presentato in questo articolo è gratuito e la maggior parte sono privi di diritti.
   • Se vuoi avere un'idea di quanto velocemente può raggiungere un supercomputer, puoi usare questo strumento: http://hpl-calculator.sourceforge.net/.

2. 
   

   
   
   
   Installa i nodi. Dovrai assemblare i nodi o ottenere server preassemblati.
   • Scegli uno chassis per server con molto spazio, un sistema di raffreddamento adeguato e ottimizzazione energetica.
   • Puoi anche usare una dozzina di vecchi server, la somma di questi supererà la potenza delle singole unità e risparmierai un sacco di soldi. Tutti i processori, gli adattatori di rete e le schede madri devono essere identici affinché l'intero sistema funzioni correttamente. Naturalmente, non dovresti dimenticare la RAM e lo spazio di archiviazione per ciascuno dei nodi, nonché almeno un'unità disco per la testa.

3. 
   

   
   Installa i server sullo scaffale. Inizia dal basso se la parte superiore del ripiano non è ponderata. Avrai anche bisogno di un amico per aiutarti, i server possono essere pesanti e sarà difficile guidarli sui binari dello scaffale.

4. 
   

   
   
   
   Installare lo switch Ethernet sulla parte superiore dello chassis. Prenditi un momento per configurarlo. Consentire una dimensione jumbo del frame di 9000 byte, impostare gli indirizzi IP sugli indirizzi statici scelti nel primo passaggio e disabilitare protocolli non necessari come lo snooping SMTP.

5. 
   

   
   Installa l'unità corrente. A seconda della quantità di corrente necessaria per i nodi, probabilmente avrai bisogno di un'unità da 220 volt.

6. 
   

   
   Configura l'hardware. Una volta installato tutto, puoi iniziare a configurare l'hardware. Linux è il sistema operativo predefinito per i cluster HPC, non solo perché è l'ambiente migliore per i calcoli scientifici, ma anche perché è completamente gratuito da installare su centinaia o migliaia di nodi. Immagina il prezzo che pagherai se dovessi installare Windows su ciascuno di questi nodi.
   • Inizia installando il BIOS e il firmware della scheda madre più recenti che dovrebbero essere gli stessi per tutte le schede madri.
   • Installa la tua distribuzione Linux preferita su ciascuno dei nodi e una distribuzione con un'interfaccia grafica sul nodo head. CentOS, OpenSuse, Scientific Linux, RedHat o SLES sono spesso utilizzati.
   • Per questo articolo, consigliamo vivamente Rocks Cluster. Oltre a installare tutti gli strumenti necessari per il corretto funzionamento dei cluster, Rocks utilizza un metodo eccellente per "distribuire" rapidamente molte istanze di se stesso ai nodi utilizzando l'avvio PXE e la procedura di avvio rapido di Red Tea Tree Oil.

7. 
   

   
   Installa il software. Installare un'interfaccia per la trasmissione, la gestione delle risorse e altre librerie necessarie. Se non hai installato Rocks nel passaggio precedente, dovrai configurare manualmente tutto il software necessario per attivare i meccanismi di calcolo parallelo.
   • Innanzitutto, avrai bisogno di un sistema di gestione bash, come Torque Resource Manager, che ti consente di dividere e distribuire diverse attività su più macchine.
   • Torque Torque con Maui Cluster Scheduler per completare la configurazione.
   • Successivamente, sarà necessario installare l'interfaccia del mittente necessaria affinché i processi su macchine diverse condividano gli stessi dati. Installa OpenMP, è molto facile da usare.
   • Non dimenticare le librerie multithreading e i compilatori per creare programmi di calcolo paralleli. Ancora una volta, Rocks è la soluzione migliore.

8. 
   

   
   Connetti i nodi in una rete. Il nodo head invia le attività da eseguire agli altri nodi di calcolo che restituiranno i risultati mentre si inviano messaggi l'un l'altro. Più veloce va, meglio è.
   • Utilizzare una rete Ethernet privata per collegare tutti questi nodi in un cluster.
   • Il nodo head può anche fungere da server NFS, PXE, DHCP, TFTP e NTP sulla rete che si sta creando.
   • È necessario separare questa rete dalle reti pubbliche per garantire che i pacchetti scambiati dai server non interferiscano con i pacchetti scambiati sul resto della rete.

9. 
   

   
   Testare il cluster. L'ultima cosa che devi fare prima di rilasciare tutta la potenza del tuo supercomputer è testarne le prestazioni. Il test delle prestazioni di High Performance Lynpack (HPL) è una scelta popolare per misurare la velocità di elaborazione di un cluster di computer. Dovrai compilarlo dalla sua fonte con tutte le ottimizzazioni che il tuo compilatore offre in base all'architettura che hai scelto.
   • Ovviamente, devi compilarlo dal sorgente che ti dà il maggior numero di opzioni per ottimizzare la tua piattaforma. Ad esempio, se si utilizzano processori AMD, compilarlo con Open64 scegliendo un livello di ottimizzazione -0veloce.
   • Confronta i risultati su TOP500.org per vedere se il tuo supercomputer può competere con i 500 supercomputer più potenti al mondo!

consiglio

• Per raggiungere velocità molto elevate sulla rete, scopri le interfacce InfiniBand. Tuttavia, preparati a rompere il salvadanaio.
• IPMI può semplificare l'amministrazione su larga scala offrendo KVM-over-IP, un ciclo di accensione separato e altro.
• Usa Ganglia per tenere traccia dei carichi di calcolo sui nodi.

avvertenze

• Assicurati che la tua infrastruttura sia in grado di supportare il carico.