Recursos:
Descàrregues
Hola, futur alumne.
Soc en Pol, alumne de S2SX a Salesians de Sarrià.
En aquesta documentació tècnica, explicaré les bases per les quals he fet servir el servidor d’IA aquí, a Salesians de Sarrià.
Un servidor d'IA?
Un servidor d’IA, no deixa de ser un servidor normal, amb algunes peces de hardware afegides per un rendiment òptim. En el cas de la IA, es necessita molt poder de computació, i, tradicionalment, s’han fet servir sempre targetes gràfiques.
En el moment d’escriure aquesta publicació, l’empresa NVIDIA té el monopoli en el tema de la tecnologia que mou la tecnologia darrere de la IA.
CUDA? Altres tecnologies?
NVIDIA té CUDA, l’estàndard propietari que s’usa més avui en dia per executar codi accelerat per IA. Gairebé tots els projectes depenen directament o indirectament en aquesta pila de programari. Només funciona en GPUs NVIDIA, és molt eficient, i utilitza els tensor cores de les mateixes GPUs NVIDIA per accelerar i computar operacions relacionades amb el món de l’IA.
AMD i Intel estan intentant competir, però de moment, com que sempre s’ha fet servir CUDA, que és una tecnologia propietària de NVIDIA, gairebé tots els projectes opten a utilitzar-ho.
AMD té ROCm – que és una plataforma de codi obert equivalent a CUDA, inclou un programari que es diu HIP, que es pot fer servir per executar codi que funciona tant en gràfiques NVIDIA com AMD.
Intel té un altre programari que es diu oneAPI. Aquest té capacitat multiplataforma, i està pensat per a CPUs i GPUs, encara que igualment és molt més ràpid en GPUs. Al ser multiplataforma, funciona en NVIDIA, AMD i Intel.
Hi ha d’altres alternatives, però no es fan servir molt, de moment, l’estàndard a gairebé totes les empreses és el CUDA de NVIDIA, ens agradi o no.
Requisits per a un servidor/ordinador
Com hem dit, gairebé tots els projectes fan servir CUDA, llavors els requisits per poder executar aplicacions d’IA serien més o menys els següents per començar a trastejar amb aquest món.
- Targeta gràfica NVIDIA amb, com més VRAM millor.
- Un disc SSD de mínim 1 TB, però més millor.
- 32 GB de RAM mínim – 64 GB molt millor.
Tant la RAM com la VRAM són MOLT importants, ja que, per la part de la gràfica, ens interessa tenir la major part d’un model dins d’aquesta, ja que, d’aquesta manera, el procés de còmput no ha de viatjar entre la RAM i la VRAM, fent la inferència molt més ràpida.
Instal·lació d'Ubuntu Desktop
Hem d’instal·lar Ubuntu Desktop, podríem fer servir qualsevol altra distribució de Linux que funcioni amb CUDA, però per fer-ho simple aquest tutorial és amb Ubuntu 24.04.
Es recomana fer servir un sistema operatiu final més que un hipervisor per estalviar recursos al moment d’utilitzar projectes d’IA.
Anar a aquest enllaç si es necessita informació de com instal·lar Ubuntu:
Instal·lació de CUDA
Per instal·lar CUDA, anar a la web oficial (al principi de la pàgina, als recursos, he posat l’enllaç).
Seleccionar les següents opcions en el cas d’Ubuntu 24.04:
Donar permisos d’execució amb chmod i executar el programa com a root.
Seguir les instruccions de l’instal·lador i instal·lar:
Un cop fet, el resultat hauria de ser així.
