Esan izan da teknologia-enpresak GPUak bilatzen ari direla edo horiek eskuratzeko bidean. Apirilean, Elon Musk Teslako zuzendari nagusiak 10.000 GPU erosi zituen eta konpainiak NVIDIAri GPU kopuru handia erosten jarraituko zuela adierazi zuen. Enpresaren aldetik, IT langileak ere gogor egiten ari dira GPUak etengabe erabiltzen direla inbertsioaren etekina maximizatzeko. Hala ere, enpresa batzuek GPU kopurua handitzen den bitartean GPUren inakzioa larriagoa bihurtzen dela aurki dezakete.
Historiak errendimendu handiko informatikari buruz (HPC) ezer irakatsi badigu, biltegiratzea eta sareak ez direla sakrifikatu behar konputazioan gehiegi zentratzearen kontura. Biltegiratzeak ezin baditu datuak modu eraginkorrean transferitu ordenagailu unitateetara, nahiz eta munduko GPU gehien izan, ez duzu eraginkortasun optimoa lortuko.
Mike Matchett-ek, Small World Big Data-ko analistaren arabera, eredu txikiagoak exekutatu daitezke memorian (RAM), konputazioari arreta gehiago emanez. Hala ere, ChatGPT bezalako eredu handiagoak milioika nodo dituztenak ezin dira memorian gorde kostu handia dela eta.
"Ezin dituzu memorian milaka milioi nodo sartu, beraz biltegiratzea are garrantzitsuagoa da", dio Matchettek. Zoritxarrez, datuen biltegiratzea sarritan ahaztu egiten da plangintza-prozesuan.
Oro har, erabilera kasua edozein dela ere, lau puntu komun daude ereduaren prestakuntza-prozesuan:
1. Ereduzko Prestakuntza
2. Inferentzia aplikazioa
3. Datuak biltegiratzea
4. Informatika Azeleratua
Ereduak sortu eta zabaltzean, baldintza gehienek kontzeptu-froga azkarra (POC) edo proba-inguruneak lehenesten dituzte ereduen prestakuntza hasteko, datuen biltegiratze-beharrak aintzat hartzen ez direlarik.
Dena den, erronka prestakuntza edo inferentziaren hedapena hilabeteak edo baita urteak ere iraun dezakeela datza. Enpresa askok azkar handitzen dituzte beren modeloen tamainak denbora horretan, eta azpiegiturak zabaldu egin behar dira gero eta gehiago diren eredu eta datu multzoetara egokitzeko.
Google-k egindako milioika ML prestakuntza-lan-kargari buruzko ikerketek agerian uzten dute entrenamendu-denboraren %30 batez beste sarrerako datuen kanalizazioan igarotzen dela. Iraganeko ikerketak entrenamendua bizkortzeko GPUak optimizatzera bideratu diren arren, oraindik ere erronka asko geratzen dira datu-bidearen hainbat atal optimizatzeko. Konputazio-ahalmen handia duzunean, benetako botila-lepoa kalkuluetan datuak zenbaterainoko bizkor sartu ditzakezu emaitzak lortzeko bihurtzen da.
Zehazki, datuak biltegiratzeko eta kudeatzeko erronkek datuen hazkundea planifikatzea eskatzen dute, eta datuen balioa etengabe atera dezakezu aurrera egin ahala, batez ere erabilera-kasu aurreratuagoetan sartzen zarenean, hala nola, ikaskuntza sakona eta neurona-sareak, eskakizun handiagoak jartzen baitituzte. biltegiratzea ahalmenari, errendimenduari eta eskalagarritasunari dagokionez.
Bereziki:
Eskalagarritasuna
Ikaskuntza automatikoa datu kopuru handiak maneiatzea eskatzen du, eta datuen bolumena handitzen den heinean, ereduen zehaztasuna ere hobetzen da. Horrek esan nahi du enpresek egunero datu gehiago bildu eta gorde behar dituztela. Biltegiratzea ezin denean eskalatu, datu intentsiboko lan-kargak oztopo-lepoak sortzen ditu, errendimendua mugatuz eta GPU inaktibo denbora garestia dakar.
Malgutasuna
Hainbat protokoloren laguntza malgua (NFS, SMB, HTTP, FTP, HDFS eta S3 barne) beharrezkoa da sistema ezberdinen beharrak asetzeko, ingurune mota bakarrera mugatu beharrean.
Latentzia
I/O latentzia funtsezkoa da ereduak eraikitzeko eta erabiltzeko datuak hainbat aldiz irakurri eta berrirakurtzen diren heinean. I/O latentzia murrizteak ereduen prestakuntza-denbora egun edo hilabetez laburtu dezake. Ereduen garapen azkarragoak negozio-abantaila handiagoak eragiten ditu zuzenean.
Errendimendua
Biltegiratze sistemen errendimendua funtsezkoa da ereduen prestakuntza eraginkorra izateko. Prestakuntza-prozesuek datu kopuru handiak hartzen dituzte, normalean orduko terabytetan.
Sarbide Paraleloa
Errendimendu handia lortzeko, prestakuntza-ereduek jarduerak hainbat zeregin paralelotan banatzen dituzte. Horrek esan nahi du sarritan ikaskuntza automatikoko algoritmoek fitxategi berdinetara atzitzen dutela prozesu anitzetatik (baliteke zerbitzari fisiko anitzetan) aldi berean. Biltegiratze-sistemak aldibereko eskaerak kudeatu behar ditu errendimendua arriskuan jarri gabe.
Latentzia baxuan, errendimendu handian eta eskala handiko I/O paraleloan dituen gaitasun bikainekin, Dell PowerScale biltegiratze-osagarri aproposa da GPU bidez azeleratutako informatikarako. PowerScale-k eraginkortasunez murrizten du terabyte anitzeko datu multzoak entrenatzen eta probatzen dituzten analisi-ereduetarako behar den denbora. PowerScale-ko flash biltegian, banda zabalera 18 aldiz handitzen da, I/O botila-lepoak ezabatuz, eta lehendik dauden Isilon klusterrei gehi daiteke egituratu gabeko datu kopuru handien balioa azkartzeko eta desblokeatzeko.
Gainera, PowerScale-ren protokolo anitzeko sarbide-gaitasunek lan-kargak exekutatzeko malgutasun mugagabea eskaintzen dute, datuak protokolo bat erabiliz gordetzeko eta beste bat erabiliz atzitzeko aukera emanez. Zehazki, PowerScale plataformaren ezaugarri indartsuak, malgutasuna, eskalagarritasuna eta enpresa-mailako funtzionalitateak honako erronka hauei aurre egiten laguntzen die:
- Berrikuntza 2,7 aldiz bizkortzea, ereduaren prestakuntza-zikloa murriztuz.
- Ezabatu I/O botila-lepoak eta ereduen prestakuntza eta baliozkotze azkarragoak, ereduen zehaztasuna hobetu, datu-zientzien produktibitatea hobetu eta informatika-inbertsioen itzulera maximizatu enpresa-mailako funtzioak, errendimendu handia, aldiberekotasuna eta eskalagarritasuna aprobetxatuz. Hobetu ereduaren zehaztasuna bereizmen handiagoko datu-multzo sakonagoekin biltegiratze-ahalmen eraginkorra 119 PB arte aprobetxatuz kluster bakarrean.
- Lortu eskalan inplementatzea konputazioa eta biltegiratze txikia eta modu independentean eskalatuz, datuen babeserako eta segurtasun aukera sendoak eskainiz.
- Hobetu datu-zientzien produktibitatea tokian tokiko analisiekin eta aurrez baliozkotutako soluzioekin inplementazio azkarrago eta arrisku txikiko inplementazioetarako.
- Teknologia onenetan oinarritutako diseinu frogatuak aprobetxatzea, besteak beste, NVIDIA GPU azelerazioa eta erreferentziako arkitekturak NVIDIA DGX sistemekin. PowerScale-ren errendimendu altuak eta aldiberekotasunak biltegiratze-errendimendu-eskakizunak betetzen ditu ikaskuntza automatikoaren fase guztietan, datuen eskuratzetik eta prestatzetik ereduen prestakuntzara eta inferentziara arte. OneFS sistema eragilearekin batera, nodo guztiek ezin hobeto funtziona dezakete OneFS-ek gidatutako kluster berean, enpresa-mailako funtzioekin, hala nola, errendimenduaren kudeaketa, datuen kudeaketa, segurtasuna eta datuen babesa, ereduen prestakuntza eta enpresen baliozkotzea azkarrago osatu ahal izateko.
Argitalpenaren ordua: 2023-03-07
