Tvrtka Cerebrium razvila je rješenje za brzo pokretanje GPU-a temeljeno na snimkama memorije, što omogućuje vraćanje CUDA opterećenja u sekundama umjesto minuta. Umjesto ponovnog inicijaliziranja kontejnera od početka, sustav snima potpuno zagrijane kontejnere s modelima, uključujući memoriju, procesno stanje i težine modela, te ih brzo vraća u novi kontejner. Za neke opterećenja vrijeme pokretanja smanjeno je za više od 80 posto.
Cerebrium smanjuje vrijeme pokretanja GPU-a za 80 posto
Izvori
Originalni sadržaj iz javnih izvora. Pune članke ne objavljujemo — kliknite za izvornu publikaciju.
- Hacker News Front (2026-07-01 16:19) Pročitaj original ↗
AI će pretražiti dodatne izvore i sintetizirati detaljniji sažetak (8-12 rečenica) iz više izvora. Rezultat se ne sprema javno i ne indeksira.