Skaliranje pretvara proračun u model fiksiranjem FLOP‑ova i odabirom broja parametara i tokena. Klasteri naplaćuju GPU‑sate, a ne FLOP‑ove, pa se gubitak po GPU‑satu razlikuje od gubitka po FLOP‑u. Autori su predstavili okvir MOSAIC koji u jednoj fazi odabire arhitekturu, token‑budžet i raspored izvršavanja za određeni klaster i vremenski prozor. U eksperimentima s modelom miješanja stručnjaka (MoE) prikazali su da se uz ukupne parametre, rijetkost i faktor podjele stručnjaka (GGG) može izraditi zajednička zakonska krivulja.