Rob Ferguson, potpredsjednik Fireworks AI, izjavio je da je korištenje GPU-ova u vlastitim podatkovnim centrima ekonomski neisplativo. Prema njegovim riječima, deset tisuća GPU-ova košta oko milijardu dolara, pa njihovo neiskorištenje predstavlja gubitak novca.
Fireworks AI nudi upravljanu uslugu inferencije koja automatski usmjerava zahtjeve na najprikladniji model ili API, a za osjetljiva radna opterećenja pruža uslugu pod nazivom Sovereign uz podršku partnera Microsofta. Ferguson naglašava da je optimalno imati portfelj modela, jer je kombinacija više modela bolja od korištenja jednog jedinstvenog modela.
Platforma koristi sustav Nexus i prilagođene rutere koji kontinuirano ažuriraju automatski odabir modela i ocjenjuju težinu zadatka kako bi odabrali najprikladniji model.
