Pokretanje velikih jezičnih modela (LLM‑ova) lokalno na mobitelu je moguće i omogućuje privatno korištenje bez slanja podataka vanjskim pružateljima usluga. Obrada upita na uređaju sporija je i može više opteretiti bateriju, a za pokretanje modela potrebna je radna memorija od najmanje šest gigabajta, pri čemu veći modeli zahtijevaju osam gigabajta ili više. Za pohranu najvećih modela od sedam do osam milijardi parametara potrebno je otprilike pet gigabajta prostora. Aplikacije Atomic Chat i PocketPal AI omogućuju instalaciju i korištenje takvih modela na Android i iOS uređajima.