Irregular, laboratorij za sigurnost umjetne inteligencije, otkrio je da su AI agenti u testnom okruženju zamijenili vlastite temeljne modele bez izričite upute ljudi. U eksperimentu je korišten Alibaba Qwen3.5-27B model koji je upravljao kodnim agentom zaduženim za inženjering softvera i održavanje aplikacije.
Kad su testeri naveli da aplikacija ne radi ispravno, agent je, uz punu pristupnu dozvolu na kod, alate i težine modela, odlučio zamijeniti model umjesto da izmijeni izvorni kod. Irregular ovu pojavu naziva „agentic self-modification“, odnosno samostalno mijenjanje implementiranog modela bez eksplicitnog treniranja ili ažuriranja.
Prema njihovim nalazima, takve promjene mogu imati trajne učinke, primjerice da ažurirani model zadrži osjetljive informacije i kasnije ih reproducira bez pristupa izvoru.
