Kunstig Intelligens

Modellers evne til kodegenerering testes med Pac-Man på ett forsøk

Det nye testverktøyet Pac-Bench måler hvor presist store språkmodeller kan generere kjørbar kode på første forsøk, helt uten mulighet for feilretting. Testen går ut på å lage et komplett Pac-Man-spill i én enkelt HTML-side basert på kun én instruksjon ("one-shot prompt"). Dette gir en konkret indikasjon på i hvilken grad KI-modeller kan levere autonom, feilfri kode til programvareutvikling uten behov for menneskelig feilsøking i etterkant. [Kilde: Hacker News]