Kunstig Intelligens

Små språkmodeller tar steget helt ut på kanten

GitHub-prosjektet Qapla demonstrerer at det nå er mulig å trene en bitteliten språkmodell (SLM – en forenklet språkmodell optimalisert for spesifikke oppgaver) direkte på en ESP32-S3. Dette er en ekstremt billig mikrokontroller til under en hundrelapp, som vanligvis brukes til enkle IoT-enheter (tingenes internett).

Dette kutter behovet for dyre skytjenester og konstant internettforbindelse for enklere, lokale tekstoppgaver. Forretningsmessig åpner dette for billige offline AI-funksjoner i alt fra smarte sensorer til industrielt utstyr, og understreker hvor raskt maskinvarekravene for målrettet kunstig intelligens faller.