Kunstig Intelligens

Lokale AI-modeller på Apple-silisium: Nå kan ansatte trene modeller direkte på laptopen

Et nytt åpen kildekode-prosjekt kalt Espresso gjør det nå mulig å både trene og kjøre transformer-baserte AI-modeller direkte på Apples innebygde maskinvare (Apple's Neural Engine). Dette betyr at utviklere ikke lenger er låst til dyre sky-løsninger for å tilpasse mindre AI-modeller, men kan utnytte regnekraften som allerede finnes i de ansattes Mac-er.

Tidligere har det å trene AI-modeller vært synonymt med å leie enormt kostbare servere med Nvidia-skjermkort i skyen. Selv om moderne Mac-er har hatt kraftige AI-brikker under panseret i flere år, har det vært ekstremt komplisert for utviklere å slippe løs kreftene i denne maskinvaren til faktisk trening av modeller. Espresso fjerner dette teknologiske hinderet.

For finansdirektører som svetter over økende skyregninger fra AWS eller Microsoft Azure, åpner dette opp for merkbare kostnadskutt. I stedet for å betale per minutt for skybasert regnekraft under utvikling og testing av interne AI-verktøy, kan selskapets data scientists nå gjøre grovarbeidet lokalt på sine egne arbeidsstasjoner.

For selskaper innenfor sterkt regulerte sektorer som finans, helse og juridisk rådgivning, løser dette også en stor hodepine knyttet til personvern. Når modellene kan finjusteres og trenes lokalt på maskinen, slipper man å bekymre seg for at sensitive kundedata eller forretningshemmeligheter blir sendt ut av huset og inn i tredjeparters skytjenester.

Les mer hos GitHub

Andre Nyheter