Lokal AI på Mac

Det du trenger

• En Mac med Apple-brikke (M1 eller nyere) og helst 16 GB minne eller mer.
• Noen GB ledig plass til språkmodellen, og mer til kildene.
• Nett mens modellen og kildene hentes. Etterpå virker alt uten nett.

Fire trinn

Trinnene står også øverst under Spør i Mac-appen, med en knapp for hvert.

1. Installer og start Ollama. Last ned fra ollama.com og åpne den. Ollama kjører i bakgrunnen og svarer bare på denne maskinen.
2. Hent språkmodellen. Appen henter gemma4:12b. Det tar en stund første gang.
3. Lag Beredskap-modellen. Språkmodellen får en norsk instruks: korte svar i trinn, si fra ved usikkerhet, og aldri doser eller tall som ikke står i kildene. Det tar sekunder og laster ikke ned noe nytt.
4. Hent kildene og lær dem. Appen henter de offentlige kildene direkte fra utgiverne til Macen, og lager et register AI-en slår opp i. Det er ikke trening av modellen: modellen er den samme, men den får bare svare fra det som står i kildene.

Slik blir et svar til

Appen finner de beste sidene i kildene, gir dem til modellen sammen med spørsmålet, og viser svaret med henvisninger til sidene. Finner den ingenting, sier den det rett ut i stedet for å gjette. Spørsmål om helse viser alltid til Helsenorge og Giftinformasjonen.

Om kildene

Kildene er offentlige råd og håndbøker fra blant andre DSB, FHI, Helsenorge og Mattilsynet. De hentes fra utgiverens egen adresse til din maskin, til eget bruk, og deles ikke videre. Se kilder.

På iPhone

Telefonen kjører ikke språkmodellen selv. Spør på iPhone går via en Beredskap-server dere drifter selv. Uten server viser appen demosvar, så du ser hvordan det virker.