Microsoft lanserte nylig en forhåndsvisning av Foundry Local som virker ganske spennende. Microsoft sin egen beskrivelse av tjenesten er:

Foundry Local is a local version of Azure AI Foundry that enables local execution of large language models (LLMs) directly on your Windows device

Microsoft selv ramser opp en del fordeler med dette, som for eksempel:

🔹Keep sensitive data on your device

🔹Operate in limited or offline environments

🔹Reduce cloud inference costs

🔹Get low latency AI responses for real-time applications

🔹Experiment with AI models before you deploy to the cloud

Dette må testes! 😁

Jeg vil her se på hvordan man kommer i gang med Foundry Local, samt hvordan jeg ved hjelp av Claude Code vibbekoder en webapplikasjon som benytter seg av Foundry Local 🥸

🚀Kom i gang med Foundry Local

Installasjonen er superenkel – gå til kommandolinjen i Windows og skriv:

winget install Microsoft.FoundryLocal

Når du har kjørt kommandoen skal du etter noen minutter få bekrefta at applikasjonen er installert:

Nå kan du styre Foundry Local ved hjelp av ulike kommandoer. For en oversikt over tilgjengelig kommandoer skriver du enkelt og greit:

foundry

Under ser du skjermbilde av responsen. Den røde teksten indikerer at applikasjonen hadde forventa at du la til noe mer bak foundry, men nå skrev vi bare foundry for å se hva som var tilgjengelig.

For å få oversikt over tilgjengelige modeller kjører du

foundry model list

I skjermbildet under ser vi at den lister opp informasjon og spesifikasjoner om modellene som er tilgjengelig.

Legg også merke til at den melder om at servicen kjører på http://127.0.0.1:59904 – dette betyr at servicen har tilgjengeliggjort en webtjeneste som vi kan bruke til mye spennende. Kommer tilbake til det etterpå når vi skal vibbekode 😁

De fleste kontor-PCer vil nok slite med å kjøre de største modellene, så vi fokuserer her på en av de mindre: phi-4-mini

For å starte opp denne modellen og snakke med den så kjører vi følgende kommando:

foundry model run phi-4-mini

Etter at modellen har blitt lastet ned så er den klar til bruk. Du kan da begynne å chatte med den slik som jeg gjør i skjermbildet under:

Det finnes flere muligheter for å konfigurere modellen. For å få oversikt skriver du /? i chatten:

Så enkelt er det altså å få en modell til å kjøre på din lokale PC 😎 Opplevelsen vil selvfølgelig variere med hva slags maskinvare PC’en din har.. Har du elendig CPU/GPU (også kjent som «brødrister») så vil man oppleve problemer med å få dette til å fungere bra 🥵

🧐 Vibbekoding? Claude Code? 🤯

Dersom du ikke er kjent med vibbekoding fra før:

«Vibbekoding» (fra engelsk vibe coding) er et relativt nytt begrep innen programmering som dukket opp i 2025, introdusert av Andrej Karpathy. Det beskriver en måte å lage programvare på der du ikke skriver koden selv, men gir instruksjoner i naturlig språk til en AI-modell (som ChatGPT, Claude, GitHub Copilot osv.), og lar den generere, endre og feilsøke koden for deg.

Dersom du ikke er kjent med Claude Code fra før:

Claude Code er et AI-basert utviklingsverktøy fra Anthropic som enkelt forklart lar deg snakke med datamaskinen om koding på vanlig språk. I stedet for å skrive kompliserte programmeringskommandoer selv, kan du si ting som:
“Lag en knapp som viser dagens vær” – og Claude Code lager koden for deg, fikser feil og kan forklare hva som skjer.

Det gjør det mye lettere for folk som ikke kan programmering å lage enkle apper eller forstå hva som skjer i et prosjekt.

🤓 Vibbekoding: lokalai 🥰

Når vi installerte Foundry Local ble det opplyst om at tjenesten kjører på http://127.0.0.1:59904 og for å vite hva slags muligheter som finnes her så har Microsoft en side med dokumentasjon som forklarer dette. For å oppsummere noe av dette kort:

🔹REST API for Foundry Local: Dokumentasjonen beskriver hvordan du kan bruke REST-endepunkter for å interagere med Foundry Local.
🔹OpenAI-kompatibilitet: API-et støtter OpenAI v1 Chat Completions-format, slik at du kan sende forespørsler med samme struktur som OpenAI API.
🔹Parametere og funksjoner: Forklarer alle tilgjengelige parametere som model, messages, temperature, top_p, max_tokens, samt funksjonskall og streaming.
🔹Preview-status: Tjenesten er i offentlig forhåndsvisning, noe som betyr at funksjoner kan endres og ha begrenset stabilitet.

Da har vi egentlig all informasjon vi trenger for å starte vibbekodinga. Jeg lager en mappe «lokalai» på PCen min og når jeg står i den mappen i kommandolinjeverktøyet skriver jeg:

claude

Når Claude Code er klar til bruk kan jeg taste inn innstruksene (prompten) for hva jeg ønsker utført:

Jeg ønsker at du utvikler en React webapplikasjon som lar meg snakke med lokale språkmodeller. Jeg har allerede installert Foundry Local på som kjører på http://127.0.0.1:59904. Implementer løsningen basert på dokumentasjonen du finner på https://learn.microsoft.com/en-us/azure/ai-foundry/foundry-local/reference/reference-rest

Her ser du skjermbilde av hvordan Claude Code ser ut med prompten min utfylt:

Når jeg sender inn kommandoen begynner Claude Code å jobbe med forespørselen min. Her ser du at den opplyser hele tiden om hva den utfører:

Det tok 12 minutter fra jeg sendte inn prompten til webapplikasjonen var klar til bruk i nettleseren min 🚀

Prompten jeg sendte var ikke akkurat ekstremt detaljert, så det er som forventa at jeg må gi noen tilleggsinstrukser etter å ha oppdaget noen bugs eller endringer som jeg ønsker.

Her er instruksen jeg ga for å fikse en bug med at nedtrekkemenyen for valg av modeller var tom:

Listen over modeller er tom

Dette var det eneste jeg trengte å legge til for å få en fullt fungerende webapplikasjon opp å kjøre 🥰

Her ser du skjermbilde av hvordan den ble:

Webapplikasjonen detekterer at Foundry Local kjører lokalt på PCen din og du vil dermed få mulighet til å velge modellene direkte i nedtrekksmenyen og deretter chatte med den valgte modellen. Litt mer brukervennlig enn det vi opplevde ved å bruke foundry i kommandolinjeverktøyet 😎

Det var kanskje ikke det spenstigste designet verden har sett. 🧐 La oss prøve å gi Claude Code en logo som den skal benytte som underlag for å redesigne websida:

Benytt filen logo.jpg som logo på nettsida, samt inspirasjon for å redesigne nettsida.

Resultatet:

Man står nok ikke fremst i køen på «design awards» nå heller 😅 Men interessant å se at Claude Code klarer å tolke en enkel logo og prøver å lage noe helhetlig basert på dette. For organisasjoner med egen profilhåndbok så vil man kunne henvise til den og få et mye bedre resultat 😁

🤔Konklusjon

For noen dager siden skal Elon Musk ha kommet med en idé 💡

Han foreslår å bruke Teslas biler når de står parkert som en global, distribuert superdatamaskin. Hver bil har kraftige AI-prosessorer og batteri, og med millioner av biler kan Tesla skape en massiv inferensflåte uten å bygge datasentre. Strøm og kjøling er allerede integrert i bilene, så man kan utnytte “ledig tid” til enorm beregningskraft.

Ref: https://x.com/niccruzpatane/status/1983227043887058974

Bør organisasjoner som skal ta i bruk AI internt tenke litt i samme retning om PCene sine? Spesielt fremover hvor PCene mest sannsynlig får bedre og kraftigere AI-optimalisert maskinvare, samt modellene blir bedre og bedre? 🚀

Se for deg en organisasjon med 5000 ansatte som har utviklet en webapplikasjon/løsning som benytter seg av AI-modeller. Kan man rulle ut Foundry Local til alle 5000 PCene automagisk og spare seg for store summer? Mest sannsynlig ja💰

Dersom brukeren sitter på en enhet uten Foundry Local så vil webapplikasjonen/løsningen kunne detektere dette og automatisk koble seg til en AI-modell hostet i et datasenter/Azure/e.l. 🤓

Men, hva har vi egentlig fått til her i denne artikkelen? 🤔

Vi har installert Foundry Local, snakket med en AI-modell som kjører lokalt på PCen, og vibbekoda en fungerende webapplikasjon på 12 minutter. Ingen cloud-konto, ingen API-nøkler, ingen månedlige regninger – bare lokal AI som kjører på maskinvaren du allerede har. 🥰

Er det perfekt? Nei. Kontor-PCen din kommer fortsatt til å slite sammenlignet med de store cloud-modellene. Men det er ikke poenget. 🧐

Poenget er at vi faktisk kan kjøre AI-modeller lokalt på vanlig maskinvare. Og når maskinvaren blir bedre – noe den kommer til å bli – så er infrastrukturen allerede på plass.

Foundry Local er i preview nå, men se for deg hvor dette er om 2-3 år når AI-optimalisert maskinvare er standard i nye PCer. Da kan din «brødrister» på skrivebordet plutselig være en del av selskapets AI-infrastruktur. Kanskje ikke like ambisiøst som Elon sine Tesla-biler, men prinsippet er det samme: Utnytt maskinvaren som allerede står der 😎

Neste gang arbeidsgiveren spør hvorfor du trenger en PC med bedre GPU: «Jeg skal bidra til selskapets distribuerte AI-infrastruktur!» 😁

Kort oppsummert: Foundry Local fungerer. Claude Code gjør det enkelt. Test det selv. Lykke til med vibbekodinga! 🚀