Lokaal of cloud voor je AI: hoe maak je de echte afweging?

Er is geen algemeen goed antwoord op “lokaal of cloud”. Draai AI lokaal als je data binnen moet blijven en je de machine ervoor over hebt; kies een Europese cloud-API als je wilt schalen zonder onderhoud en de jurisdictie acceptabel is. De echte keuze zit in de weging: kostenmodel, waar je data juridisch valt, en of je je eigen machine vrij wilt houden voor ander werk.

Bij aitonomi valt deze afweging in bijna elk project. De aanleiding voor deze post is concreet: een cloud-abonnement voor zware AI-workloads, in dit voorbeeld een “Max”-plan van rond de $100 per maand dat afrekent op GPU-tijd in plaats van harde tokenlimieten, met zero-data-retention. Dat is een prima vertrekpunt om de afweging uit elkaar te trekken. Het is een voorbeeld, geen aanbeveling en geen vaste prijslijst.

Wat is het echte verschil tussen lokaal en cloud?

Lokaal betekent: het model draait op hardware die van jou is. Je betaalt eenmalig voor de machine, je data verlaat je pand niet, maar je belast je eigen apparaat en je bent zelf verantwoordelijk voor beheer. Cloud betekent: het model draait bij een aanbieder. Je betaalt per maand of per gebruik, je hoeft niets te onderhouden en het schaalt mee, maar je data en de jurisdictie liggen bij een derde partij.

Dat is de kern. Alle verdere afwegingen zijn varianten op deze ruil: controle en eenmalige kosten tegenover gemak en doorlopende kosten.

GPU-tijd of tokens: welk kostenmodel past bij jou?

Dit is een onderschat verschil. De meeste cloud-API’s rekenen per token: per stukje tekst dat erin gaat en eruit komt. Sommige plannen, zoals het genoemde voorbeeld van rond de $100 per maand, rekenen in plaats daarvan op GPU-tijd: je betaalt voor de tijd dat de machine voor jou rekent, niet per woord.

Het verschil bepaalt welk gedrag duur wordt. Bij een tokenmodel is een lange prompt of een groot antwoord meteen zichtbaar op je rekening. Bij een GPU-tijdmodel is een zwaar model dat lang nadenkt de kostenpost, ook op een korte vraag. Lokaal draaien kent geen van beide: daar zijn de kosten al betaald bij aankoop, en is de “rekening” je stroom en je wachttijd. Reken je eigen volume door in beide modellen voordat je kiest; welke goedkoper is, hangt volledig af van hoe je werkt.

Betekent zero-data-retention dat je data veilig is?

Niet automatisch. Zero-data-retention betekent dat de aanbieder je invoer en uitvoer niet bewaart na verwerking. Dat is echte winst tegen datalekken en tegen hergebruik voor training. Maar het zegt niets over jurisdictie: onder welke wetten valt het bedrijf, en wie kan tijdens de verwerking bij de data?

Een Amerikaanse aanbieder met zero-data-retention valt nog steeds onder de US CLOUD Act. Zie daarvoor je klantdata en de Amerikaanse cloud. Een Europese aanbieder zoals Mistral verwerkt in EU-datacenters onder EU-recht. En lokaal draaien is de enige optie waarbij de vraag “wie kan erbij” simpelweg “alleen jij” is. Zero-data-retention is dus een pluspunt, geen eindstation.

Wanneer weegt “je Mac schoon houden” het zwaarst?

Soms is het doorslaggevende argument niet data of geld, maar werkdruk op je machine. Een zwaar model lokaal draaien vreet geheugen en rekenkracht. Als dezelfde Mac ondertussen je dagelijkse werk moet doen (video, ontwerp, veel tabbladen), dan botst dat. Dan kan het de moeite waard zijn om de zware AI-taak naar een cloud-API te sturen, puur om je eigen apparaat vrij te houden.

Dit is een legitieme, praktische reden die in de meeste vergelijkingen ontbreekt. Het gaat niet altijd om principes; soms wil je gewoon dat je computer beschikbaar blijft voor waar hij voor is.

Hoe kies je concreet?

Neem de opties neutraal naast elkaar. Lokaal draai je bijvoorbeeld met Ollama op eigen hardware. Wil je cloud, dan zijn er Europese opties zoals Mistral in Franse datacenters, of een gehoste Ollama, of een zelf-gehoste opstelling op een Europese GPU. Weeg dan per workload:

1. Hoe gevoelig is de data? Gevoelig en gereguleerd: lokaal of EU-eigendom. Gewoon werk: cloud mag.
2. Hoe grillig is je volume? Stabiel en voorspelbaar: eigen hardware verdient zich terug. Piekerig: cloud schaalt beter.
3. Belast de taak je werkmachine? Zo ja, en je hebt geen aparte server: cloud houdt je Mac vrij.

Er komt geen enkele winnaar uit, en dat is het punt. De autonome keuze is de keuze die je per workload bewust maakt, met deze drie vragen op tafel. Hoe aitonomi dat kader vertaalt naar een werkend systeem, staat bij lokale AI-systemen; waar je moet beginnen, bepaal je met de AI-readiness scan.