Im Dezember 2025 hat Mistral das Modell Mistral Large 3 unter Apache-2.0-Lizenz veröffentlicht: 675 Milliarden Parameter insgesamt, ein Kontextfenster von 256K Tokens, Bildverständnis und Benchmark-Parität mit den besten instruction-getunten Open-Weight-Modellen am Markt. Auf dem LMArena-Leaderboard startete es auf Platz 2 der offenen Non-Reasoning-Modelle. 7 Monate später zeigen Live-Rankings: Die besten Open-Weight-Modelle liegen nur noch einen kleinen Qualitätsabstand hinter den proprietären Spitzenmodellen. Die verbleibenden Lücken konzentrieren sich auf Instruction-Following, Multimodalität und sehr lange Kontexte.
Das Signal ist unübersehbar. 2023 bedeutete ein Modell auf eigener Hardware einen deutlichen Abschlag bei der Leistung. 2026 bedeutet es, dass ihr entscheiden könnt, wo eure Daten liegen, ohne auf viel Intelligenz zu verzichten. Für Unternehmen in regulierten Branchen verschiebt das die Standardfrage von «Welche API rufen wir auf?» zu «Brauchen wir überhaupt eine externe API?».
Was ist ein lokales KI-Modell?
Ein lokales KI-Modell ist ein Large Language Model, dessen trainierte Gewichte ihr herunterladet und auf Infrastruktur betreibt, die ihr kontrolliert: eigene Server, eine Private Cloud oder sogar eine Workstation. Kein Prompt, kein Dokument, kein Kundendatensatz verlässt eure Umgebung. Das Gegenstück ist ein API-Modell, bei dem jede Anfrage zur Verarbeitung an die Server eines Anbieters geschickt wird.
2 verwandte Begriffe sind für Beschaffungsentscheidungen relevant:
- Open-Weight: Die trainierten Parameter sind öffentlich zum Download verfügbar, Trainingsdaten und Pipeline aber möglicherweise nicht. Die meisten führenden Modelle heute (Qwen, DeepSeek, Gemma, GLM, Mistral, Llama) fallen in diese Kategorie.
- Open-Source: Gewichte, Trainingscode und Daten sind alle öffentlich. Seltener, und für die meisten Business-Deployments weniger wichtig als die Lizenzbedingungen.
Die Lizenz entscheidet, was ihr tatsächlich tun dürft. Apache 2.0 und MIT erlauben uneingeschränkte kommerzielle Nutzung, Modifikation und Weiterverbreitung. Custom-Lizenzen (etwa Metas Llama Community License) knüpfen Bedingungen daran: Nutzerobergrenzen, Geografie-Klauseln oder Einschränkungen für Modell-Outputs. Für jedes Deployment in Produktion zählt die Lizenz mehr als das Label «Open Source».
Warum lokale KI-Modelle wichtig sind: Datenkontrolle, Compliance und Unabhängigkeit vom Vendor
Nehmen wir einen Schweizer Versicherer, der einen AI Agent für Policenfragen aus der internen Dokumentation aufbauen will. Jede Anfrage enthält Kundenkontext. Jedes abgerufene Dokument ist vertraulich. Diesen Traffic über eine US-gehostete API zu leiten, schafft 3 konkrete Probleme: einen grenzüberschreitenden Datentransfer, der unter dem revDSG begründet und für den EDÖB dokumentiert werden muss, eine Abhängigkeit von den Speicher- und Trainingsrichtlinien des Vendors sowie einen Audit-Trail, der an einer fremden Firewall endet.
Ein lokales Deployment beseitigt alle 3. Das Modell läuft On-Premise oder in einem Schweizer Rechenzentrum. Datenresidenz ist eine Eigenschaft der Architektur, und die Compliance-Dokumentation ergibt sich direkt aus dem Netzwerkdiagramm. Für den Datenschutz in der Schweiz ist das der sauberste denkbare Ausgangspunkt.
4 weitere Gründe beschleunigen den Wandel:
- Kosten bei Skalierung. API-Preise wachsen linear mit der Nutzung. Selbst gehostete Inferenz ist ein fixer Hardware-Betrag plus Strom. Bei Workloads mit hohem Volumen, etwa Pipelines zur Dokumentenverarbeitung oder internen Chatbots, kommt der Break-even schnell.
- Unabhängigkeit vom Vendor. Ein Apache-2.0-Modell lässt sich kommerziell nutzen, ohne dass der Herausgeber laufend zustimmen muss. Preisänderungen, Deprecations und Policy-Wechsel beim Vendor sind keine Geschäftsrisiken mehr.
- Anpassbarkeit. Voller Zugriff auf die Gewichte bedeutet Fine-Tuning auf eigenen Daten, Quantisierung für günstigere Hardware und Betrieb in Air-Gapped-Umgebungen. API-Modelle erlauben nichts davon.
- Vorhersehbares Verhalten. Ein festgepinnter lokaler Checkpoint ändert sich nicht unter euren Händen. API-Modelle werden still aktualisiert; Regressionstests gegen ein bewegliches Ziel sind ein realer Betriebsaufwand, den Teams meist zu spät entdecken.
Der ehrliche Trade-off: Ein lokales Deployment verlagert die Verantwortung zu euch. Hardware-Dimensionierung, Serving-Infrastruktur, Monitoring, Security-Patching und Modell-Evaluation werden eure Aufgaben. Genau dort bleiben die meisten Projekte stecken, und genau dort liegt ein lösbares Engineering-Problem, sofern es jemand verantwortet.
Die Top 5 lokalen KI-Modelle (Stand 20.07.2026)
Das Feld bewegt sich monatlich, jedes Ranking ist eine Momentaufnahme: Diese Liste bildet den Stand vom 20. Juli 2026 ab. Diese 5 Modellfamilien decken das praktische Deployment-Spektrum von der Workstation bis zum Rechenzentrum ab. Hardware-Angaben gehen von 4-Bit-Quantisierung aus, sofern nicht anders vermerkt.
1. Mistral Large 3 — die europäische Frontier-Option
Mistral Large 3 ist ein Sparse-Mixture-of-Experts-Modell mit 675B Parametern insgesamt und 41B aktiven Parametern, einem Kontextfenster von 256K Tokens, Bildverständnis und starker Mehrsprachigkeit, veröffentlicht unter Apache 2.0. Microsoft beschreibt es als das stärkste vollständig offene Modell, das ausserhalb Chinas entwickelt wurde. Für europäische Unternehmen ist diese Kombination einzigartig: Frontier-Leistung, permissive Lizenz und ein Herausgeber unter EU-Jurisdiktion und -Governance. Der Preis dafür ist die Infrastruktur: Alle Experten-Gewichte müssen im Speicher liegen, was in der Praxis rund 8 High-End-GPUs bedeutet. Die kleineren Ministral-Modelle (3B, 8B, 14B) tragen dieselbe Lizenz und decken Edge- und Workstation-Deployments ab; die 14B-Reasoning-Variante erreicht rund 85% auf AIME 2025.
2. Qwen3 — der praktische Standard
Alibabas Qwen3-Familie ist für die meisten Teams die Standardantwort auf die Frage «Was sollen wir betreiben?» geworden. Sie reicht von unter 2B bis zu einem 235B-Mixture-of-Experts-Flaggschiff, unterstützt über 100 Sprachen und erscheint unter Apache 2.0 ohne Nutzerobergrenzen oder kommerzielle Einschränkungen. Der Bereich 8B–30B läuft gut auf einer einzelnen GPU mit 24GB und liefert für seine Grösse starkes Reasoning und Coding. Die Coding-spezialisierten Qwen3-Coder-Varianten sind der praktische Massstab für lokale Entwicklungs-Workloads. Governance-Hinweis für regulierte Branchen: Der Herausgeber ist chinesisch, was manche Risiko-Frameworks unabhängig von der permissiven Lizenz markieren. Da das Modell vollständig auf eurer Infrastruktur läuft, fliessen keine Daten zum Herausgeber; die Bewertung betrifft die Herkunft, nicht den Datentransfer.
3. DeepSeek V4 — der Reasoning-Spezialist
DeepSeeks V4-Generation führt die Open-Weight-Rankings bei Reasoning-lastigen und Long-Context-Coding-Benchmarks an, und die API-Preise gehören zu den tiefsten am Markt, was das Modell auch für hybride Architekturen attraktiv macht, die selbst gehostete und gehostete Inferenz mischen. Für ein lokales Deployment verlangt das volle Modell Rechenzentrums-Hardware; destillierte und quantisierte Varianten bringen die Reasoning-Leistung auf Workstation-Format. Wählt es, wenn der Workload mathematisches Reasoning, komplexe Analysen oder Code-Generierung ist, bei denen Genauigkeit den Rechenaufwand rechtfertigt.
4. Kimi K3 — die neue Open-Weight-Frontier
Moonshot AI hat Kimi K3 am 16. Juli 2026 veröffentlicht, das grösste Open-Weight-Modell, das je publiziert wurde: 2.8 Billionen Parameter insgesamt in einer MoE-Architektur, die 16 von 896 Experten pro Anfrage aktiviert, ein Kontextfenster von 1 Million Tokens und natives Bildverständnis. Moonshot positioniert es als sein stärkstes Coding- und Agentic-Modell, gebaut für lange Engineering-Sessions mit minimaler menschlicher Aufsicht, und beansprucht Benchmark-Resultate auf Augenhöhe mit den besten proprietären Systemen. Der Markt hat die Ansage ernst genommen: Der Launch verschärfte einen Halbleiter-Ausverkauf, TSMC fiel am Folgetag um 7%. 2 Vorbehalte für die Deployment-Planung. Die vollständigen Gewichte sollen am 27. Juli 2026 öffentlich freigegeben werden; zum Zeitpunkt dieses Artikels ist das Modell also angekündigt, aber noch nicht herunterladbar. Und bei 2.8 Billionen Parametern heisst «lokal» ernsthafte Rechenzentrums-Infrastruktur: Das ist ein Private-Cloud-Modell, keines für die Workstation.
5. GLM-5 — der Allrounder für Agentic Workflows
Die GLM-5-Serie von Z.ai hält per Juli 2026 in mehreren Live-Rankings der Open-Weight-Modelle die Spitzenposition, insbesondere bei Long-Context-Coding, mehrstufigem Reasoning und Agentic Workloads, bei denen das Modell über viele Runden hinweg Tool-Calls plant und ausführt. Wenn eure Zielanwendung ein autonomer Agent statt eines Chat-Assistenten ist, setzt diese Familie aktuell den Open-Weight-Massstab. Es gilt dieselbe Herkunftsüberlegung wie bei Qwen und DeepSeek: chinesischer Herausgeber, lokale Ausführung, kein Datenfluss zum Vendor.
Vergleich auf einen Blick
| Modellfamilie | Herausgeber | Lizenz | Idealer Einsatz | Minimale ernsthafte Hardware |
|---|---|---|---|---|
| Mistral Large 3 / Ministral | Mistral (Frankreich) | Apache 2.0 | Europäische Compliance, mehrsprachig, multimodal | 8x High-End-GPUs (Large 3); 1 GPU (Ministral) |
| Qwen3 | Alibaba (China) | Apache 2.0 | Genereller Standard, Coding, 100+ Sprachen | 24GB VRAM (Klasse 8B–30B) |
| DeepSeek V4 | DeepSeek (China) | Permissiv (Variante prüfen) | Reasoning, Mathematik, komplexe Analysen | Rechenzentrums-Klasse; destillierte Varianten kleiner |
| Kimi K3 | Moonshot (China) | Open Weights (Release 27.07.2026) | Frontier-Coding und Agentic-Arbeit, 1M Kontext | Rechenzentrums-Klasse (2.8T Parameter) |
| GLM-5 | Z.ai (China) | Permissiv (Variante prüfen) | Agentic Workflows, Long-Context-Coding | Rechenzentrums-Klasse |
Lobende Erwähnungen: Gemma 4 (Google) als beste Wahl für Laptops, Edge-Geräte und Pilot-Deployments auf Consumer-Hardware; Llama 4 (Meta) für lange Kontexte unter einer Custom-Lizenz; und Nemotron 3 (NVIDIA) für Teams, die veröffentlichte Trainingsdaten und Rezepte für Reproduzierbarkeits-Audits brauchen.
Warum jetzt: Das Zeitfenster für den Aufbau interner Kompetenz
3 Bedingungen sind 2026 zusammengekommen. Erstens die Leistung: Open-Weight-Modelle sind gut genug für den ernsthaften Produktionseinsatz in Coding, RAG und Agentic Workloads, was vor 18 Monaten nicht vertretbar war. Zweitens die Regulierung: Die Pflichten des EU AI Act treten schrittweise in Kraft, und Schweizer Firmen, die gegenüber der FINMA berichten oder ihre Datenverarbeitung unter dem revDSG dokumentieren, gewinnen einen strukturellen Vorteil durch Architekturen, in denen Daten nachweislich ihre Kontrolle nie verlassen. Drittens die Ökonomie: Inferenz-Hardware und Serving-Frameworks (vLLM, Ollama und ihre Enterprise-Pendants) sind so weit gereift, dass ein mittelgrosses Unternehmen ein produktives LLM-Deployment ohne Forschungsteam betreiben kann.
Wer diese Kompetenz jetzt aufbaut, erhält sich verstärkende Erträge: eine Evaluations-Pipeline, einen Fine-Tuning-Workflow und institutionelles Wissen darüber, welches Modell zu welchem Workload passt. Wer wartet, erbt dieselben API-Abhängigkeiten bei höheren Volumen, mit Migrationskosten, die jedes Quartal wachsen. Der konkrete nächste Schritt ist nicht «ein Modell auswählen». Er lautet: 20–50 Testfälle definieren, die aus eurem realen Workload stammen und sitzen müssen, 2–3 Kandidatenmodelle auf gemieteter Hardware dagegen benchmarken und die Resultate plus eure Compliance-Anforderungen entscheiden lassen. Das ist der Kern jeder tragfähigen KI-Strategie für Unternehmen.
Das richtige lokale Modell auswählen und deployen
Die Modellauswahl ist der kleinste Teil des Projekts. Die Arbeit, die über Erfolg entscheidet, ist die Architektur darum herum: die Ingestion-Pipeline, die das Modell mit euren Daten versorgt, die Retrieval-Schicht, die seine Antworten fundiert, das Evaluations-Harness, das Regressionen abfängt, und das Hosting-Setup, das eure Auditoren zufriedenstellt. Weil das Ranking oben in 6 Monaten anders aussehen wird, ist eine modellagnostische Architektur, in der das Modell eine austauschbare Komponente statt ein Fundament ist, die langlebigste Designentscheidung, die ihr bei der KI-Implementierung treffen könnt.
Genau das ist unsere Arbeit bei Lab51: massgeschneiderte AI Agents auf Basis eurer Daten, deployt auf Schweizer oder On-Premise-Infrastruktur, mit modellagnostischer Architektur, damit das beste Open-Weight-Modell von heute durch das von nächstem Jahr ersetzt werden kann, ohne das System neu zu bauen. Wenn ihr ein lokales Deployment evaluiert und eine fundierte KI-Beratung in der Schweiz zu Modellen, Hardware und Compliance-Folgen für euren konkreten Fall sucht, sprecht mit uns.
