Wenn der Seestern zum Wurm wird: Die nackte Wahrheit über lokale Chatbots

Wenn der Seestern zum Wurm wird: Die nackte Wahrheit über lokale Chatbots.

Ich hatte einen einfachen Plan: Acht lokale Chatbots (LLM) eine Anleitung für die Starfish-Retrospektive schreiben lassen. Eine Standardmethode aus der Organisationsentwicklung. Fünf Kategorien: Start Doing, Stop Doing, Continue Doing, More Of, Less Of. Fertig.

Was soll da schiefgehen?

Spoiler: Fast alles.

Die Idee hinter dem Test

Ich wollte wissen, ob lokale Chatbots (LLM) taugen. Nicht für «Schreib mir einen lustigen Tweet» oder «Erkläre Quantenphysik in einfachen Worten». Sondern für echte Arbeit. Für die Dinge, die du vielleicht einem Junior-Mitarbeiter geben würdest: Eine dokumentierte Methode recherchieren, verstehen und in eine verwendbare Anleitung umsetzen. Die Starfish-Retrospektive schien perfekt. Etabliert. Dokumentiert. Nicht zu komplex, aber auch nicht trivial. Wenn ein Chatbot (LLM) das nicht hinbekommt, kannst du ihn für ernsthafte Arbeit vergessen.

Also habe ich mir acht Chatbots geschnappt – von winzigen 3 Milliarden bis zu fetten 32 Milliarden Parametern. Alle lokal auf meinem Rechner. Kein Cloud-Service, keine API-Kosten, kein Datenschutzproblem.

Und dann habe ich auf «Enter» gedrückt.

Was ich erwartete

Ich bin nicht naiv. Ich weiss, dass lokale Modelle nicht mit GPT-4 mithalten. Das war auch nicht der Punkt. Ich wollte sehen: Können sie eine dokumentierte Methode korrekt wiedergeben? Können sie strukturiert denken? Können sie brauchbare Anleitungen erstellen?

Meine Erwartung war: Vielleicht sind ein paar Modelle schwach. Aber die Mehrheit wird’s hinbekommen. Es ist ja keine Raketenwissenschaft.

Die Kandidaten im Ring

Acht lokale Modelle, von 3 bis 32 Milliarden Parametern. Von Meta, Google, Alibaba und OpenAI. Alles offen verfügbare Modelle mit freigegebenen Gewichten, alle lokal lauffähig, alle kostenlos.

Modell	Parameter	Herkunft	Besonderheit
Llama3.2:3b	3 Mrd.	Meta (USA)	Leichtgewicht für Smartphones
Llama3.1:8b	8 Mrd.	Meta (USA)	Metas Gegengewicht zu OpenAI. Trainiert auf mehr Text, als ein Mensch in 1000 Leben lesen könnte.
Mistral:7b	7 Mrd.	Mistral AI (FR)	Europäische Alternative.
Qwen2.5:14b	14 Mrd.	Alibaba (CN)	«Qwen» steht wahrscheinlich für «Question answering with Natural language»
Deepseek-r1:14b	14 Mrd.	DeepSeek (CN)	Spezialisiert auf «Reasoning» («r1»)
GPT-OSS:20b	20 Mrd.	Open Source	OpenAI Modell mit offenen Gewichtungen
Gemma2:27b / Gemma3:27b	27 Mrd.	Google (USA)	Googles «Edelstein»
Qwen2.5:32b	32 Mrd.	Alibaba (CN)	Das Schwergewicht ist die grösste Qwen-Version, die noch auf Consumer-Hardware läuft.

Was ich bekam

Llama3.2:3b – Der kreative Chaot

Das kleinste Modell kam als erstes. Nach 24 Sekunden präsentierte es mir stolz die Starfish-Kategorien:

Star: Hier werden die Vorzeichen der Teammitglieder analysiert, wie z.B.: Sehr engagierte Mitarbeiter, Lauter Mitarbeiter, der sich oft einmischt

Fische: Schwierigkeiten bei der Kommunikation, Überlastung oder Stress, Konflikte zwischen Teammitgliedern

Insekten: Kreativität und Innovation, Zusammenarbeit und Teamgeist, Erfolge und Leistungen

Schmetterlinge: Fähigkeiten und Stärken, Persönliche Ziele und Interessen

Wurm: Änderungswünsche, Verbesserung der Kommunikation, Erhöhung der Effizienz

Ich las es zweimal. Dann dreimal.

Star? Fische? Insekten? SCHMETTERLINGE? WURM?

Das Modell hatte anscheinend beschlossen, eine komplett neue Retrospektiven-Methode zu erfinden. Eine, in der wir Menschen als Tiere kategorisieren. Die «Stars» sind die engagierten Mitarbeiter. Die «Fische» schwimmen in Schwierigkeiten. Die «Schmetterlinge» flattern mit ihren Fähigkeiten herum. Und der «Wurm»? Der kriecht durch Änderungswünsche.

Das Beispiel-Szenario war nicht weniger bizarr:

Schmetterlinge: Sarah hat eine starke Fähigkeit zur Kommunikation, aber manchmal überläuft sie sich beim Reden.

Ich stellte mir vor, wie ein Team in einer Retrospektive sitzt und Sarah als «Schmetterling» kategorisiert, weil sie zu viel redet.

Kreativ? Absolut. Brauchbar? Null. Unterhaltsam? Sehr.

Mistral:7b – Der anatomische Philosoph

Mistral versuchte es mit einer anderen Strategie: Den Seestern anatomisch zu interpretieren.

Das Auge (Sehen): Welche Dinge sind wir schön gemacht und sollen weiter so gemacht werden?

Die Arme ausgestreckt (Hören): Was haben wir uns vielleicht nicht genug anhören lassen oder wie können wir es verbessern?

Das Maul (Sprechen): Was möchten wir mehr vom Team hören und was hätte das Team von uns mehr wollen?

Der Körper (Fühlen): Wie fühlten sich die Mitglieder sich während der Arbeit?

Die Beine (Aktion): Was sollten wir in Zukunft anders machen um unsere Zusammenarbeit noch besser gestalten?

Ich sass da und stellte mir vor, wie ein Team in einer Retrospektive sitzt und diskutiert, was «das Maul des Seesterns» ihnen sagen will.

Das Beispiel-Szenario lieferte dann dieses Juwel:

Das Maul: Es hätte interessant sein, wenn du uns mehr über deine Überlegungen und Entscheidungen berichten hättest, damit wir besser verstanden hätten, was wir tun sollten.

Die Grammatik war holprig, die Metapher absurd, aber immerhin: Es war ein ehrlicher Versuch, Struktur zu schaffen.

Nur leider die falsche Struktur.

Deepseek-r1:14b – Der chinesische Überraschungsgast

Deepseek fing vielversprechend an. Es verwendete englische Begriffe und lag näher am Original:

What went Well (Wells): Was lieferte positive Ergebnisse?

What didn’t go so well (Ditches): Welche Probleme oder Herausforderungen gab es?

Dann aber passierte etwas Seltsames. Mitten im Text tauchten plötzlich chinesische Zeichen auf:

Jeder Teilnehmer schreibt auf Post-it-Zettel, was gut ging, und张贴iert sie unter der «Wells»-Kategorie.

張貼? Was zum…?

Das Modell hatte anscheinend vergessen, in welcher Sprache es gerade schreibt. Als würde dein Junior-Mitarbeiter mitten im Bericht plötzlich anfangen, auf Mandarin weiterzuschreiben.

Immerhin war die Methode erkennbar – nur eben nicht die Standard-Starfish-Kategorien.

Qwen2.5:32b – Der Totalausfall

Das grösste Modell im Test. 32 Milliarden Parameter. Ich hatte Hoffnung.

Die ersten zwei Sätze waren auf Deutsch:

Die Starfish-Retrospektive ist ein visuelles Modell zur Reflexion des Teams über eine vergangene Iteration…

Und dann:

准备工作：

1. 在白板上绘制一个星鱼形状，每个触角代表不同的类别…

Der gesamte Rest? Chinesisch.

Die anderen drei Fails?

Llama3.1:8b verwechselte Starfish mit «Start-Stop-Continue» – eine andere Retrospektiven-Methode, aber immerhin eine echte.

Gemma2:27b lieferte eine generische Retrospektiven-Anleitung ohne spezifische Kategorien – höflich, aber nutzlos.

Qwen2.5:14b machte dasselbe wie sein grosser Bruder: Nach zwei Sätzen Deutsch komplett ins Chinesische gewechselt.

Sechs Modelle. Sechs verschiedene Arten zu scheitern. Alle mit derselben Überzeugung.

Der Moment der Erkenntnis

Nach dem fünften Modell sass ich da und realisierte: Sechs von acht Chatbot (LLM) hatten keine Ahnung, was die Starfish-Retrospektive ist. Null. Nada. Nichts.

Sie erfanden Kategorien. Sie mischten Methoden. Sie halluzinierten Konzepte. Sie wechselten mitten im Text die Sprache.

Keines sagte: «Ich bin mir nicht sicher, ob ich das richtig verstehe.»

Keines fragte: «Meinst du vielleicht die Start-Stop-Continue-Methode?»

Nein. Sie bullshitteten einfach drauflos. Selbstbewusst. Strukturiert. Falsch.

Die Gewinner

Aber dann. Dann kamen zwei Modelle, die es verstanden hatten. Und der Unterschied war nicht graduell – er war fundamental.

GPT-OSS:20b – Der Corporate Professional

20 Milliarden Parameter. Und es lieferte genau das, was ein erfahrener Consultant liefern würde.

Die fünf Kategorien des Starfish-Modells

Start – Neues beginnen, das wir ausprobieren wollen. Stop – Etwas einstellen, das nicht mehr hilft oder mehr kostet. Continue – Was funktioniert gut – diese Dinge halten wir. More – Wo wir intensiver werden können. Less – Wo wir reduzieren oder abschwächen können.

KORREKT. Alle fünf Kategorien. Richtig.

Aber das war erst der Anfang. GPT-OSS lieferte eine Anleitung, die aussah, als käme sie direkt aus einem professionellen Beratungsunternehmen:

Schritt-für-Schritt-Ablauf (60 – 90 min)

Schritt	Zeit	Ziel	Moderations-Tipp
1. Einstieg & Zielsetzung	5 min	Warm-up, Rollenklärung	«Heute schauen wir uns unseren Sprint 5 an…»
2. Regeln & Atmosphäre	3 min	Safe-Space-Regeln	«Alle Ideen sind willkommen…»
3. Silent-Brainstorming	15 min	Eigenständig Sticky-Notes	«Bitte nutzt unterschiedliche Farben…»

Gesamtdauer: 73 min (plus ggf. 10—15 min Puffer für unvorhergesehene Diskussionen).

73 Minuten. Auf die Minute genau. Mit Puffer eingeplant.

Das ist keine Chatbot-Antwort. Das ist eine Anleitung, die du direkt einem Team geben kannst. Mit SMART-Formulierungen. Mit Voting-Methoden. Mit Umgang für Remote-Teams. Mit Follow-up-Checklisten. GPT-OSS hatte verstanden, was eine Starfish-Retrospektive ist – und lieferte eine Anleitung, die in jedem Consulting-Unternehmen durchgehen würde.

Gemma3:27b – Der akademische Perfektionist

Und dann, nach 195 Sekunden – einer gefühlten Ewigkeit – kam Gemma3. Mit einer anderen Herangehensweise, aber genauso korrekt:

• Start Doing (Beginnen zu tun): Was sollten wir als Team neu anfangen, um unsere Zusammenarbeit zu verbessern? Welche positiven Dinge haben wir vielleicht früher gemacht und sollten wieder aufgreifen?
• Stop Doing (Aufhören zu tun): Was sollten wir als Team aufhören zu tun, da es uns behindert, frustriert oder unnötig Zeit kostet?
• Continue Doing (Weiterhin tun): Was machen wir als Team gut, was wir unbedingt beibehalten sollten? Was trägt positiv zur Zusammenarbeit bei?
• More Of (Mehr davon): Welche Aspekte unserer Arbeit oder Zusammenarbeit sollten wir ausbauen? Was funktioniert bereits gut und könnte noch besser werden?
• Less Of (Weniger davon): Welche Aspekte unserer Arbeit oder Zusammenarbeit sollten wir reduzieren oder einschränken? Was hält uns auf oder raubt uns Energie?

Die Kategorien waren korrekt. Aber Gemma3 ging noch weiter. Es erklärte nicht nur WAS, sondern auch WARUM und WIE:

Wann eignet sie sich?

• Fokus auf Teamdynamik: Wenn du verstehen möchtest, wie gut das Team zusammenarbeitet, unabhängig von technischen Details.
• Einfache Durchführung: Wenn du eine schnelle und leicht verständliche Retrospektive suchst.
• Frühzeitige Intervention: Um subtile Probleme innerhalb des Teams frühzeitig zu erkennen und anzugehen.

Und dann der Abschnitt, der den Unterschied machte:

Umgang mit typischen Herausforderungen:

• Niemand sagt etwas: Stelle offene Fragen, beginne mit einem einfachen Beispiel, oder bitte die Teilnehmer, ihre Gedanken aufzuschreiben, bevor sie sie teilen.
• Eine Person dominiert: Unterbreche die Person freundlich und bitte andere um ihre Meinung. Nutze Techniken wie «Round Robin» (jeder Teilnehmer spricht der Reihe nach).
• Konflikte entstehen: Ermutige die Konfliktparteien, ihre Standpunkte ruhig zu erklären. Suche nach Gemeinsamkeiten und versuche, eine gemeinsame Lösung zu finden.

Das sind konkrete, benannte Techniken. «Round Robin» ist eine etablierte Moderationsmethode. Das ist nicht generisches Chatbot-Geschwurbel – das ist echtes Moderations-Know-how.

Das ist nicht nur eine Methode beschrieben. Das ist gezeigt, wie man daraus umsetzbare Massnahmen ableitet – mit Verantwortlichen und Deadlines.

Zwei Gewinner, zwei Stile

Was mich faszinierte: Beide Modelle waren korrekt. Aber sie hatten völlig unterschiedliche Ansätze.

GPT-OSS:20b – Der Corporate Professional:

• Tabellen und präzise Zeitangaben
• Business-Sprache
• SMART-Formulierungen
• Wie eine Beratungs-Vorlage

Gemma3:27b – Der akademische Perfektionist:

• Ausführliche Erklärungen
• Pädagogischer Ansatz
• Benannte Techniken und Methoden
• Wie ein Lehrbuch für Moderatoren

Beide richtig. Beide verwendbar. Beide auf ihre Art exzellent.

Die Illusion vom AI-Junior

Und hier liegt das eigentliche Problem. Ich höre immer wieder: «Mit AI können wir Junior-Stellen einsparen. Die einfachen Aufgaben macht jetzt die Maschine.»

Dieser Test zeigt: Das ist Bullshit.

Ein Junior-Mitarbeiter, der eine Starfish-Anleitung schreiben soll, würde:

• Googeln, was Starfish ist
• Die offiziellen Kategorien finden
• Merken, wenn etwas nicht stimmt
• Nachfragen, wenn unklar ist

Sechs von acht Chatbots:

• Erfanden Schmetterlinge und Würmer
• Beschrieben das Maul des Seesterns
• Wechselten mitten im Text die Sprache
• Lieferten alles mit derselben Überzeugung ab

Was ich daraus gelernt habe – Selbstbewusstsein ist keine Kompetenz

Alle acht Modelle präsentierten ihre Ergebnisse mit derselben Überzeugung:

• Llama3.2 erklärte selbstbewusst die «Schmetterlinge»-Kategorie.
• Mistral beschrieb detailliert «das Maul des Seesterns».
• Deepseek wechselte ohne Warnung ins Chinesische.
• Qwen2.5:32b lieferte komplett Chinesisch.
• GPT-OSS lieferte perfekte Tabellen für die korrekte Methode.
• Gemma3 lieferte ausführliche Erklärungen für die korrekte Methode.

Alle mit derselben Überzeugung. Sechs falsch. Zwei richtig.

Das ist der Unterschied zu einem echten Junior: Der würde sagen «Ich bin nicht sicher» oder «Ich finde widersprüchliche Informationen».

Hier liegt dein Problem: Um zu wissen, dass Llama3.2’s «Schmetterlinge» falsch sind, musst du wissen, was Starfish ist.

Um zu wissen, dass Mistral’s «Maul des Seesterns» Unsinn ist, musst du die Methode kennen.

Um zu wissen, dass GPT-OSS und Gemma3 richtig liegen, musst du die korrekte Methode kennen.

Aber wenn du es verstehst, brauchst du den AI-Junior nicht.

Das ist der fundamentale Widerspruch: Du kannst die Qualität nur prüfen, wenn du die Aufgabe selbst lösen könntest.

Die unbequeme Wahrheit

Nach diesem Test musste ich mir eingestehen: Lokale Chatbots sind als Junior-Ersatz wenig geeignet. Nicht, weil sie schlecht sind. Sondern weil du nicht weisst, welches funktioniert, bevor du getestet hast.

Zwei von acht Modellen waren perfekt. Aber:

• Welches wählst du vor dem Test?
• Wie prüfst du die Qualität, ohne die Aufgabe zu verstehen?
• Was kostet dich ein Fehler, der in deine Prozesse eingebaut wird?

Das ist keine technische Frage. Das ist eine organisationale Frage.

Was du nun tun kannst:

1. Test vor Einsatz: Nimm 3-5 Standard-Aufgaben aus deinem Alltag. Lass verschiedene Modelle sie lösen. Prüf die Qualität. Entscheide erst dann.
2. Peer-Review Pflicht: Jeder AI-Output muss von jemandem geprüft werden, der die Aufgabe selbst lösen könnte. Keine Ausnahmen.
3. Fehlerkultur etablieren: Dokumentiere, wo AI falsch lag. Diese Fehler zeigen dir, wo du blind bist.

AI kann dein Team verstärken. Aber nur, wenn du verstehst, wo du blind vertrauen kannst – und wo nicht.