Wie trainiere ich meine eigene KI?

08.06.2026

journalist bei Google bevorzugen 

Künstliche Intelligenz hat die journalistische Arbeit binnen weniger Jahre gehörig umgekrempelt. Viele Medienschaffende nutzen meist ChatGPT, Gemini oder Claude. Wer KI sagt, meint Chatbots großer Tech-Unternehmen, erreichbar über Apps oder den Browser. 

Aber es gibt Szenarien, in denen der komfortable Weg über die KI-Platzhirsche nicht gangbar ist. In diesem Text erklären wir, wie lokal genutzte KI-Modelle funktionieren und beantworten die wichtigsten Fragen für Journalistinnen und Journalisten.

 

Wann lohnt es sich (nicht), eine KI lokal zu nutzen?

In vielen Fällen ist es einfacher und günstiger, eine KI online zu verwenden. Wenn es um unkritische Daten in Standardprozessen geht, spricht vieles dafür, sich ins gemachte Nest der Anbieter zu setzen. Dies ist also kein Plädoyer für ein Do it yourself aus Prinzip.

Aber im Journalismus spielen Datensicherheit und Genauigkeit eine besondere Rolle.

• Wer sensible Daten von Quellen auswerten muss, darf sie möglicherweise nicht einfach irgendwo hochladen. Die KI-Konzerne verarbeiten die Informationen auf ihrer Infrastruktur, speichern sie ab und werden von Regierungen zunehmend verpflichtet, Prompts und sonstige Daten auszuhändigen. Dies gefährdet den Quellenschutz.

• Wer spezifische, einzigartige Aufgaben als Datenjournalist zu bewältigen hat, wird bei den Standard-Angeboten von Big Tech oft nicht fündig. Es wäre viel praktischer, in solchen Fällen ein maßgeschneidertes KI-Modell zur Verfügung zu haben.

• Wer KI umfassend nutzt, zahlt schnell hohe Lizenzgebühren. Dieses Geld spart man sich, wenn alles auf den eigenen Geräten abläuft.

Der Journalismus profitiert, wenn wir für solche Herausforderungen passende Lösungen finden. Dafür müssen wir uns intensiver als bisher mit dieser Technologie befassen.

 

KI lokal auf meinem Rechner – wie geht das?

Hinter Chatbots wie ChatGPT stecken Sprachmodelle, sogenannte Large Language Models (LLM). Letztlich ist jedes Modell eine große Sammlung an Statistiken, die prognostizieren, was als Antwort auf einen Input – oft eine Frage – der wahrscheinlichste Output ist. Daher nennt man sie generative KI: Sie ist gut darin, Neues zu generieren.

An welchem Ort ein solches Sprachmodell ausgeführt wird, ist technisch betrachtet egal. Meist findet das online in der Cloud der Anbieter statt, weil sie über große Rechenzentren verfügen, um Nutzeranfragen schnell zu bearbeiten – und um die Daten abzugreifen. Es gibt aber kostenlose Programme, um die Sprachmodelle auf dem eigenen Rechner ausführen zu lassen. Die wichtigsten sind LMStudio, Ollama und GPT4All. Sie lassen sich auf allen Betriebssystemen (MacOS, Windows, Linux) installieren. Ihre Kernfunktion besteht darin, dass sie ein Sprachmodell lokal importieren und dann eine Chatansicht bieten. Erteilt ein User einen Auftrag an das Sprachmodell, erfolgt die Rechenarbeit auf dem eigenen Gerät und nicht in der Cloud. Damit bleiben die Daten im eigenen Wirkungsbereich, Abogebühren gibt es nicht.

 

Woher bekomme ich kostenlose KI-Modelle?

Das wichtigste Portal ist Hugging Face. Dabei handelt es sich um eine Plattform, auf der KI-Modelle hochgeladen werden können. Aktuell sind dort mehrere Millionen KI-Modelle verfügbar, die allermeisten kostenlos.

Ein entscheidender Punkt, damit die KI auf dem eigenen Rechner nutzbar wird, ist die Dateigröße der Sprachmodelle. Die Originalmodelle der Tech-Giganten sind so riesig, dass sie die Hardware eines gewöhnlichen PCs oder Laptops überfordern. Sie bestehen teilweise aus mehreren hundert Milliarden Parametern (Verbindungspunkten). Dadurch generieren diese Mega-Modelle für nahezu jeden Input einen passenden Output in hoher Qualität. Wer solche Modelle lokal zum Laufen bringen will, braucht Profi-Hardware, die schnell mittlere vierstellige Summen kostet.

Allerdings gibt es komprimierte, verkleinerte Versionen, die für die allermeisten Anwendungsfälle ausreichen. Ein guter Kompromiss sind Modelle mit sieben bis neun Milliarden Parametern. Sie laufen auf gewöhnlichen Laptops noch flüssig und sind klug genug für normale Abfragen. Es gibt sogar Modelle mit nur ein bis drei Milliarden Parametern, sodass sie nur noch ein bis zwei Gigabyte (GB) groß sind. Für sehr einfache Aufgaben reichen diese Modelle aus.

Wie groß ein Modell ist, erkennt man am Dateinamen. Das Modell „Llama 3 8b“ ist beispielsweise das Modell mit dem Namen „Llama“ vom Meta-Konzern, Version 3 mit acht Milliarden Parametern (das „b“ steht für engl. „billion“, also Milliarden). Wer über einen Arbeitsspeicher von circa 16 GB verfügt, kann problemlos und schnell mit solchen Modellen chatten.

 

Ich möchte einen Datensatz auswerten. Geht das auch lokal?

Mit Dokumenten zu chatten, funktioniert ebenfalls auf dem eigenen Rechner. Wer beispielsweise die Protokolle aller Sitzungen des Gemeinderates als PDF vorliegen hat, kann Fragen stellen wie: „In welchen Sitzungen hat sich die Bürgermeisterin zur Schulpolitik geäußert?“ Gerade bei Leaks oder vertraulichen Dokumenten, die Quellen geliefert haben, liegt der Vorteil auf der Hand: Weder die Dokumente noch ihre Analyse werden in eine Cloud hochgeladen, alles bleibt auf dem eigenen Gerät.

Die Technologie dahinter nennt sich RAG (Retrieval-Augmented Generation). Der Ansatz ist vergleichbar mit einer Prüfung, in die der Prüfling seine Lernunterlagen mitnehmen darf. Anstatt sich etwas ausdenken zu müssen, kann er in den Dokumenten nachschauen und seine Antworten auf Basis der Unterlagen formulieren. Mit RAG soll verhindert werden, dass eine KI sich etwas ausdenkt – die mittlerweile allseits bekannten Halluzinationen. Ganz wird man diese nie verhindern können, aber mit RAG werden sie stark minimiert. Zudem liefert ein RAG Fußnoten mit, die auf die spezifischen Dokumente verweisen, in denen die Fakten stehen sollen. Damit kann eine Redaktion selbst nachprüfen, ob die Antworten des RAG tatsächlich in den Dokumenten zu finden sind.

Die wichtigsten Programme, um RAG auf dem eigenen Rechner zu nutzen, sind AnythingLLM, GPT4All (in der Funktion „LocalDocs“) und PrivateGPT (für Fortgeschrittene). Weil ein RAG mehr Rechenleistung benötigt als ein Sprachmodell, wären 16 GB Arbeitsspeicher das absolute Minimum. Besser sind 32 GB oder mehr. 

Theoretisch können dann alle Arten von Textdokumenten von einem RAG ausgewertet werden. Es gilt aber zu beachten, dass Dokumente möglicherweise vorbereitet werden müssen. Bestehen PDFs zum Beispiel aus eingescannten Seiten, müssen sie maschinenlesbar gemacht werden mittels OCR (Optical Character Recognition), damit die Bilder wieder zu Text werden. Auch dies geht lokal. Schwierigkeiten hat ein RAG bisher häufig noch bei sehr umfangreichen Tabellen. Hier ist die klassische Excel-Analyse oder – wer es kann – die skriptbasierte Auswertung noch präziser.

 

Ich habe kein Rechenzentrum im Keller. Schafft mein PC das?

Die Leistungsfähigkeit der eigenen Hardware bestimmt, welche KI-Aufgaben man lokal erledigen kann. Entscheidend sind der Arbeitsspeicher (RAM) und die Stärke des Prozessors, der die Arbeit erledigen muss. Die genannten 16 GB RAM reichen auf jeden Fall aus, um mit Sprachmodellen erste Schritte zu gehen. Wer Apple MacBooks mit einem Chip der M-Serie (ab 2020) hat, kann flüssiger arbeiten als Windows-User ohne zusätzliche Grafikkarte. Wer größere Sprachmodelle oder ein RAG für tausende Dokumente nutzen will, kommt unter Windows daher um die Anschaffung von speziellen Grafikkarten (GPU) nicht herum. Solche Grafikkarten sind besonders gut darin, KI-Prozesse zu erledigen. Aufgrund des weltweiten KI-Booms sind die Grafikkarten aktuell ziemlich teuer – Marktführer ist Nvidia, mittlerweile das wertvollste Unternehmen der Welt. Selbst Einstiegsmodelle kosten mehrere hundert Euro. Es lohnt sich, auf Angebote für gebrauchte Grafikkarten zu achten. Was für die Industrie schon zu langsam geworden ist, reicht für den eigenen Gebrauch meist völlig aus.

 

Online-Modelle weigern sich, bestimmte Fragen zu beantworten. Hilft eine lokale KI weiter?

Wer zu Themen wie Extremismus, organisierter Kriminalität oder sexuellem Missbrauch recherchiert, stößt bei ChatGPT, Claude oder Gemini oft an eine moralische Mauer. Die Anbieter haben ihren Modellen Filter auferlegt, die bei sensiblen Schlagworten die Antwort verweigern – das ist ein sinnvoller Sicherheitsmechanismus für die breite Masse, aber eine Barriere für journalistische Aufklärungsarbeit. 

Lokale KI bietet hier einen Ausweg: Auf Plattformen wie Hugging Face finden sich „uncensored“ oder „unfiltered“ Versionen bekannter Modelle. Sie wurden von Moralschranken befreit, beantworten so ziemlich jede Frage oder analysieren jedes Dokument, ohne den Zeigefinger zu heben und die Zusammenarbeit mit einem Hinweis auf die Nutzungsbedingungen zu verweigern. Ihre Nutzung ist im Grundsatz legal, solange die KI als notwendiges Werkzeug für den Quellenschutz und die Recherche in Dark Data genutzt wird. Natürlich gelten weiterhin die Gesetze. Es kommt juristisch nicht darauf an, dass man ein unzensiertes Modell nutzt, sondern wie. Und Vorsicht: „Zensurfreiheit“ bedeutet bei solchen Modellen auch, dass sie häufiger als ihre zensierten Versionen Verschwörungstheorien oder Hassrede als Antwortgrundlage nutzen können. 

 

Ich brauche eine KI für einen einzigartigen Anwendungsfall. Kann ich sie selbst trainieren?

Ein Sprachmodell von Grund auf neu zu trainieren, ist für Einzelpersonen faktisch unmöglich. Dafür bräuchte man tausende Hochleistungsgrafikkarten und riesige Datenmengen. Glücklicherweise ist das aber nicht notwendig. Stattdessen kann man ein bereits trainiertes Modell nochmal „nachtrainieren“, genannt Fine-Tuning. 

Ob das bei einem KI-Modell gelingt, hängt weniger an verfügbarer Rechenpower, sondern an der Qualität der Daten. Soll eine KI klassifizieren, was Menschen unter den Posts einer Redaktion kommentieren, muss sie realistische Beispiele und genaue Instruktionen erhalten, wie sie künftig zu arbeiten hat. Für statistische Auswertungen müsste man ihr sagen, dass Lob eine 1 wird, Kritik eine 2, Hinweise eine 3 etc. – wichtig ist jedoch, dass sie fürs Fine-Tuning auch echte Beispiele für Lob, Kritik, Hinweise bekommt. Hier besteht die Kunst darin, den Spagat zu schaffen: Einerseits soll ein Sprachmodell sein „Weltwissen“ nicht verlieren, andererseits soll es sich für die spezifische Aufgabe an den Beispielen aus dem Fine-Tuning orientieren.

Wer selbst ein Modell nachtrainieren möchte, sollte eine gewisse Erfahrung im Umgang mit Daten und Code haben. Es ist daher vor allem interessant für Datenjournalistinnen und -journalisten. Die KI kann beispielsweise helfen, selbst erhobene Daten anhand weiterer eigener Daten zu kategorisieren, um diese statistisch auszuwerten. Das gilt übrigens nicht nur für Text, sondern auch für Bilder und Videos.

 

Was ist neben Textarbeit noch möglich?

Mittlerweile gibt es für fast alles, was online im KI-Bereich angeboten wird, lokale Alternativen. Audio-Transkriptionen (Speech-to-Text) werden häufig mit dem Modell „Whisper“ umgesetzt. Damit können selbst Gespräche mit Quellen, die anonym bleiben müssen, bedenkenlos verschriftlicht werden. Für Übersetzungen von Dokumenten bietet sich „No Language Left Behind“ als Modell an. Es können auch Bilder lokal generiert (mit  „Stable Diffusion“) oder analysiert (mit „YOLO“) werden. Man kann sogar mit Bildern chatten, also Fragen stellen zu dem, was darauf zu sehen ist (mit Vision-Modellen wie „LLaVA“). Der limitierende Faktor ist nicht das Angebot, sondern die eigene Hardware: Wer mit Bildern oder Videos arbeitet, gerät schnell an die Grenzen dessen, was herkömmliche Laptops leisten können. Trotzdem ist für den Einstieg in diesem Bereich fast alles möglich.

 

Daniel Moßbrucker ist Journalist und Trainer für digitale Sicherheit. Beim Nord­deutschen Rundfunk kümmert er sich um den Einsatz von KI in Investigativrecherchen.