Lokal installierte KI-Tools – Datenschutz und mehr

Mittlerweile gibt es ein breites Spektrum an unterschiedlichen KI-Anwendungen, die Nutzer*innen nach erfolgter Installation der nötigen Programme offline ausführen können. KI als Sparringpartner beim Texten, um Bilder zu generieren oder um Fotos zu bearbeiten: Das alles und mehr ist auch ohne Internetverbindung möglich. Welche Vorteile ergeben sich aus der Nutzung lokal installierter KI-Tools und wo liegen die Grenzen?

Offline, aber nicht off-duty

Verwendet man KI-Tools, die lokal am eigenen Rechner laufen und nicht mit dem Internet verbunden sind, bringt das den Vorteil mit sich, dass die eigenen Daten nicht weitergegeben werden. Mit diesen Daten wird keine externe KI trainiert. Kurz: Man behält die Datenhoheit. Das ist insbesondere für Unternehmen, Institutionen und Organisationen im Bildungsbereich ein wichtiges Thema: Vertrauliche Daten sollen in der Regel den internen Bereich nicht verlassen.

Werden die eingegebenen Daten weiterverarbeitet, hat das auch zur Folge, dass Urheber*innen nicht wissen können, auf welche Weise das geschieht und was am Ende dabei herauskommt. Bleiben die Daten aber am eigenen Computer bzw. im internen Netzwerk, behalten Nutzer*innen die Deutungshoheit über Ihre Eingaben.

Hinzu kommt der Vorteil, dass die Anzahl an generierbaren Outputs bei lokalen KI-Tools nicht beschränkt oder an eine Abo-Lizenz geknüpft ist. Es lassen sich somit unbegrenzt viele Texte oder Bilder generieren und das kostenlos. Experimentierfreudige können sich austoben.

Lokal chatten mit KI-Sprachmodellen

Möchte man sich einen lokal installierten KI-Chatbot einrichten, gibt es dafür unterschiedliche Programme bzw. Plattformen, die das ermöglichen. Eines davon nennt sich LM Studio und wurde in Hamburg entwickelt. Dabei handelt es sich um eine kostenlose Desktop-Anwendung, die Zugriff auf unterschiedliche Sprachmodelle bietet. Um den Unterschied mit einer Metapher zu verdeutlichen: Wenn die lokal installierte Desktop-Anwendung LM Studio als Bibliothek gesehen wird, dann entspricht das Sprachmodell einem Buch. Im Video verwenden wir das Modell Dolphin Mistral 2.8. Eine Alternative wäre z.B. das Sprachmodell Llama 3 Instruct.

Aber auch für „Bücherregale“ gibt es Alternativen, z.B. GPT4All von Nomic AI.

Um nun offline mit einem KI-Sprachmodell chatten zu können, muss zuerst die benötigte Desktop-Anwendung, also das „Bücherregal“, installiert werden. Die Installation von LM Studio erweist sich als unkompliziert. Dann folgt die Auswahl des gewünschten Sprachmodells. Nach dem Download steht das Sprachmodell zum lokalen Chatten zur Verfügung. Die Geschwindigkeit beim Generieren der Antworten ist abhängig vom verwendeten Gerät sowie vom Sprachmodell selbst.

Viele weitere Versionen unterschiedlicher Sprachmodelle lassen sich über Hugging Face laden – eine Open-Source-Plattform, auf der KI-Modelle geteilt, weiterentwickelt und besprochen werden.

Bilder generieren: unbegrenzt und offline

In der letzten Lerneinheit dieser Weiterbildungsreihe haben wir nützliche KI-Tools zum Generieren von Bildern vorgestellt. Das ist auch offline möglich, z.B. mit Stable Diffusion web UI. Erhältlich ist der KI-Bildgenerator über Pinokio, einen Browser, der Zugriff auf über 80 verschiedene KI-Tools bietet, die sich lokal installieren lassen.

Zu Beginn ist es erforderlich, Pinokio kostenlos zu installieren. Dabei werden alle gängigen Betriebssysteme unterstützt. Ist das getan, entscheidet man sich für eines der KI-Tools und lädt das entsprechende Skript herunter. Im Video zeigen wir die Installationsschritte für Pinokio und wählen das Skript des KI-Bildgenerators Stable Diffusion web UI.

Wie lange das Generieren der Bilder mit Stable Diffusion dauert, ist von mehreren Faktoren abhängig. Neben der Leistung des Geräts ist auch die gewählte Bildauflösung ausschlaggebend. Letztere nimmt zudem Einfluss auf die Ergebnisqualität: Im Test war auf kleinen Bildern (z.B. 64 x 64 px oder 315 x 210 px) nichts zu erkennen. Das Erstellen großer Bilder hingegen nimmt wesentlich mehr Zeit in Anspruch. Bilder mit einer Auflösung von 630 x 420 px lieferten passable Ergebnisse.

Unser Tipp: Verkürzen Sie die Wartezeit beim Generieren der Bilder, indem sie eine geringere Bildauflösung auswählen. Im Anschluss können Sie die Auflösung der generierten Bilder mit Upscayl verbessern.

Bildauflösung verbessern mit Upscayl

Das KI-Tool Upscayl kann die Auflösung von Bildern verbessern, indem es zusätzliche Bildpunkte errechnet und hinzufügt – und das um ein Vielfaches. Den genauen Faktor können Nutzer*innen des KI-Tools selbst in den Einstellungen angeben. Sie können auch zwischen unterschiedlichen Modellen wählen. Ein Vorher-Nachher-Vergleich erlaubt eine genaue Beurteilung der Optimierung. Ist man mit dem Ergebnis nicht zufrieden, probiert man ein anderes Modell aus.

Im Test liefert das KI-Tool sowohl bei Landschafts-Aufnahmen und Portrait-Fotos als auch bei Grafiken mit einem Schriftzug gute Ergebnisse.

Upscayl ist kostenlos und erfordert nach der Installation keine Internetverbindung mehr. Nutzer*innen können unbegrenzt viele Bilder mit dem KI-Tool optimieren. Dabei bleiben die Bilder lokal am eigenen Rechner und müssen nirgends hochgeladen werden.

Lokal mit Dokumenten chatten

Bei der Retrieval-Augmented Generation (RAG) bezieht sich ein großes Sprachmodell (LLM) beim Generieren der Antworten auf einen bestimmten Datensatz als Quelle. Die Ergebnisse werden damit zuverlässiger.

Wie schon in der ersten Lerneinheit der KI-Serie gezeigt wurde, ist das auch online möglich, etwa mit dem KI-Tool ChatPDF, das in der Beantwortung von Anfragen auf bereitgestellte PDFs Bezug nimmt.

Im Webinar am 01.07. und für das Video demonstrierte Michael Leitgeb von der Virtuellen PH, wie das mit lokal-installierten Sprachmodellen funktioniert. Der Vorteil gegenüber Online-Anwendungen: Die Datenhoheit bleibt bei den Nutzer*innen.

Um mit einem Sprachmodell lokal zu chatten, installiert man AnythingLLM und wählt anschließend ein Sprachmodell aus, z.B. Mistral 7B (4,1 GB) oder ein kleineres Modell, wie etwa Phi-2 (1,6 GB). Nach dem Download kann man dem Sprachmodell Dokumente zur Verfügung stellen, auf die es Bezug nehmen soll. Chatverläufe sowie alle eingegebenen Daten und Dokumente bleiben lokal – ein Vorteil, von dem vor allem Bildungseinrichtungen profitieren.

Status quo und was uns erwartet

Möchte man keine langen Wartezeiten in Kauf nehmen, erfordert die Arbeit mit lokalen KI-Programmen Endgeräte mit einer starken Leistung bzw. einer guten Grafikkarte. Bei durchschnittlichen Laptops kann die Wartezeit beträchtlich sein.

Aber bereits jetzt zeigt sich, dass der Trend Richtung lokale KI geht. Big-Tech-Konzerne kommen den technischen Anforderungen immer stärker entgegen. Unternehmen wie Apple und Microsoft haben bereits angekündigt, dass KI in Betriebssysteme integriert und kommende Produkte mit lokalen KI-Funktionen ausgestattet sein werden.

Mozillas Llamafile soll es zudem ermöglichen, Sprachmodelle auch ohne teure Grafikkarte und mit gewöhnlicher CPU lokal zu nutzen.

Was ist Ihre Strategie?

Für Unternehmen und Organisationen im Bildungsbereich wird es immer wichtiger, sich informiert und reflektiert mit Künstlicher Intelligenz auseinanderzusetzen und eine eigene KI-Strategie zu etablieren.

Sie wollen den MC-Test zu dieser Lerneinheit auf Moodle absolvieren? Tipp: Erstellen Sie ein Transkript, um alle Informationen aus dem Video auf einen Blick zu haben. Wie das mit dem KI-Tool Video Highlight geht, erfahren Sie in der dritten Lerneinheit der KI-Serie.