Die Übersetzung in der Box in der rechten Spalte wird auf einem Raspberry Pi 5 ausgeführt, der über ein virtuelles Netzwerk (VPN) mit dem Web-Server verbunden ist. Ein Raspberry Pi 5 ist ein Einplatinen-Computer mit der Leistungsfähigkeit eines ca. 5 Jahre alten PCs und damit auch einem geringen Strombedarf (Leistungsaufnahme unter Volllast knapp 9W). 

Die hier gezeigte Anwendung dient der Demonstration, dass auch hochwertige Sprachmodelle (hier: translategemma von Google) energieeffizient mit akzeptabler Performance lokal eingesetzt werden kann. Die Performance ist dabei einfach skalierbar, wirkt sich aber direkt auf den Energieverbrauch aus.

Der Aufbau hier eignet sich hervorragend für die automatisierte Übersetzung von Web-Inhalten ("Batch-Processing"), bei der im Hintergrund die Übersetzungen nicht zeitkritisch ablaufen. 

Wozu der Aufwand? Warum nicht in der Cloud ?

Lokal installierte KI-Sprachmodelle ("on-premise LLMs") sichern die digitale Souveränität, weil alle Daten in der eigenen Infrastruktur bleiben und nicht an Cloud-Anbieter (i.d.R. in den USA) übertragen werden. Vertrauliche Informationen, die als Eingaben ("Prompts") oder hochgeladenen Dokumente / E-Mails an externe KI-Dienste wie ChatGPT, MS Copilot etc.gesendet werden, können auch für das Training diese Modelle genutzt werden und damit als neues "Wissen" in zukünftige Versionen einfließen.