Interne AI-Plattform mit OpenWebUI

Eine interne AI-Plattform aufbauen – klingt nach großem Projekt?

Unsere Erfahrung zeigt: Es geht auch pragmatisch, Schritt für Schritt – und trotzdem mit klarer Strategie. Entscheidend ist, von Anfang an die richtigen Fragen zu stellen: Wie lässt sich Datenschutz und EU-Hosting konsequent sicherstellen? Wie bleiben Kosten transparent, auch wenn die Nutzung steigt? Und wie schafft man Akzeptanz im Unternehmen, sodass die Plattform nicht nur existiert, sondern auch aktiv genutzt wird?

Genau dafür haben wir bei eggs unimedia OpenWebUI eingeführt – angebunden an Amazon Bedrock und Azure, ins Unternehmens-SSO integriert und überwacht über CloudWatch plus ein eigenes Kosten-Dashboard. Von Support bei der Software-Entwicklung bis zum HR-Chatbot: Die Einsatzfelder wachsen kontinuierlich, ohne dass Kundendaten kompromittiert werden. Aktuell basteln wir zusätzlich an einem automatischen Prompt-Routing, das künftig für noch mehr Komfort sorgen soll.

Nutzerakzeptanz: Breite Nutzung und klare Mehrwerte

OpenWebUI ist bei uns kein Nischen-Tool, sondern wird vom Großteil der Belegschaft aktiv genutzt. So sind zwei Drittel der Mitarbeitenden in München und Cluj bereits registriert, und über ein Viertel der Belegschaft bei eggs nutzt es täglich. Das zeigt: Die Plattform ist im Arbeitsalltag angekommen.

Während größere Unternehmen meist eigene AI-Systeme haben, nutzen wir OpenWebUI hauptsächlich intern und – wenn freigegeben – auch bei kleineren Unternehmen, die selbst keine KI-Infrastruktur betreiben.

Die Einsatzfelder sind vielfältig: Das Entwicklerteam nutzt es, um technische Konzepte zu verstehen, bestehenden Code zu verbessern oder komplexe Fehlermeldungen schneller zu analysieren. Marketing- und Sales-Teams entwerfen Texte oder bereiten Marktanalysen vor. Projektverantwortliche profitieren bei Präsentationen oder Kommunikationsentwürfen. Selbst die HR-Abteilung setzt es produktiv ein: Ein Chatbot beantwortet häufige Fragen und entlastet das Team im Tagesgeschäft.

false

Diese breite Akzeptanz kommt nicht von selbst. Entscheidend ist, dass die User den direkten Mehrwert im Arbeitsalltag spüren. Ob Zeit bei Routineaufgaben sparen, schneller zu besseren Entwürfen kommen oder interne Prozesse wie HR-Anfragen vereinfachen – die Plattform schafft spürbare Entlastung. Das sorgt für die Dynamik beim Nutzungsanstieg, die wir gerade beobachten.

Tech-Setup: Modelle, Routing und Integration

Die technische Basis ist bewusst breit aufgestellt. Über Amazon Bedrock in Frankfurt stehen verschiedene Amazon-Nova-Varianten zur Verfügung (Micro, Lite, Pro). Dazu kommen Modelle von Anthropic (Claude 3 bis 4), Mistral Pixtral sowie die OpenAI-Modelle GPT-4o, GPT-4o-mini und die Reasoning-Modelle o3-mini und o4-mini. Die sind teilweise leistungsfähiger bei komplexen Aufgaben als GPT-4o. So können User das passende Modell für ihre Aufgabe wählen – vom schnellen Ideenscout bis zur tiefgehenden Analyse.

Die Integration ins Unternehmens-SSO läuft reibungslos, alle Teammitglieder melden sich mit ihren gewohnten Zugangsdaten an. Für Betrieb und Monitoring setzen wir auf AWS CloudWatch: Hier laufen Logs, Nutzungsmetriken und Systemalarme zusammen. Auch das Kosten-Dashboard greift auf diese Basis zurück – mehr dazu später.

Gerade arbeiten wir an automatischem Prompt-Routing. Man kann weiterhin das gewünschte Modell manuell wählen – muss aber nicht mehr. Ähnlich der „Auto"-Funktion von OpenAI’s ChatGPT 5 entscheidet dann das System, ob eine Anfrage besser an ein günstiges Modell oder an ein leistungsstarkes wie Claude geht. Diese Funktion soll den Alltag deutlich komfortabler machen und wird in einem eigenen Beitrag ausführlich vorgestellt – inklusive technischer Details und Tutorial zum Nachbauen.

Governance & Datenschutz: EU-first und klare Policies

Datenschutz und Datensouveränität stehen bei uns ganz oben. Deshalb setzen wir konsequent auf EU-gehostete Infrastruktur. Amazon Bedrock läuft ausschließlich aus Frankfurt, Azure-Modelle in europäischen Rechenzentren. Für besonders sensible Fälle gibt's zusätzlich die Option, lokale Modelle zu integrieren – interne Guides zeigen, wie das geht. Teams haben also die Wahl: maximale Performance in der Cloud oder maximale Kontrolle on premise.

Grundlage ist eine klare Datenklassifizierung nach gängigen Standards (Public, Internal, Confidential, Restricted). Vertrauliche Daten wie Preisinformationen zählen zu Confidential, besonders schützenswerte Infos zu Restricted. Nur für letztere gelten strengere Beschränkungen.

Wichtig bei Kundendaten: Wir setzen auf ein Opt-out-Prinzip. Wenn Kunden die Verarbeitung mit KI nicht wollen, respektieren wir das natürlich und schließen diese Daten aus. So bleibt die Entscheidung transparent und bei den Kunden.

Für die Zukunft ist die geplante AWS European Sovereign Cloud interessant. Diese in Deutschland geplante Infrastruktur soll Ende 2025 starten und komplett durch EU-Personal betrieben werden. Alle Daten bleiben in der EU, die Cloud wird durch eine eigenständige europäische Gesellschaft geführt, ohne bestimmenden US-Einfluss. Entscheidungen zu Betrieb und Sicherheit liegen vollständig in europäischer Hand. Das bietet Unternehmen mit hohen Souveränitätsanforderungen eine starke Option. Wir bereiten uns schon vor, um Workloads nahtlos verlagern zu können.

Kostenkontrolle: Transparenz und Forecasts im Alltag

KI bringt neue Kostenmodelle mit sich. Damit die nicht ausufern, haben wir früh ein eigenes Kosten-Dashboard gebaut. Basis ist CloudWatch – darüber erfassen wir Gesamtkosten pro Modell und visualisieren sie. So sehen wir jederzeit, welche Modelle wie stark genutzt werden und was das kostet. Bei wachsenden Nutzerzahlen sorgt diese Transparenz für Sicherheit.

Neben der Messung haben wir Schwellenwerte und Alerts etabliert. Überschreiten Modelle oder die Gesamtnutzung festgelegte Budgets, werden Verantwortliche automatisch benachrichtigt. Zusätzlich nutzen wir die Forecast-Funktionen von AWS, um Trends frühzeitig zu erkennen. So sehen wir, ob ein Monatsbudget in Gefahr ist und können rechtzeitig gegensteuern. Die Limits sind bewusst großzügig – sie verhindern Missbrauch, ohne normale Arbeit auszubremsen.

Aktuell machen wir das Dashboard noch granularer. Geplant ist, künftig Token-Nutzung und Kosten pro User transparent darzustellen. So wird sichtbar, welche Modelle einzelne Kollegen wie oft verwenden – und was das kostet. Dieses Feintuning ist wichtig für den langfristig effizienten Betrieb. Gerade mit dem geplanten automatischen Routing ergeben sich dadurch zusätzliche Möglichkeiten, Kosten zu optimieren.

Lessons Learned: Einführung, Adoption und Priorisierung

Eine interne AI-Plattform einzuführen ist nicht nur technisch, sondern auch kommunikativ herausfordernd. Zentrale Erkenntnis: OpenWebUI ist so funktionsreich, dass User ohne Erklärung oft nur an der Oberfläche bleiben. Features wie gemeinsames Prompt-Sharing oder KI-gestützte Notizen entfalten erst ihren Mehrwert, wenn sie aktiv gezeigt werden. Deshalb braucht's Demos, Schulungen und regelmäßige Erinnerungen – reine Bereitstellung reicht nicht.

Rückblickend hätten wir den Rollout stärker priorisieren sollen. Mit mehr Sichtbarkeit auf Führungsebene und klaren Botschaften zur strategischen Bedeutung wäre der Start noch reibungsloser gelaufen. Auch ausführliche Workshops und kurze Video-Tutorials hätten geholfen, Einstiegshürden zu senken.

Aber: Die Investition in diese Lernkurve lohnt sich. Heute ist OpenWebUI ein fester Bestandteil unserer Arbeitsweise. Parallel entwickeln wir auch fortgeschrittene Chatbots mit RAG-Anbindung, die uns in unserer Soziokratie-3.0-Praxis unterstützen – einem Organisationsmodell für selbstorganisiertes Arbeiten, das wir bei eggs nutzen. Diese Bots helfen beim Formulieren von Treiber-Statements und Domänenbeschreibungen. Dazu berichten wir in einem eigenen Beitrag ausführlicher.

Fazit: Was Unternehmen mitnehmen können

OpenWebUI zeigt: Der Aufbau einer internen AI-Plattform lohnt sich, wenn Technik, Governance und Kostenkontrolle von Anfang an zusammengedacht werden. Für uns war entscheidend, EU-Hosting und Datenschutz konsequent umzusetzen, aber trotzdem breite Modellvielfalt und einfache Nutzung zu ermöglichen. Das Kosten-Dashboard sorgt dafür, dass der Betrieb auch bei wachsender Nutzung transparent bleibt. Genauso wichtig: kontinuierliche Kommunikation. Nur wenn Funktionen erklärt und erlebbar gemacht werden, entfalten Plattformen ihr volles Potenzial.

Die Botschaft für andere Unternehmen: Eine interne AI-Plattform muss nicht groß und komplex starten. Entscheidend ist, Schritt für Schritt Akzeptanz aufzubauen, Governance klar zu definieren und Kosten im Blick zu behalten. Wer diesen Weg frühzeitig geht, verschafft sich operative Vorteile und sammelt Erfahrungen für die nächste Generation souveräner Cloud-Angebote.

Neben der Messung haben wir Schwellenwerte und Alerts etabliert. Überschreiten Modelle oder die Gesamtnutzung festgelegte Budgets, werden Verantwortliche automatisch benachrichtigt. Zusätzlich nutzen wir die Forecast-Funktionen von AWS, um Trends frühzeitig zu erkennen. So sehen wir, ob ein Monatsbudget in Gefahr ist und können rechtzeitig gegensteuern. Die Limits sind bewusst großzügig – sie verhindern Missbrauch, ohne normale Arbeit auszubremsen.

Aktuell machen wir das Dashboard noch granularer. Geplant ist, künftig Token-Nutzung und Kosten pro User transparent darzustellen. So wird sichtbar, welche Modelle einzelne Kollegen wie oft verwenden – und was das kostet. Dieses Feintuning ist wichtig für den langfristig effizienten Betrieb. Gerade mit dem geplanten automatischen Routing ergeben sich dadurch zusätzliche Möglichkeiten, Kosten zu optimieren.

Lessons Learned: Einführung, Adoption und Priorisierung

Eine interne AI-Plattform einzuführen ist nicht nur technisch, sondern auch kommunikativ herausfordernd. Zentrale Erkenntnis: OpenWebUI ist so funktionsreich, dass User ohne Erklärung oft nur an der Oberfläche bleiben. Features wie gemeinsames Prompt-Sharing oder KI-gestützte Notizen entfalten erst ihren Mehrwert, wenn sie aktiv gezeigt werden. Deshalb braucht's Demos, Schulungen und regelmäßige Erinnerungen – reine Bereitstellung reicht nicht.

Rückblickend hätten wir den Rollout stärker priorisieren sollen. Mit mehr Sichtbarkeit auf Führungsebene und klaren Botschaften zur strategischen Bedeutung wäre der Start noch reibungsloser gelaufen. Auch ausführliche Workshops und kurze Video-Tutorials hätten geholfen, Einstiegshürden zu senken.

Aber: Die Investition in diese Lernkurve lohnt sich. Heute ist OpenWebUI ein fester Bestandteil unserer Arbeitsweise. Parallel entwickeln wir auch fortgeschrittene Chatbots mit RAG-Anbindung, die uns in unserer Soziokratie-3.0-Praxis unterstützen – einem Organisationsmodell für selbstorganisiertes Arbeiten, das wir bei eggs nutzen. Diese Bots helfen beim Formulieren von Treiber-Statements und Domänenbeschreibungen. Dazu berichten wir in einem eigenen Beitrag ausführlicher.

Fazit: Was Unternehmen mitnehmen können

OpenWebUI zeigt: Der Aufbau einer internen AI-Plattform lohnt sich, wenn Technik, Governance und Kostenkontrolle von Anfang an zusammengedacht werden. Für uns war entscheidend, EU-Hosting und Datenschutz konsequent umzusetzen, aber trotzdem breite Modellvielfalt und einfache Nutzung zu ermöglichen. Das Kosten-Dashboard sorgt dafür, dass der Betrieb auch bei wachsender Nutzung transparent bleibt. Genauso wichtig: kontinuierliche Kommunikation. Nur wenn Funktionen erklärt und erlebbar gemacht werden, entfalten Plattformen ihr volles Potenzial.

Die Botschaft für andere Unternehmen: Eine interne AI-Plattform muss nicht groß und komplex starten. Entscheidend ist, Schritt für Schritt Akzeptanz aufzubauen, Governance klar zu definieren und Kosten im Blick zu behalten. Wer diesen Weg frühzeitig geht, verschafft sich operative Vorteile und sammelt Erfahrungen für die nächste Generation souveräner Cloud-Angebote.