Lokale KI mit Open WebUI
Das Thema künstliche Intelligenz fasziniert mich schon lange. Besonders interessant finde ich heute die Möglichkeit, leistungsfähige Sprachmodelle nicht nur über Cloud-Dienste, sondern auch vollständig auf eigener Hardware zu betreiben.
Mit Ollama und Open WebUI betreibe ich verschiedene Sprachmodelle lokal auf einem Ubuntu-System mit 16 GB Grafikspeicher und 128 GB Arbeitsspeicher. Dadurch lassen sich unterschiedliche Modelle, Einstellungen und Einsatzmöglichkeiten unabhängig ausprobieren.
Die Umgebung wurde inzwischen um weitere Dienste wie SearXNG für die Websuche und RAGFlow als Wissensspeicher erweitert. Zusätzlich experimentiere ich mit KI-Agenten und eigenen Werkzeugen, beispielsweise zur automatisierten Arbeit mit meinem DokuWiki.
Für mich liegt gerade darin das interessante Potenzial lokaler KI: Sprachmodelle nicht nur als Chat zu verwenden, sondern sie mit eigenen Daten, Werkzeugen und Diensten zu verbinden und daraus praktische Anwendungen zu entwickeln.
