Gesamtziel
Mit Hilfe von LLM unterstützten Chatbots sollen Support, Personalwesen, Ausschreibungen und allgemeines Firmenwissen unterstützt werden. Die Effizienz von Mitarbeiter*innen soll erhöht werden. Fachpersonal kann unterstützt werden. Wissen von Mitarbeiter*innen, die die Firma verlassen, soll erhalten werden. Hierbei soll durch Self-Hosting eine hohe Daten- und Informationssicherheit gewährleistet werden. Zusätzlich soll durch den Einsatz von kleinen LLMs der Ressourcenbedarf minimiert werden.
Die rasante Entwicklung von Large Language Models (LLMs) bietet kleinen und mittelständischen Unternehmen (KMU) neue Möglichkeiten, Prozesse zu automatisieren und die Effizienz zu steigern. Besonders spannend ist hierbei das Konzept des Fine-Tuning von LLMs auf regionaler Infrastruktur, wodurch sich Unternehmen mehr Unabhängigkeit von großen US-amerikanischen Cloud-Anbietern bewahren können. In diesem Kontext gilt es nicht nur, Datenschutzstandards zu wahren, sondern auch nachhaltige und ressourcenschonende IT-Lösungen zu implementieren.
Gesellschaftliche und rechtliche Ziele
Förderung des Datenschutzes und der Datensicherheit
Ein zentrales Ziel ist die Entwicklung einer Lösung, die höchsten Datenschutzanforderungen entspricht und die Datenhoheit bei den Unternehmen bewahrt. Durch die Unabhängigkeit von globalen Cloud-Diensten wird eine hohe Informationssicherheit erreicht, was Vertrauen bei den Anwendern schafft und den Standort Baden-Württemberg als Vorreiter in datenschutzkonformer Digitalisierung stärkt.
Nachhaltigkeit und Ressourcenschonung
Das Projekt soll eine ressourcenschonende IT-Infrastruktur aufbauen, die den CO₂-Fußabdruck reduziert und zu den Klimaschutzzielen beiträgt.
Stand der Technik
Der Betrieb von LLMs erfolgt meist über internationale Cloud-Anbieter wie AWS, Microsoft Azure oder Google Cloud, was Datenschutz- und Nachhaltigkeitsbedenken aufwirft. Open-Source-Alternativen wie Llama, Gemma und Mistral bieten jedoch die Möglichkeit, diese Modelle lokal und datenschutzkonform zu betreiben, was vor allem für kleine und mittelständische Unternehmen (KMU) vorteilhaft ist. Durch Fine-Tuning können sie gezielt angepasst werden und sind dadurch auch ressourcenschonend einsetzbar.
Mit zunehmendem Fokus auf Nachhaltigkeit sollen LLMs energieeffizienter gestaltet werden, um ihren CO₂-Fußabdruck zu reduzieren. Green-IT-Ansätze und spezialisierte Modelle werden dabei erforscht, um die Rechenressourcen zu optimieren. Gleichzeitig bleibt Innovationsbedarf, insbesondere im Bereich der datenschutzkonformen Implementierung und der Entwicklung angepasster, ressourcenschonender Modelle, die ohne große Cloud-Dienste auskommen. Solche Entwicklungen würden es europäischen KMUs ermöglichen, leistungsfähige LLMs unter Einhaltung von Datenschutz- und Nachhaltigkeitsstandards zu nutzen, was breitere Anwendungen in betrieblichen Abläufen ermöglicht.
Mehr Informationen zum Stand der Technik
Previews zum Chatbot
Und wer gleich mal loslegen will findet unter Beispiele die ersten Previews zum Chatbot.
