Gesamtziel Lalamo

Einsatz von lokalen LLMs zur Förderung von Klimaschutz und Digitalisierung in KMU

Die gezielte Nutzung von lokal betriebenen Language Models (LLMs) ermöglicht es kleinen und mittelständischen Unternehmen (KMU), innovative und umweltfreundliche Lösungen zu implementieren, die dadurch den Klimaschutz stärken und digitale Transformation unterstützen. Ein besonders zukunftsweisender Ansatz liegt im lokalen Fine-Tuning von LLMs, das durch den Einsatz regionaler IT-Infrastruktur die Abhängigkeit von großen Cloud-Anbietern verringert. Mit dem Projekt Lalamo soll eine nachhaltige und datenschutzfreundliche digitale Lösungen für Chatbots auf Basis von LLMs erstellt werden, die die Klimaziele und Wettbewerbsfähigkeit unterstützt.

Mehrwert für den Klimaschutz durch Digitalisierung

Der regionale Betrieb und die gezielte Optimierung von LLMs bieten klare Vorteile im Bereich Klimaschutz. Der Verzicht auf energieintensive, globale Cloud-Infrastrukturen und die Umsetzung optimierter, ressourcenschonender KI-Modelle senkt den Energieverbrauch erheblich. KMU profitieren dadurch von einer nachhaltigen Digitalisierung, die auf Effizienz und Kostensenkung abzielt, ohne dass die Vertraulichkeit und Sicherheit ihrer Daten beeinträchtigt wird.

Lokale LLMs und ihr Potenzial für KMU-Workflows

Anwendungsbereiche für LLM in KMU sind vielfältig und bieten die Möglichkeit, durch Automatisierung und smarte Lösungen den Ressourcenverbrauch zu senken und Prozesse zu beschleunigen:

• Support: LLMs können zur Bearbeitung einfacher Kundenanfragen, zur Wissensdatenbankerstellung und als Chatbots eingesetzt werden, um die Kundenbindung und Effizienz zu verbessern. KI-gestützte Chatbots und automatisierte Wissensdatenbanken verbessern die Kundenbetreuung und entlasten Mitarbeitende.

• Wissensmanagement: Die automatische Strukturierung und Aufbereitung von unternehmensinternem Wissen erleichtert den Zugang zu Informationen und stärkt die Wissensbasis. Durch die Nutzung interner Daten in LLMs wird das Unternehmenswissen effizienter strukturiert und einfacher für Mitarbeiter*innen zugänglich. Durch die Einpflege von Fachwissen der Mitarbeiter*innen wird dieses im Unternehmen erhalten und für zukünftige Generationen abrufbar sein.

• Personalwesen: Von der Verwaltung der Personalakte bis zur Durchführung des Bewerbungsprozesses können LLMs verschiedene HR-Workflows optimieren und Routineaufgaben automatisieren und die Personalabteilung unterstützen.

• Ausschreibungen/Förderungen: Auch bei der Teilnahme an Ausschreibungen und Förderungen kann LLM unterstützen. Ausschreibungsdokumente können strukturiert bearbeitet werden.

Unabhängigkeit von internationalen Cloud-Anbietern zur Einhaltung von Datenschutz- und Klimazielen

Viele LLM-Dienste erfordern derzeit eine Abhängigkeit von großen internationalen Cloud-Anbietern, deren Standorte und Energiepraktiken nicht immer mit europäischen Datenschutzstandards und Klimazielen vereinbar sind. Durch den Einsatz lokaler Open-Source-Modelle (z. B. Llama, Gemma, Mistral uvm.) wird optimaler EU Datenschutz und eine hohe Daten- und IT-Sicherheit ermöglicht. Durch die Verwendung kleiner Modelle wird die IT-Nachhaltigkeit gestärkt.

Benchmarking und Evaluation für Nachhaltigkeit

Ein wesentlicher Teil des Projekts ist die vergleichende Evaluation und das Benchmarking verschiedener LLM-Ansätze in Bereichen wie Support, Personalverwaltung und Wissensmanagement. Durch die Zusammenarbeit mit dem Experten Prof. Dr. Seon-Su Kim können diese Untersuchungen einen umfassenden Überblick über die Effizienz und Nachhaltigkeit der eingesetzten Modelle bieten und die Entwicklung weiterer smarter Lösungen für den Klimaschutz in KMU unterstützen.

Datenschutzproblematik bei US-Cloud-Anbietern

Ein zentrales Hindernis für KMU beim Einsatz von Cloud-basierten LLMs ist die Abhängigkeit von großen, überwiegend US-amerikanischen Anbietern, wie Amazon Web Services, Microsoft Azure oder Google Cloud. Diese Abhängigkeit wirft Fragen des Datenschutzes und der Datensicherheit auf, da Daten häufig in Regionen gespeichert und verarbeitet werden, die nicht den strengen europäischen Datenschutzrichtlinien der DS-GVO entsprechen.

Kleine Open-Source LLM im Self-Hosting

Die Verfügbarkeit von Open-Source LLMs wie Llama, Gemma und Mistral bietet die Möglichkeit, diese Modelle auf eigenen Servern zu betreiben und auf spezifische Aufgaben hin zu optimieren. Durch gezieltes Fine-Tuning können diese LLMs auch ohne große Cloud-Anbindung leistungsfähig sein und für viele Anwendungen ausreichen, ohne dass immense Rechenleistung nötig ist. Hierbei entsteht nicht nur eine datenschutzkonforme Lösung, sondern auch eine Möglichkeit, IT-Ressourcen nachhaltiger und kosteneffizienter zu nutzen.

Nachhaltigkeit und Green IT

Die nachhaltige Nutzung von LLMs, die auf lokalen Servern laufen, trägt zu einer Reduzierung des ökologischen Fußabdrucks bei. Durch das gezielte Fine-Tuning können kleinere, auf die jeweilige Anwendung optimierte Modelle effizienter arbeiten, was den Energieverbrauch senkt und die Ressourcen schont. Green IT-Aspekte spielen in Zeiten des Klimawandels eine immer wichtigere Rolle und sind ein weiterer Vorteil regionaler Infrastruktur.

Benchmarking für KMU spezifische Anwendungsfälle

Um die beste Lösung für verschiedene Szenarien zu finden, muss ein umfassendes Benchmarking durchgeführt werden. Bei diesem werden verschiedene Anwendungsszenarien (z. B. Support, Personalwesen) auf Leistungsfähigkeit, Datenschutz und Energieverbrauch hin geprüft und verglichen. Hierbei ist ein Vergleich mit externen Anbietern wie ChatGPT von OpenAI sinnvoll, um festzustellen, in welchen Bereichen lokale LLMs genauso leistungsfähig oder gar überlegen sind.

Eine Kooperation mit der DHBW Mosbach wird dabei helfen, den Nutzen, die Effizienz und Akzeptanz verschiedener LLM-Lösungen empirisch zu bewerten und praxisnahe Empfehlungen für KMU abzuleiten.

Bedeutung der Einhaltung von Berechtigungen und Zugriffssteuerung

Die gezielte Steuerung von Berechtigungen ist essenziell für den Datenschutz und die Sicherheit sensibler Unternehmensdaten, besonders in Bereichen wie Personal- und Wissensmanagement. In Lalamo wird hierzu das bewährte Content-Management-System EGOCMS integriert, das seit über 25 Jahren erfolgreich im Einsatz ist und umfassende Funktionen zur Verwaltung von Dokumentenzugriffen bietet. EGOCMS ermöglicht detaillierte Berechtigungseinstellungen, die sicherstellen, dass Informationen nur für autorisierte Personen zugänglich sind und vertrauliche Inhalte DSGVO-konform verwaltet werden. So gewährleistet Lalamo eine sichere, präzise Zugriffskontrolle, die Vertrauen schafft und die Effizienz in der Informationsverwaltung steigert.

Leuchtturmeffekt und Modellcharakter für KMU in der Region

Das Projekt hat das Potenzial, als Leuchtturm für kleine und mittelständische Unternehmen (KMU) in der Region zu dienen, die ebenfalls auf datenschutzfreundliche, nachhaltige und anpassbare IT-Lösungen setzen möchten. Durch die Entwicklung und Erprobung einer unabhängigen Infrastruktur zur Nutzung von Large Language Models (LLMs) wird ein zukunftsweisendes Beispiel geschaffen, das verdeutlicht, wie KMU auf innovative Weise leistungsfähige KI-Anwendungen implementieren können – und das ohne die Abhängigkeit von großen internationalen Cloud-Anbietern.

Zielsetzungen: Nachhaltigkeit, Datenschutz und Sicherheit

Ziel der Implementierung regionaler LLMs in KMU ist es, Prozesse zu optimieren, dabei jedoch stets europäische Datenschutz- und Sicherheitsanforderungen zu erfüllen und gleichzeitig Ressourcen effizient zu nutzen. Vor diesem Hintergrund bieten lokal betriebene LLMs den Vorteil, dass sie regionales Wissen und spezifische Unternehmensdaten direkt einbinden und verarbeiten können, ohne dass Informationen das Unternehmen verlassen.

Zusammenfassung und Ausblick

Lokal betriebene, optimierte LLMs für KMU bieten zahlreiche Vorteile: Die Unabhängigkeit von Cloud-Anbietern und die damit verbundene Einhaltung von Datenschutzstandards, eine gesteigerte Nachhaltigkeit und die gezielte Verbesserung von Workflows in verschiedenen Geschäftsbereichen. Eine vergleichende Untersuchung dieser Möglichkeiten, unterstützt durch Marktforschungsexpertise, könnte KMU gezielt helfen, die Potenziale von LLMs optimal zu nutzen und so die Basis für ein datenschutzkonformes, nachhaltiges und zukunftsfähiges Geschäftsmodell zu legen.