Rückblick KI Connect "Lokale KI im Unternehmen: Effizienz und Performance kompakter Modelle"

Beim vergangenen KI Connect vom 28. April 2026 drehte sich alles um die Frage, wie sich leistungsfähige lokale KI-Modelle effizient und handhabbar im Unternehmenskontext einsetzen lassen.

Michel Reichardt von der LEG Thüringen machte eingehend deutlich, welche Entwicklungspfade sich hinsichtlich der Modellkompression in Zukunft für Thüringen ergeben: von energieeffizienten, dezentralen KI-Anwendungen über souveräne KI-Architekturen zur stärkeren Rolle als Transferstandort für industrielle KI und Edge-Ökosysteme.

Anschließend beleuchtete Prof. Dr. Christian Erfurth die technischen Grundlagen der Modellkompression. Die Verfahren Quantisierung, Pruning und Knowledge Distillation wurden anhand zentraler Leistungskennzahlen eingeordnet und hinsichtlich ihrer praktischen Relevanz für ressourcenschonende KI diskutiert.

Abgerundet wurden die Perspektiven mit dem konkreten Einblick in die Unternehmenspraxis durch Dr. Martin Schiele von AIUI. Er zeigte auf, wie kompakte Sprachmodelle bereits heute produktiv eingesetzt werden können: etwa im Wissensmanagement, in der Prozessautomatisierung oder in RAG-Systemen. Gleichzeitig wurden typische Herausforderungen und Erfolgsfaktoren bei der Umsetzung deutlich.

Innerhalb der Diskussion war ein zentraler Punkt, wie Modelle so optimiert werden können, dass sie auf vorhandener Hardware lauffähig sind. Dabei wurde auch deutlich, dass Unternehmen nicht zwangsläufig selbst aktiv werden müssen: Bereits quantisierte Modelle, beispielsweise über Plattformen wie Hugging Face, sind heute leicht zugänglich und ermöglichen einen schnellen Einstieg.

Neben technischen Fragen wurden auch praktische Herausforderungen adressiert: Welche Erfahrungen gibt es bereits aus Unternehmen? Wo liegen typische Hürden bei der Umsetzung? Und wie lassen sich Sicherheitsaspekte bewerten, etwa im Hinblick auf Datenabflüsse oder mögliche Verzerrungen (Bias)?

Insgesamt war die KI Connect eine wirklich gelungene Veranstaltung, mit einem Thema, dass viele Zuhörende angezogen hat. Wir freuen uns auf die weitere, produktive Zusammenarbeit mit den Thüringer KI-Akteuren.

Ein besonderer Dank gilt den Referenten für die fundierten Einblicke sowie allen Teilnehmenden für die engagierte und offene Diskussion.