Im November letzten Jahres haben wir nach einer dreijährigen Laufzeit das CoyPu-Projekt (Cognitive Economy Intelligence Plattform für die Resilienz wirtschaftlicher Ökosysteme) erfolgreich abgeschlossen, das sich mit bestehenden krisenbezogenen Herausforderungen aus Perspektive der deutschen Wirtschaft und deren Bewältigung mittels KI und vernetzter Datentechnologie beschäftigt hat.
Auf unserer Projektwebsite haben wir jetzt einen zusammengefassten Bericht des Projektes veröffentlicht.
Darin sind im ersten Teil die Projektziele und die Projektplanung mit der Aufgabenstellung, Voraussetzungen für die Durchführung sowie mit dem detaillierten Ablauf beschrieben. Im zweiten Teil können neben der Zusammenfassung der förderpolitischen Ziele auch die Ergebnisse und Inhalte der neun Arbeitspakete im Einzelnen nachvollzogen werden.
Grafik 1: Überblick zu den 4 betrachteten Task-Typen: Text2Sparql (T2S), Text2Answer (T2A), Sparql2Answer (S2A) und SparqlSyntaxFixing (SSF)
Unser bereits als Preprint veröffentlichter Artikel „Assessing SPARQL capabilities of Large Language Models“ (Lars-Peter Meyer, Johannes Frey, Felix Brei und Natanael Arndt 2024) ist nun offiziell veröffentlicht in den Proceedings des Workshop „NLP4KGC: 3rd International Workshop on Natural Language Processing for Knowledge Graph Creation in conjunction with SEMANTiCS 2024 Conference”. Wir stellen dort eine Ergänzung des LLM-KG-Bench-Frameworks vor, mit der die SPARQL-Fähigkeiten von großen Sprachmodellen (englisch: Large Language Modells, kurz: LLMs; englisch: Knowledge Graph, kurz: KG, deutsch: Wissensgraph) automatisiert gemessen werden können. Das LLM-KG-Bench-Framework ist ein am InfAI e. V. entwickeltes Werkzeug zum automatisierten Bewerten der Fähigkeiten von LLMs mit Wissensgraphen umzugehen. Wenn LLMs besser mit Wissensgraphen umgehen können, würden LLMs vielleicht weniger halluzinieren sowie die Arbeit mit Wissensgraphen für Menschen erleichtern können.
Das automatisierte Messen hilft dabei neue LLMs für fachspezifische Aufgaben objektiv einordnen zu können. Und durch die Automatisierung können viele Messwiederholungen durchgeführt werden, um trotz dem nichtdeterministischen Antwortverhalten von LLMs verlässliche Ergebnisse zu erhalten.
In der Welt von RDF-Wissensgraphen ist SPARQL die gebräuchlichste Schnittstelle und Abfragesprache. Deshalb geht es bei der nun vorgestellten Untersuchung um die Syntax und Semantik von SPARQL SELECT Anfragen. Diese wurden beispielhaft für insgesamt neun LLMs von OpenAI, Anthropic und Google gemessen. Basierend auf den in Grafik 1 dargestellten 4 Aufgabentypen wurden 13 verschiedene Aufgabenvarianten zu fünf verschiedenen Wissensgraphen betrachtet.
Grafik 2: Auszug aus dem Artikel mit Ergebnissen für den Bereich Text2Sparql(T2S). Die Ergebnisse sind als Boxplots gezeigt mit Kreuzen für einzelne Messwerte und Kreisen für den Mittelwert. Bei dem Score bedeutet 1 ein optimales Ergebnis, ein Score von 0,2 bedeutet ein syntaktisch richtiges aber semantisch falsches Ergebnis, ein Score von 0 wird bei Syntaxfehler vergeben. Für weitere Ergebnisse und Erläuterungen sei auf den vollständigen Artikel verwiesen.
Zentrales Ergebnis unserer Arbeit ist: Zwischen den einzelnen Aufgaben und LLMs gibt es große Unterschiede. Zusammenfassend kann man sagen, dass die besten der untersuchten aktuellen LLMs kaum Schwierigkeiten mit der Syntax haben, jedoch bei semantischen Aufgaben auf Herausforderungen stoßen. Für Details sei auf den frei verfügbaren Artikel und Repositorien verwiesen.
Die Arbeit wurde über verschiedene Projekte am InfAI e. V. gefördert: StahlDigital, ScaleTrust, KISS — KI-gestütztes Rapid Supply Network, CoyPu — Cognitive Economy Intelligence Plattform für die Resilienz wirtschaftlicher Ökosysteme.
Der Code zum LLM-KG-Bench-Frameworks ist bei Github sowie Zenodo zu finden und die vollständigen Ergebnisse wurden bei GitHub und Zenodo veröffentlicht.
Am 26. November waren wir von 10 bis 15 Uhr mit dem CoyPu-Projekt beim Abschlusstreffen in den Räumen von ScaDS.AI Leipzig im Löhrs Carré.
Das Programm bot einen breitgefächerten Einblick in das Projekt. Nach einer Begrüßung gab Prof. Dr. Michael Martin eine Zusammenfassung des Projektes seit Beginn der Laufzeit, gefolgt von einem Überblick über die CoyPu-Kerndateninfrastruktur von Kurt Junghanns.
In den einzelnen Sessions präsentierten die Forschungspartner außerdem ihre Demonstratoren — unter anderem Claus Stadler mit der Präsentation “InfAI Coypu Demos” und Sebastian Tramp mit “eccenca Corporate Memory”. Weitere Demonstratoren wurden von den Forschungspartnern L3S Research Center, TIB, Hitec, DIW, Siemens, DATEV, Infineon und Implisense präsentiert.
Nach einem weiteren Programmpunkt zu rechtlichen Aspekten im CoyPu-Projekt von Frank Ingenrieth (SRIW) folgte die finale Session mit einer Präsentation über den Resilience Mesh von Prof. Dr. Michael Martin und mit abschließenden Dankesworten der Vertreterin vom Projektträger Deutsches Zentrum für Luft- und Raumfahrt (DLR) Petra Post.
Wir freuen uns über die zahlreiche Teilnahme an der spannenden Abschlussveranstaltung des CoyPu-Projektes.
Am 7. und 8. Oktober waren wir mit dem CoyPu-Projekt bei den Tagen der digitalen Technologien 2024 im bcc Berlin Congress Center, wo Mitarbeitende das Projekt präsentiert haben.
Die Tage der digitalen Technologien, eine Veranstaltung des Bundesministeriums für Wirtschaft und Klimaschutz (BMWK), standen dieses Jahr unter dem Motto “Transformation durch Innovation — nachhaltig, souverän, vernetzt” und beschäftigten sich mit den Themen Digitalisierung, Nachhaltigkeit und Innovation.
An zwei Tagen wurden Fragen, wie zum Beispiel die erfolgreiche Integration neuer digitaler Technologien in die unternehmerische Praxis oder welche Chancen generative KI dem Mittelstand bietet, umfassend diskutiert.
Am CoyPu-Stand haben sich während der Veranstaltungstage die Partner InfAI, Infineon, L3S Research Center sowie DATEV präsentiert. Außerdem hat Prof. Dr. Michael Martin am zweiten Veranstaltungstag am Fachforum “Digitale Plattformen und Ökosysteme zum Erfolg bringen” teilgenommen.
Wir freuen uns, dass wir Teil dieser spannenden Veranstaltung waren, welche neben spannenden Diskussionen und Präsentationen auch eine ideale Gelegenheit für Vernetzung und Austausch bot. Das komplette Programm kann hier noch einmal nachgelesen werden.
Weitere Informationen zur Veranstaltung sind auf der Website zu finden.
Michael Martin (InfAI) und Ahmad Sakor (L3S, TIB)
Am 15. April haben wir im Rahmen der Data Week Leipzig mit dem CoyPu-Projekt einen Workshop zur Krisenresilienz organisiert. Verschiedene Projekte aus dem 3. Förderaufruf des KI-Innovationswettbewerbs vom BMWK haben vielseitige Anwendungsfelder und Demonstratoren vorgestellt. In dem 90-minütigen Workshop konnten wir mit drei Vorträgen einen Einblick in die Einsatzmöglichkeiten der entstehenden Dashboards und Plattformen geben und darüber hinaus bereits fertige Arbeitsergebnisse präsentieren.
Eröffnet wurde die Vortragsreihe durch Fatih Kilic (Institut für Angewandte Informatik e.V.) und Julia Lücke (German Institute for Economic Research (DIW Berlin)), die über “Risiken von Lieferkettenabhängigkeiten regionaler Wirtschaftsräume erkennen — Dashboard für die Resilienz der sächsischen Wirtschaft” sprachen.
Anknüpfend daran folgte der Beitrag “Von globalen Netzwerken zur lokalen Resilienz: Verständnis der Lieferkettenkomplexität in Notfallsituationen” von Paul Geoerg (Vereinigung zur Förderung des Deutschen Brandschutzes e.V.). Anhand von praxisnahen Beispielen erläuterte er dabei die Problematik der mangelnden Transparenz und die damit verbundenen Schwachstellen in globalen Lieferketten, welche in den aktuellen Zeiten globaler Krisen deutlich werden.
Im dritten und letzten Vortrag sprach Rolf Fricke (Condat) über das Projekt ResKriVer, wobei er das Thema “Social Media Monitoring für Leitstellen und Krisenstäbe” beleuchtete. Der Fokus lag in seiner Präsentation auf der Relevanz des Social Media Monitorings, welches in Krisenzeiten dabei helfen soll, Probleme in betroffenen Gebieten zu erkennen und konkrete Maßnahmen veranlassen zu können.
Wir freuen uns, dass wir mit unserem Workshop Teil der Data Week Leipzig waren und mit unseren Projekten einen breitgefächerten Einblick in das Thema Krisenresilienz geben konnten.
Wir bedanken uns bei allen Vortragenden und Teilnehmenden für den spannenden Workshop.
Am 27. November 2023 haben wir in Berlin beim Deutschen Zentrum für Luft- und Raumfahrt e.V. an einer spannenden Veranstaltung zur Vereinbarkeit von Recht und Praxis im Forschungsprojekt CoyPu teilgenommen. Diese ganztägige Veranstaltung „KI – Krisenresilienzplattformen: Chancen und Herausforderungen“ wurde vom Selbstregulierung Informationswirtschaft e.V. (SRIW) organisiert und bot einen Überblick über das Krisenresilienzprojekt Cognitive Economy Intelligence Plattform für die Resilienz wirtschaftlicher Ökosysteme (CoyPu). Im Laufe des Fachtages wurden in verschiedenen Keynotes und Paneldiskussionen datenschutzrechtliche Fragestellungen im Kontext von KI-basierten Krisenresilienzplattformen thematisiert. Themenschwerpunkte waren unter anderem die aktuellen Entwicklungen der EU – Gesetzesvorhaben im Bereich KI sowie Verhaltensregeln als Chance für die Praxis. Diskutiert wurden außerdem Fragen nach der Herausforderung bei der Verwendung von KI im Datenschutz und nach der Anonymisierung und Pseudonymisierung von Daten.
Agenda
Es waren hochkarätige Rechtsexpert:innen aus den Bereichen Forschung und Wirtschaft anwesend, wie beispielsweise Dr. Thomas Nietzsche (Partner, K&L Gates), Frederik Richter, LL.M. (Stiftung Datenschutz, Vorstand), Rebekka Weiß, LL.M. (Bitkom e.V., Leiterin Vertrauen & Sicherheit) sowie Jörn Wittmann (Volkswagen AG, Head of Privacy Legislative Strategy & Public Affairs). Eröffnet wurde das Meeting durch das Grußwort von Herrn Dr. Klaus Glasmacher vom BMWK — Bundesministerium für Wirtschaft und Klimaschutz. Danach hat unser Mitarbeiter Kurt Junghanns die Keynote „Vorstellung des Krisenresilienzprojekts CoyPu“ gehalten und eine allgemeine Einführung zum Projekt gegeben. Anschließend folgten die Keynote-Präsentationen „Krisenresilienz im Mittelpunkt von KI-Plattformen“, „Resilienzmanagement aus Unternehmensperspektive“ und „Methodik und Herausforderung bei der Identifizierung rechtlicher Fragestellungen im Rahmen des Projektes“. Nach der Mittagspause fanden drei Paneldiskussionen mit interessanten Gesprächsrunden zu den Fragestellungen „KI quo vadis?“, „Datenschutz — Fluch oder Segen für KI-Systeme?“ und dem Thema „Pseudonymisierung und Anonymisierung von Daten“ statt.
Wir bedanken uns beim SRIW e.V. und allen Teilnehmenden und Organisator:innen für den spannenden Veranstaltungstag.
