ETi bei der Extended Semantic Web Conference  in Portorož

Vom 1. bis zum 5. Juni 2025 war unser Mitar­beit­er Lars-Peter Mey­er bei der diesjähri­gen Extend­ed Seman­tic Web Con­fer­ence (ESWC) in Por­torož (Slowe­nien).

Die Extend­ed Seman­tic Web Con­fer­ence  ist eine inter­na­tionale wis­senschaftliche Kon­ferenz zu den The­men seman­tis­che Tech­nolo­gien und der Seman­tik des Webs, die jährlich an ver­schiede­nen Orten stat­tfind­et und das Ziel hat, Expert:innen aus Forschung und Prax­is zusammenzubringen. 

Lars-Peter Mey­er hat im Rah­men der Kon­feren­z­woche zwei Vorträge gehal­ten. Am 1. Juni stellte er den Beitrag unseres ETi-Teams zur inter­na­tionalen Text2Sparql’25-Challenge vor.

Am 5. Juni präsen­tierte er im zweit­en Vor­trag den Beitrag „LLM-KG-Bench 3.0: A Com­pass for Seman­tic Tech­nol­o­gy Capa­bil­i­ties in the Ocean of LLMs”. Außer­dem stellte Desiree Heim (DFKI Kaiser­slautern) am 2. Juni das Paper „How do Scal­ing Laws Apply to Knowl­edge Graph Engi­neer­ing Tasks? The Impact of Mod­el Size on Large Lan­guage Mod­el Per­for­mance” vor, bei welchem Lars-Peter Mey­er als Co-Autor mit­gewirkt hat.

Im Ergeb­nis hat unser ETi-Team am Son­ntag, 1. Juni, bei der Tex­t2S­par­ql-Chal­lenge sehr erfol­gre­ich abgeschnit­ten. Wir freuen uns sehr, dass wir bei zwei von drei Detail­w­er­tun­gen den ersten Platz bekom­men haben: für englis­che DBpe­dia und für den all­ge­meinen Cor­po­rate Graph. Deshalb haben wir in der Gesamtwer­tung den zweit­en Platz bekommen.

Wir freuen uns, dass wir erneut die Möglichkeit hat­ten, bei der ESWC dabei zu sein.

Neues Projekt: ReKlim

Wir freuen uns, den Beginn des Pro­jek­ts „Regiona­len­twick­lung und Energiev­er­sorgung unter Kli­maschutzre­strik­tio­nen (ReK­lim)“ bekan­nt­geben zu kön­nen. Gemein­sam mit mehreren Part­nern arbeit­en wir bis 2028 an der Entwick­lung nach­haltiger Trans­for­ma­tion­sp­fade für eine zukun­fts­fähige kom­mu­nale Energieversorgung.

Teil­vorhaben: Agen­ten­basierte Mod­el­lierung energiebe­zo­gen­er Investi­tion­sentschei­dun­gen in der kom­mu­nalen Wärmewende

Im Rah­men des ReK­lim-Pro­jek­tes unter­sucht das Teil­vorhaben des Insti­tuts für Ange­wandte Infor­matik (InfAI) e. V. die Entschei­dung­sprozesse und Investi­tion­sstrate­gien het­ero­gen­er Akteurs­grup­pen, die eine zen­trale Rolle bei der Wärmewende auf kom­mu­naler Ebene spie­len. Dazu gehören ins­beson­dere pri­vate Haushalte sowie Woh­nungs­bauge­sellschaften, deren Ver­hal­ten durch unter­schiedliche sozio-ökonomis­che und lebensstil­spez­i­fis­che Fak­toren geprägt ist.

Ziel ist es, mith­il­fe agen­ten­basiert­er Mod­el­lierung ein fundiertes Ver­ständ­nis für diese kom­plex­en Hand­lungslogiken zu entwick­eln. Damit sollen kom­mu­nale Strate­gien zur Dekar­bon­isierung der Energiev­er­sorgung bess­er auf die Bedürfnisse und Voraus­set­zun­gen der beteiligten Akteure abges­timmt wer­den können.

Eine zen­trale Grund­lage hier­für bildet die Weit­er­en­twick­lung der sozio-tech­no-ökonomis­chen Sim­u­la­tion­splat­tform IRP­Sim, die am InfAI in Koop­er­a­tion mit der Uni­ver­sität Leipzig konzip­iert wurde. IRP­Sim ermöglicht es, energiebe­zo­gene Trans­for­ma­tion­sszenar­ien effizient zu mod­el­lieren und zu analysieren. Dabei ste­hen unter anderem fol­gende Aspek­te im Fokus: die Bew­er­tung von Geschäftsmod­ellen und Preis­mech­a­nis­men, die Analyse von Tech­nolo­gieop­tio­nen hin­sichtlich ihrer Flex­i­bil­ität und Akzep­tanz sowie die Sim­u­la­tion der Auswirkun­gen reg­u­la­torisch­er Verän­derun­gen auf die Energieversorgung.

Mit ReK­lim leis­ten wir einen wichti­gen Beitrag zur wis­senschaftlich fundierten Gestal­tung nach­haltiger Infra­struk­turen – unter Berück­sich­ti­gung real­er Entschei­dungs­dy­namiken und im Ein­klang mit den Anforderun­gen des Klimaschutzes.

InfAI auf der AFCEA Fachausstellung

Ein weit­eres High­light in den let­zten Wochen war unsere Teil­nahme auf dem 38. Anwen­der­fo­rum für Fer­n­melde­tech­nik, Com­put­er, Elek­tron­ik und Automa­tisierung (AFCEA) am Stand von Microsoft Deutsch­land. Die Fachausstel­lung fand vom 27. bis zum 28. Mai im World Con­fer­ence Cen­ter in Bonn statt.

Das auch als „Mini-CeBIT in oliv” betitelte Event ist ein jährlich­er Tre­ff­punkt für die Fach­com­mu­ni­ty der Bun­deswehr im Bere­ich Führung­sun­ter­stützung, Nachricht­engewin­nung und Aufk­lärung, GIS, IT-Sicher­heit, Sim­u­la­tion, Aus­bil­dung, Logis­tik und SASPF in Bonn zusam­men mit Fir­men, Organ­i­sa­tio­nen und Amtsvertreter:innen aus dem Bere­ich der Inneren/Öffentlichen Sicher­heit. Fast 300 Aussteller und 5.000 Fachbesucher:innen wer­den dort jedes Jahr erwartet.

Mit dem InfAI waren wir bei der Ausstel­lung als Teil des Teams des Ver­bund­pro­jek­ts Dig­i­TaKS gemein­sam mit den Kolleg:innen der Hel­mut-Schmidt-Uni­ver­sität/U­ni­ver­sität der Bun­deswehr Ham­burg (HSU) vertreten.

Während der Ver­anstal­tungstage kon­nten wir span­nende Ein­drücke mit­nehmen. Unter anderem wur­den dort Erken­nt­nisse zur trans­for­ma­tiv­en dig­i­tal­en Kom­pe­ten­zen­twick­lung Studieren­der präsen­tiert. Am Stand war auch das Team von Cam­pana & Schott anwe­send. Dieses begleit­et den Roll-Out zur Pilotierung der KI-Anwen­dung M365 Copi­lot mit den Stu­di­en­jahrgän­gen 2021, 2022 und 2023 der Fakultät für Geistes- und Sozial­wis­senschaften der HSU.

Wir freuen uns, dass wir Teil dieser inspiri­eren­den und span­nen­den Ausstel­lung waren.

KupferDigital2 bei der Materialforschungskonferenz 2025: Wegweisende Impulse für Nachhaltigkeit und Digitalisierung

Am 2. April 2025 fand auf dem Cam­pus Ried­berg der Goethe-Uni­ver­sität in Frank­furt am Main die BMBF Mate­ri­al­forschungskon­ferenz „MatFo2025“ statt – ein inter­diszi­plinäres Forum, das unter dem Mot­to „Mate­ri­alin­no­va­tio­nen für die Trans­for­ma­tion von Wirtschaft und Gesellschaft“ Vertreter:innen aus Poli­tik, Forschung und Indus­trie zusam­men­brachte. Unser Mitar­beit­er Kurt Jung­hanns hat im Rah­men des Pro­jek­ts KupferDigital2 an der Kon­ferenz teilgenom­men. Aus Sicht des Insti­tuts für Ange­wandte Infor­matik (InfAI) e. V. bot die Ver­anstal­tung wertvolle Ein­blicke in die Syn­ergien zwis­chen Mate­ri­al­wis­senschaft und dig­i­taler Transformation.

Inspirierende Keynotes und interdisziplinäre Perspektiven

Die Kon­ferenz startete mit ein­er Begrüßung durch Dr. Karl-Eugen Huth­mach­er, der den Bogen zu Mat2Twin span­nte – dem neuen Impul­spro­gramm des BMBF für inno­v­a­tive Werk­stoffe. In drei aufeinan­der­fol­gen­den Keynotes wur­den zukun­ftsweisende The­men behandelt:

  • Inno­v­a­tive Mate­ri­alien und nach­haltiges indus­trielles Wirtschaften: Prof. Dirk Raabe beleuchtete Recy­clingkonzepte, bei denen sämtliche Ele­mente des Peri­o­den­sys­tems ein­be­zo­gen wer­den und zeigte Ansätze zur effizien­ten Atom­inte­gra­tion, Green Chemie sowie mod­erne Pro­duk­tionsver­fahren in der Stahl- und Beton­her­stel­lung auf.
  • Chan­cen und Her­aus­forderun­gen für die Indus­trie: Dr. Christi­na Hack von Brose the­ma­tisierte den Wan­del in der Her­stel­lungsin­dus­trie. Neben Leben­szyk­lu­s­analy­sen und Kreis­laufwirtschaft stand ins­beson­dere die dig­i­tale Erfas­sung und Nutzung von Wis­sen im Fokus – etwa durch den Ein­satz von Knowl­edge Graphs und Kün­stlich­er Intel­li­genz, die auch im Kon­text dig­i­taler Daten­räume an Bedeu­tung gewinnen.
  • Trans­for­ma­tion durch Mate­ri­al­forschung: Prof. Diet­mar Harhoff hob den inter­na­tionalen Wet­tbe­werb­s­druck her­vor und appel­lierte an die ver­stärk­te Nutzung und Paten­tierung von Forschungsergeb­nis­sen. Die The­men Dig­i­tal­isierung, der Data Act sowie der Abbau bürokratis­ch­er Hür­den standen dabei im Zentrum.

Mat2Twin – Ein datengetriebenes Rahmenprogramm

Peter Has­sen­bach vom BMBF stellte das Mate­ri­al­forschungsrah­men­pro­gramm „Mat2Twin“ vor, das auf einem datengetriebe­nen Ansatz basiert. Im Fokus ste­hen dabei:

  • Die Erzeu­gung, Spe­icherung und Analyse von Materialdaten,
  • Der Auf­bau eines Daten­raums, ver­gle­ich­bar mit Ini­tia­tiv­en wie Gaia‑X,
  • Die Anbindung an beste­hende dig­i­tale Infra­struk­turen wie NFDI und PMD,
  • Strate­gis­che Ziele wie bioin­spiri­erte, smarte Mate­ri­alien und sichere Werk­stoffe für Gesund­heit und Lebensqualität.

Impulsvorträge: Von der grünen Chemie bis zur digitalen Transformation

Weit­ere Impulse lieferten:

  • Dr. Gre­gor Daun (BASF):
    Mit Blick auf die grüne Trans­for­ma­tion der Chemiebranche wur­den Ansätze zur Reduk­tion von Ressourcenver­brauch und Emis­sio­nen vorgestellt – von der eigen­ständi­gen Strompro­duk­tion bis hin zu inno­v­a­tiv­en Produktionsprozessen.
  • Dr. Rain­er Erb (Biokon):
    Er präsen­tierte die „Biol­o­gisierung der Tech­nik“ als Schlüs­sel zu neuar­ti­gen, leben­den Mate­ri­al­sys­te­men. Beispiele wie selb­stk­lebende, wasser­ab­weisende Folien­ma­te­ri­alien (Air­coat) zeigten, wie Erken­nt­nisse aus der Biolo­gie direkt in tech­nis­che Inno­va­tio­nen umge­set­zt wer­den können.
  • Prof. Christoph Eberl (IWM):
    Im Kon­text der dig­i­tal­en Trans­for­ma­tion der Mate­ri­al­wis­senschaft betonte er die Bedeu­tung seman­tis­ch­er Struk­turen, die detail­lierte Beschrei­bung von Mate­ri­alien – bis hin zum atom­aren Lev­el – und die Notwendigkeit von FAIR-Daten­prak­tiken, die jedoch nicht zwangsläu­fig als Open Data umge­set­zt werden.
  • Jür­gen Tied­je (Europäis­che Kom­mis­sion):
    Mit einem Blick auf die europäis­che Per­spek­tive wurde die bevorste­hende EU-Strate­gie zu Advanced Mate­ri­als erläutert. The­men wie Ontolo­gien in der Indus­trie und nach­haltiges Design standen hier­bei im Vordergrund.

Podiumsdiskussion und Ausblick aus der Perspektive des Instituts für Angewandte Informatik (InfAI) e. V.

Die anschließende Podi­ums­diskus­sion bot Raum für einen inten­siv­en Mei­n­ungsaus­tausch – nicht zulet­zt auch in Form von Kri­tik an bürokratis­chen Hür­den, die den Fortschritt hem­men kön­nen. Aus unser­er Sicht als Vertreter:innen des Insti­tuts für Ange­wandte Infor­matik (InfAI) e. V. wird hier deut­lich: Die dig­i­tale Trans­for­ma­tion muss Hand in Hand mit inno­v­a­tiv­en mate­ri­al­wis­senschaftlichen Ansätzen gehen.
Unsere Forschungss­chw­er­punk­te – ins­beson­dere im Bere­ich der Date­n­analyse, der seman­tis­chen Struk­turen und der Entwick­lung intel­li­gen­ter Infor­ma­tion­ssys­teme – ergänzen die vorgestell­ten Konzepte ide­al. Ini­tia­tiv­en wie NFDI MatWerk und daten­basierte Ansätze im Rah­men von Mat2Twin bieten die Chance, Mate­ri­al­forschung nicht nur effizien­ter zu gestal­ten, son­dern auch den Weg in eine nach­haltige, dig­i­tal ver­net­zte Zukun­ft zu ebnen.

Fazit

Die MatFo2025 zeigte ein­drucksvoll, wie eng verknüpft die The­men Nach­haltigkeit, Recy­cling und dig­i­tale Inno­va­tion in der mod­er­nen Mate­ri­al­forschung sind. Ger­ade in Zeit­en, in denen tech­nol­o­gis­che Sou­veränität und eine nach­haltige Kreis­laufwirtschaft immer wichtiger wer­den, ist die inter­diszi­plinäre Zusam­me­nar­beit zwis­chen Mate­ri­al­wis­senschaft und ange­wandter Infor­matik essen­ziell. Das Insti­tut für Ange­wandte Infor­matik (InfAI) e. V. freut sich darauf, diese Entwick­lun­gen aktiv mitzugestal­ten und die dig­i­tale Trans­for­ma­tion in der Mate­ri­al­forschung weit­er voranzutreiben.

KupferDigital2 beim Kick-off in Bamberg

Vom 25. bis 27. März waren wir mit dem Pro­jekt KupferDigital2 (Mate­ri­al­daten­raum zur Steigerung von Effizienz und Nach­haltigkeit des Kupfer­leben­szyk­lus) beim Kupfer­Dig­i­tal2-Kick-off-Meet­ing in Bam­berg bei Wieland Elec­tric. Lars-Peter Mey­er besuchte das Meet­ing am Mittwoch und Kurt Jung­hanns war als Teil­pro­jek­tleit­er während der kom­plet­ten Ver­anstal­tung vor Ort.

Los ging es am ersten Ver­anstal­tungstag mit einem Ken­nen­ler­nen ein­schließlich dem Pro­jek­t­träger Dr. Pieper sowie Vertretern von PMD (Plat­tform Mate­r­i­al-Dig­i­tal). Am Mittwoch haben unsere Kol­le­gen im AP-Lead außer­dem einen Überblick zu AP 1 („Eval­u­a­tion des Grads der Dig­i­tal­isierung ent­lang des Mate­ri­allebensszyk­lus“) gegeben und es fand eine Arbeit­sphase im Pro­jekt statt. Am let­zten Tag haben wir in einem weit­eren Pro­gramm­punkt eine kurze Ein­führung zu „Seman­tis­chen Dat­en“ gegeben. 

Auch Diskus­sion und Aus­tausch kamen während der Ver­anstal­tungstage nicht zu kurz.

Wir freuen uns, dass wir die Möglichkeit hat­ten, unser Pro­jekt KupferDigital2 in Bam­berg bei Wieland Elec­tric zu starten.

Fortschritte im Projekt RegioNachhaltigkeit: Cloudbasiertes Bewertungssystem für nachhaltige Landwirtschaft 

Wie nach­haltig ist ein land­wirtschaftlich­er Betrieb wirk­lich? Und wie lassen sich die Ergeb­nisse ein­er umfassenden Nach­haltigkeits­be­w­er­tung trans­par­ent ent­lang der gesamten Wertschöp­fungs­kette kom­mu­nizieren? Genau diesen Fra­gen wid­met sich das Pro­jekt RegioNach­haltigkeit, ein gemein­sames Vorhaben des Insti­tuts für Ange­wandte Infor­matik (InfAI) e.V, der IAK Agrar Con­sult­ing GmbH und der INL – Insti­tut für Nach­haltige Land­be­wirtschaf­tung GmbH. In diesem Blog­beitrag geben wir Ein­blick in die aktuellen Fortschritte unser­er Arbeit am Teil­pro­jekt “Konzep­tion, Imple­men­tierung und Eval­u­a­tion von Daten­for­mat­en, Prozessen und IT-Infra­struk­tur” durch das InfAI. 

Ein System für die Nachhaltigkeitsbewertung 

Die Basis für unsere Nach­haltigkeits­be­w­er­tung bildet das DINAK-Kri­te­rien- und Indika­toren­mod­ell, dass die drei zen­tralen Säulen der Nach­haltigkeit umfasst: Ökolo­gie, Ökonomie und Soziales. Unsere Auf­gabe im Pro­jekt ist es, diese Bew­er­tung in ein leis­tungs­fähiges dig­i­tales Sys­tem zu übersetzen. 

Beispiel­ergeb­nis ein­er Nachhaltigkeitsbewertung.

Fortschritte in der technischen Entwicklung 

Im let­zten Jahr lag der Fokus unser­er Arbeit auf der Entwick­lung von Importrou­ti­nen, Daten­ver­ar­beitung­sprozessen und Schnittstellen zur beste­hen­den Soft­ware REPRO. REPRO ist ein umfassendes Sys­tem zur ökol­o­gis­chen und datengetriebe­nen Analyse von Ack­er­schlagkarteien der INL GmbH und spielt eine zen­trale Rolle bei der Datenintegration. 

Damit das Pro­jekt effizient und struk­turi­ert voran­schre­it­en kann, haben wir zu Beginn des Jahres mehrere tech­nis­che und organ­isatorische Maß­nah­men umgesetzt: 

  • Ein­rich­tung eines Issue-Man­age­ment-Sys­tems: Mit Red­mine haben wir ein zen­trales Tool für Auf­gaben­man­age­ment, Doku­men­ta­tion und Zusam­me­nar­beit geschaffen. 
  • Opti­mierung der DevOps-Prozesse und Server­ad­min­is­tra­tion, um einen rei­bungslosen Entwick­lung­sprozess zu gewährleisten. 
  • Struk­turierung des Berichtswe­sens, um den Pro­jek­t­fortschritt trans­par­ent zu dokumentieren. 

Meilensteine: Datenverarbeitung und Systemintegration 

In den let­zten Monat­en lag unser Fokus auf der Mod­el­lierung und Entwick­lung von Daten­ver­ar­beitungsrou­ti­nen. Beson­ders für die Säulen Soziales und Ökonomie kon­nten wir entschei­dende Fortschritte erzie­len und die Anbindung an REPRO erfol­gre­ich realisieren. 

Darüber hin­aus waren wir aktiv an der Konzep­tion der Gesamtar­chitek­tur beteiligt. In Zusam­me­nar­beit mit der IAK haben wir Mock­ups und Schnittstellen entwick­elt, um die dig­i­tale Umset­zung des Sys­tems zu unterstützen. 

Nachhaltigkeitsbewertung als Webanwendung 

Ein High­light unser­er bish­eri­gen Arbeit ist die dig­i­tale Darstel­lung der Nach­haltigkeits­be­w­er­tung für einen Beispiel­be­trieb. Diese Weban­wen­dung wurde bere­its von der IAK der Öffentlichkeit präsen­tiert und bietet land­wirtschaftlichen Betrieben einen wertvollen Ein­blick in ihre Nachhaltigkeitsperformance. 

Durch diese dig­i­tale Auf­bere­itung kön­nen Betriebe: 

  • die Ergeb­nisse ihrer Nach­haltigkeits­be­w­er­tung intern analysieren, 
  • die Dat­en trans­par­ent gegenüber exter­nen Stake­hold­ern (z. B. Behör­den, Kun­den, Zer­ti­fizierungsstellen) kommunizieren, 
  • sowohl aggregierte als auch detail­lierte Ein­blicke in die drei Nach­haltigkeits­di­men­sio­nen erhalten. 

Näch­ste Schritte: Aus­bau und Optimierung 

Basierend auf den bish­eri­gen Ergeb­nis­sen konzen­tri­eren wir uns nun auf: 

  • die Imple­men­tierung weit­er­er Systemkomponenten, 
  • die Schaf­fung zusät­zlich­er Schnittstellen, 
  • die Ein­bindung weit­er­er Datenquellen. 

Nach ein­er aus­führlichen Test- und Erprobungsphase wird das InfAI eine tech­nis­che Bew­er­tung und Opti­mierung des Sys­tems vornehmen. Ziel ist es, eine robuste, prax­is­na­he und ein­fach nutzbare Lösung für nach­haltige Land­wirtschaft zu schaffen. 

Wir freuen uns darauf, die kom­menden Entwick­lun­gen hier auf unser­er Web­site zu teilen und sind ges­pan­nt auf das Feed­back aus der Praxis! 

Dig­i­tale Ergeb­nis­darstel­lung der Bew­er­tung entsprechend den DINAK-Kri­te­rien für einen beispiel­haften Betrieb, umge­set­zt durch IAK GmbH

Neues Projekt: KupferDigital2

Wir freuen uns, den Beginn des Pro­jek­tes “Mate­ri­al­daten­raum zur Steigerung von Effizienz und Nach­haltigkeit des
Kupfer­leben­szyk­lus (KupferDigital2)” bekan­nt­geben zu kön­nen. Gemein­sam mit dreizehn anderen Part­nern arbeit­en wir bis Anfang 2028 an der Umset­zung des Projektes.

Teil­vorhaben: Seman­tis­che Tech­nolo­gie zur Erstel­lung eines inter­op­er­a­blen Daten­raumes und erweit­erten Pro­duk­t­pass­es in der Kupfer-Materialforschung

Im Rah­men des Kupfer­Dig­i­tal2-Pro­jek­tes ver­tieft das InfAI-Teil­vorhaben die Konzepte aus Kupfer­Dig­i­tal und forscht an ein­er umfan­gre­icheren Imple­men­tierung ein­er geeigneteren Dat­en- und Soft­ware­in­fra­struk­tur für die stan­dar­d­isierte und schemakon­forme Beschrei­bung des Kupfer­w­erk­stoffes ent­lang seines Leben­szyk­lus inkl. aller rel­e­van­ten Prozesse rund um dessen Entwick­lung, Her­stel­lung, Ver­ar­beitung und das Recy­cling. Diese ganzheitliche Betra­ch­tung des Werk­stoffes Kupfer ist einzi­gar­tig und stellt hohe Anforderun­gen an die Ontolo­gieen­twick­lung sowie an die soft­waretech­nis­che Unter­stützung des Daten­man­age­ments, wie in Kupfer­Dig­i­taler­läutert. Der Daten­raum aus dem Vorgänger­pro­jekt Kupfer­Dig­i­tal vere­int bere­its einen Großteil des Kupfer-Leben­szyk­lus auf der schema­tis­chen Ebene und stellt grundle­gende und repräsen­ta­tive seman­tis­che Dat­en bereit.

Artikel „Assessing SPARQL capabilities of Large Language Models“ nun in den Workshop-Proceedings von NLP4KGc@SEMANTiCS24 veröffentlicht 

Grafik 1: Überblick zu den 4 betra­chteten Task-Typen: Text2Sparql (T2S), Text2Answer (T2A), Sparql2Answer (S2A) und Spar­ql­Syn­tax­Fix­ing (SSF) 

Unser bere­its als Preprint veröf­fentlichter Artikel „Assess­ing SPARQL capa­bil­i­ties of Large Lan­guage Mod­els“ (Lars-Peter Mey­er, Johannes Frey, Felix Brei und Natanael Arndt 2024) ist nun offiziell veröf­fentlicht in den Pro­ceed­ings des Work­shop „NLP4KGC: 3rd Inter­na­tion­al Work­shop on Nat­ur­al Lan­guage Pro­cess­ing for Knowl­edge Graph Cre­ation in con­junc­tion with SEMAN­TiCS 2024 Con­fer­ence”. Wir stellen dort eine Ergänzung des LLM-KG-Bench-Frame­works vor, mit der die SPAR­QL-Fähigkeit­en von großen Sprach­mod­ellen (englisch: Large Lan­guage Mod­ells, kurz: LLMs; englisch: Knowl­edge Graph, kurz: KG, deutsch: Wis­sens­graph) automa­tisiert gemessen wer­den kön­nen. Das LLM-KG-Bench-Frame­work ist ein am InfAI e. V. entwick­eltes Werkzeug zum automa­tisierten Bew­erten der Fähigkeit­en von LLMs mit Wis­sens­graphen umzuge­hen. Wenn LLMs bess­er mit Wis­sens­graphen umge­hen kön­nen, wür­den LLMs vielle­icht weniger hal­luzinieren sowie die Arbeit mit Wis­sens­graphen für Men­schen erle­ichtern können. 

Das automa­tisierte Messen hil­ft dabei neue LLMs für fach­spez­i­fis­che Auf­gaben objek­tiv einord­nen zu kön­nen. Und durch die Automa­tisierung kön­nen viele Mess­wieder­hol­un­gen durchge­führt wer­den, um trotz dem nicht­de­ter­min­is­tis­chen Antwortver­hal­ten von LLMs ver­lässliche Ergeb­nisse zu erhalten. 

In der Welt von RDF-Wis­sens­graphen ist SPARQL die gebräuch­lich­ste Schnittstelle und Abfrage­sprache.  Deshalb geht es bei der nun vorgestell­ten Unter­suchung um die Syn­tax und Seman­tik von SPARQL SELECT Anfra­gen. Diese wur­den beispiel­haft für ins­ge­samt neun LLMs von Ope­nAI, Anthrop­ic und Google gemessen. Basierend auf den in Grafik 1 dargestell­ten 4 Auf­gaben­typen wur­den 13 ver­schiedene Auf­gaben­vari­anten zu fünf ver­schiede­nen Wis­sens­graphen betrachtet. 

Grafik 2: Auszug aus dem Artikel mit Ergeb­nis­sen für den Bere­ich Text2Sparql(T2S). Die Ergeb­nisse sind als Box­plots gezeigt mit Kreuzen für einzelne Mess­werte und Kreisen für den Mit­tel­w­ert. Bei dem Score bedeutet 1 ein opti­males Ergeb­nis, ein Score von 0,2 bedeutet ein syn­tak­tisch richtiges aber seman­tisch falsches Ergeb­nis, ein Score von 0 wird bei Syn­taxfehler vergeben. Für weit­ere Ergeb­nisse und Erläuterun­gen sei auf den voll­ständi­gen Artikel verwiesen. 

Zen­trales Ergeb­nis unser­er Arbeit ist: Zwis­chen den einzel­nen Auf­gaben und LLMs gibt es große Unter­schiede. Zusam­men­fassend kann man sagen, dass die besten der unter­sucht­en aktuellen LLMs kaum Schwierigkeit­en mit der Syn­tax haben, jedoch bei seman­tis­chen Auf­gaben auf Her­aus­forderun­gen stoßen. Für Details sei auf den frei ver­füg­baren Artikel und Repos­i­to­rien verwiesen. 

Die Arbeit wurde über ver­schiedene Pro­jek­te am InfAI e. V. gefördert: StahlDig­i­tal, ScaleTrust, KISS — KI-gestütztes Rapid Sup­ply Net­work, Coy­Pu — Cog­ni­tive Econ­o­my Intel­li­gence Plat­tform für die Resilienz wirtschaftlich­er Ökosysteme. 

Der Code zum LLM-KG-Bench-Frame­works ist bei Github sowie Zen­o­do zu find­en und die voll­ständi­gen Ergeb­nisse wur­den bei  GitHub und Zen­o­do veröffentlicht. 

Link zum Paper: 

Abschlusstreffen des CoyPu-Projektes

Am 26. Novem­ber waren wir von 10 bis 15 Uhr mit dem Coy­Pu-Pro­jekt beim Abschlusstr­e­f­fen in den Räu­men von ScaDS.AI Leipzig im Löhrs Carré.

Das Pro­gramm bot einen bre­it­ge­fächerten Ein­blick in das Pro­jekt. Nach ein­er Begrüßung gab Prof. Dr. Michael Mar­tin eine Zusam­men­fas­sung des Pro­jek­tes seit Beginn der Laufzeit, gefol­gt von einem Überblick über die Coy­Pu-Kern­daten­in­fra­struk­tur von Kurt Junghanns.

In den einzel­nen Ses­sions präsen­tierten die Forschungspart­ner außer­dem ihre Demon­stra­toren — unter anderem Claus Stadler mit der Präsen­ta­tion “InfAI Coy­pu Demos” und Sebas­t­ian Tramp mit “eccen­ca Cor­po­rate Mem­o­ry”. Weit­ere Demon­stra­toren wur­den von den Forschungspart­nern L3S Research Cen­ter, TIB, Hitec, DIW, Siemens, DATEV, Infi­neon und Implisense präsentiert.

Nach einem weit­eren Pro­gramm­punkt zu rechtlichen Aspek­ten im Coy­Pu-Pro­jekt von Frank Ingen­ri­eth (SRIW) fol­gte die finale Ses­sion mit ein­er Präsen­ta­tion über den Resilience Mesh von Prof. Dr. Michael Mar­tin und mit abschließen­den Dankesworten der Vertreterin vom Pro­jek­t­träger Deutsches Zen­trum für Luft- und Raum­fahrt (DLR) Petra Post.

Wir freuen uns über die zahlre­iche Teil­nahme an der span­nen­den Abschlussver­anstal­tung des CoyPu-Projektes.

Teilnahme an der DTM-Vernetzungskonferenz 2024

Ein weit­eres High­light in den let­zten Wochen war unsere Teil­nahme mit dem Pro­jekt ScaleTrust bei der DTM-Ver­net­zungskon­ferenz 2024 der BMBF-Förder­pro­jek­te zu Daten­treuhand­mod­ellen. die vom 11. bis 13. Sep­tem­ber in Berlin stattfand.

Die Kon­ferenz bot neben einem inter­es­san­ten Pro­gramm und inspiri­eren­den Ses­sions auch die Möglichkeit für Ver­net­zung und Austausch.

Wir freuen uns sehr, dass wir an dieser inter­es­san­ten Ver­anstal­tung teilgenom­men haben.

Weit­ere Infor­ma­tio­nen zum Ver­anstal­ter sind auf der Web­site zu finden.

CoyPu bei den Tagen der digitalen Technologien

Am 7. und 8. Okto­ber waren wir mit dem Coy­Pu-Pro­jekt bei den Tagen der dig­i­tal­en Tech­nolo­gien 2024 im bcc Berlin Con­gress Cen­ter, wo Mitar­bei­t­ende das Pro­jekt präsen­tiert haben. 

Die Tage der dig­i­tal­en Tech­nolo­gien, eine Ver­anstal­tung des Bun­desmin­is­teri­ums für Wirtschaft und Kli­maschutz (BMWK), standen dieses Jahr unter dem Mot­to “Trans­for­ma­tion durch Inno­va­tion — nach­haltig, sou­verän, ver­net­zt” und beschäftigten sich mit den The­men Dig­i­tal­isierung, Nach­haltigkeit und Innovation.

An zwei Tagen wur­den Fra­gen, wie zum Beispiel die erfol­gre­iche Inte­gra­tion neuer dig­i­taler Tech­nolo­gien in die unternehmerische Prax­is oder welche Chan­cen gen­er­a­tive KI dem Mit­tel­stand bietet, umfassend diskutiert.

Am Coy­Pu-Stand haben sich während der Ver­anstal­tungstage die Part­ner InfAI, Infi­neon, L3S Research Cen­ter sowie DATEV präsen­tiert. Außer­dem hat Prof. Dr. Michael Mar­tin am zweit­en Ver­anstal­tungstag am Fach­fo­rum “Dig­i­tale Plat­tfor­men und Ökosys­teme zum Erfolg brin­gen” teilgenommen.

Wir freuen uns, dass wir Teil dieser span­nen­den Ver­anstal­tung waren, welche neben span­nen­den Diskus­sio­nen und Präsen­ta­tio­nen auch eine ide­ale Gele­gen­heit für Ver­net­zung und Aus­tausch bot. Das kom­plette Pro­gramm kann hier noch ein­mal nachge­le­sen werden. 

Weit­ere Infor­ma­tio­nen zur Ver­anstal­tung sind auf der Web­site zu finden.

Michael Mar­tin (InfAI) und Ahmad Sakor (L3S, TIB)

ETi @ SEMANTiCS

Vom 17. bis 19. Sep­tem­ber haben wir an der SEMAN­TiCS 2024, die dieses Jahr in Ams­ter­dam stat­tfand, teilgenommen.

Wir freuen uns sehr, dass unser Mitar­beit­er Lars-Peter Mey­er am 17. Sep­tem­ber beim Work­shop 3rd NLP4KGC — Inter­na­tion­al Work­shop on Nat­ur­al Lan­guage Pro­cess­ing for Knowl­edge Graph Cre­ation — mit vertreten war. In diesem Work­shop wur­den Meth­o­d­en und Ansätze der Wis­sens- und Datenex­trak­tion aus Tex­ten the­ma­tisiert. Weit­ere Schw­er­punk­te waren the­o­retis­che und prak­tis­che Aspek­te der Nutzung von Seman­tik und natür­lich­er Sprachver­ar­beitung für die Erstel­lung und Ver­wen­dung von Wis­sens­graphen. Lars-Peter Mey­er präsen­tierte während des Work­shops das Paper “Assess­ing SPARQL capa­bil­i­ties of Large Lan­guage Mod­els”. Dies hat er mit den Kol­le­gen Johannes Frey, Felix Brei und Natanael Arndt geschrieben.

Wir haben uns sehr gefreut, wieder Teil der SEMAN­TiCS Kon­ferenz zu sein.

Mehr Infor­ma­tio­nen zum Work­shop kön­nen auf der Web­site nachge­le­sen werden.

Der Link zum Paper ist hier zu finden.