Schlagwort: ScaleTrust

ScaleTrust Projektabschluss

2. Juli 2026

Im Feb­ru­ar dieses Jahres fand das Pro­jekt ScaleTrust (Scal­able Com­pli­ance and Lead­er­ship in Eth­i­cal Trustee­ship) seinen erfol­gre­ichen Abschluss.

In der Laufzeit von Juni 2024 bis Feb­ru­ar 2026 kon­nte das Pro­jekt, gefördert im Rah­men der Richtlin­ie zur Förderung von Pro­jek­ten zur Skalierung und Akzep­tanzsteigerung von inter­sek­toralen Daten­treuhand­mod­ellen in der Prax­is, seine Ziele erre­ichen. Die Absicht des Pro­jek­tes war eine skalier­fähige Blau­pause für einen sektor‑, anwen­dungs- und län­derüber­greifend­en Date­naus­tausch in Daten­räu­men zu schaf­fen. Gle­ichzeit­ig sollte ein über­trag­bares Treuhän­der­mod­ell entwick­elt wer­den, sodass durch dessen erfol­gre­iche Etablierung eine zukün­ftige Datenin­no­va­tion­sökonomie mit höheren Datenbestän­den für eine höhere Anzahl von Akteuren erre­icht wer­den kann, erfüllen.

Aus­gangspunkt war die fehlende Bere­itschaft viel­er Unternehmen Dat­en mit anderen zu teilen bei gle­ichzeit­ig hohem nicht aus­geschöpftem ökonomis­chen und wis­senschaftlichen Poten­tial der Daten­nutzung. In ein­er zunehmenden Ver­net­zung in Wirtschaft, Wis­senschaft und Gesellschaft kommt dem Daten­tausch eine notwendi­ge Rolle zu, um Anforderun­gen aus Vor­gaben der EU und nationaler Geset­zge­ber, Inno­va­tions­be­dar­fen und der Steigerung von Resilienz und Nach­haltigkeit adäquat Rech­nung tra­gen zu können.

Um diese Hür­den zu über­winden, bedarf es sowohl ein­er steigen­den Anzahl entsprechen­der Daten­räume, als auch ein­er größeren Bere­itschaft Dat­en zur Ver­fü­gung zu stellen. Zur Steigerung dieser Bere­itschaft soll durch die Etablierung von Daten­treuhän­dern ein Höch­st­maß von Ver­trauen hergestellt werden.

Das InfAI forschte zur Ziel­er­re­ichung im Ver­bund mit den Part­nern Adva­neo und Uni Saar­land unter der Kon­sor­tialführung durch Jür­gen Bret­feld von Adva­neo und war an den Arbeitspaketen der Anforderungs­analyse, des Plat­tfor­mde­signs und der Imple­men­tierung sowie der Imple­men­tierung von Anwen­dungs­fällen beteiligt.

Seit­ens des InfAI kon­nte somit fol­gende Ergeb­nisse im Rah­men des ScaleTrust Pro­jek­ts erzielt werden:

  • Struk­turi­erte Erhe­bung der Anforderun­gen und Unter­stützung bei der Architekturverfeinerung
  • Ein­rich­tung der Infra­struk­tur für die Arbeit mit Wis­sens­graphen (inklu­sive Ver­sion­ierung) für die Spe­icherung der Meta­dat­en https://gitlab.com/infai/center-of-competence/efficient-technology-integration/scaletrust/infrastructure
  • Weit­er­en­twick­lung unseres Werkzeugs zur automa­tisierten Bew­er­tung von Sprach­mod­ellen hin­sichtlich ihrer Fähigkeit­en, Auf­gaben im Seman­tic-Web-Umfeld zu lösen (LLM-KG-Bench) https://github.com/AKSW/LLM-KG-Bench
  • Entwick­lung eines LLM-Agen­ten zur Durch­suchung eines DCAT-kon­for­men Mark­t­platzes, samt Werkzeu­gen für Deep Research und Ein­beziehung weit­er­er Wis­sens­graphen https://gitlab.com/infai/center-of-competence/efficient-technology-integration/scaletrust/data-catalog-agent
  • Neuaus­rich­tung des Daten­mod­ells des Daten­mark­t­platzes von Adva­neo am DCAT-AP-DE- Standard

Hier­durch kön­nte eine Öff­nung des Mark­t­platzes ein­er­seits in Rich­tung IDS (dank RDF- und DCAT-Kon­for­mität), ander­er­seits in Rich­tung bre­it­ere Öffentlichkeit (dank leichter­er Durch­such­barkeit mith­il­fe des Agen­ten) unter­stützt werden.

Über die Pro­jek­t­laufzeit hin­weg wur­den vom Pro­jek­t­team 7 wis­senschaftliche Artikel veröf­fentlicht, 3 Vorträge gehal­ten und 4 Soft­ware­an­wen­dun­gen (weiter-)entwickelt.

Das Pro­jekt ScaleTrust wurde im Rah­men der Abschlussver­anstal­tung am 24. Feb­ru­ar been­det. In den Räu­men des InfAI e.V. Leipzig wur­den die Pro­jek­tergeb­nisse im Kreis von Pro­jek­t­part­nern und exter­nen Teil­nehmenden vorgestellt. Inter­essierte kön­nen sich Auf­nah­men der Ver­anstal­tung hier anschauen: https://www.scaletrust.de/ergebnisse/

Wir bedanken uns für die erfol­gre­iche Zusammenarbeit!

Abschlussveranstaltung des F&E‑Projekts ScaleTrust

3. März 2026

Die Abschlussver­anstal­tung mit über 25 Teil­nehmenden des F&E‑Projekts ScaleTrust fand am 24. Feb­ru­ar 2026 in Leipzig statt und bot eine öffentliche Präsen­ta­tion der zen­tralen Projektergebnisse.

Im Mit­telpunkt der Ver­anstal­tung standen die im Pro­jekt entwick­el­ten Ansätze, Ergeb­nisse und prak­tis­chen Erfahrun­gen sowie deren Bedeu­tung für den Auf­bau ver­trauenswürdi­ger Daten­treuhand­mod­elle. Die Teil­nehmenden erhiel­ten umfassende Ein­blicke in Demon­stra­toren und konkrete Use Cas­es und kon­nten die Beiträge der beteiligten Pro­jek­t­part­ner kennenlernen.

Beson­ders deut­lich wurde, dass ver­trauenswürdi­ge Daten­treuhand­mod­elle eine Schlüs­sel­rolle für den sicheren und fairen Date­naus­tausch in datengetriebe­nen Ökosys­te­men spie­len. Die vorgestell­ten Lösun­gen zeigten prax­is­nah, wie Ver­trauen, Trans­parenz und Daten­ho­heit tech­nisch und organ­isatorisch umge­set­zt wer­den können.

Neben der Präsen­ta­tion der Ergeb­nisse bot die Ver­anstal­tung auch Raum für Aus­tausch und Diskus­sion. Gemein­sam wur­den zukün­ftige Entwick­lun­gen, zen­trale Her­aus­forderun­gen und Poten­ziale von Daten­treuhand­mod­ellen beleuchtet.

Die Abschlussver­anstal­tung machte deut­lich: Die im Pro­jekt ScaleTrust entwick­el­ten Ansätze liefern wichtige Impulse für einen ver­ant­wor­tungsvollen Umgang mit Dat­en und schaf­fen eine Grund­lage für inno­v­a­tive, ver­trauenswürdi­ge Datenökosysteme.

Das InfAI beri­et in dem Pro­jekt ScaleTrust zur Architek­tur, unter­stützte bei der Nutzung von Wis­sens­graphen und DCAT-AP.de und ergänzte einen Deep-Research-Agenten.

Mehr zu ScaleTrust:

ScaleTrust (Scal­able Com­pli­ance and Lead­er­ship in Eth­i­cal Trustee­ship) ist ein vom Bun­desmin­is­teri­um für Forschung, Tech­nolo­gie und Raum­fahrt (BMFTR) aus Mit­teln der Europäis­chen Union gefördertes Forschungs- und Entwick­lung­spro­jekt mit dem Ziel, ein rechtssicheres, skalier­bares und ver­trauenswürdi­ges Daten­treuhän­der­mod­ell als Grund­lage fair­er und dezen­traler Datenökosys­teme zu etablieren.

Daten­treuhän­der agieren dabei als neu­trale Inter­mediäre, die Dat­en im Auf­trag der Dateneigen­tümer ver­ant­wor­tungsvoll ver­wal­ten und kon­trol­liert weit­ergeben. Das ScaleTrust-Pro­jekt schafft den tech­nis­chen, organ­isatorischen und rechtlichen Rah­men für einen fairen, anwendungs‑, sek­toren- und län­derüber­greifend­en Date­naus­tausch, beispiel­haft in der Prax­is in Daten­räu­men wie dem Green Deal Data­space erprobt.

Unser Poster auf der SEMANTiCS 2025

14. August 2025

Unser Poster “Char­ac­ter­iz­ing Knowl­edge Graph Tasks in LLM Bench­marks Using Cog­ni­tive Com­plex­i­ty Frame­works” wurde für die SEMAN­TiCS Kon­ferenz am 03.–05. Sep­tem­ber 2025 in Wien angenommen.

Die Arbeit ent­stand im Rah­men der Pro­jek­te Kupfer­Dig­i­tal 2 und ScaleTrust. Haup­tau­torin Sara Todor­ovikj ist wis­senschaftliche Mitar­bei­t­erin und Dok­torandin an der TU Chem­nitz und wird das Poster vor Ort in Wien präsen­tieren. Co-Autoren sind Lars-Peter Mey­er vom InfAI und Michael Mar­tin, eben­falls von der TU Chemnitz.

Wir freuen uns schon auf span­nende Diskus­sio­nen mit der inter­na­tionalen Com­mu­ni­ty und richt­en ein großes Dankeschön an alle Beteiligten im Pro­jek­t­team für die her­vor­ra­gende Zusam­me­nar­beit – und an die SEMAN­TiCS 2025 für die Möglichkeit, unsere Forschung vorzustellen!

Artikel „Assessing SPARQL capabilities of Large Language Models“ nun in den Workshop-Proceedings von NLP4KGc@SEMANTiCS24 veröffentlicht 

12. Februar 2025
Grafik 1: Überblick zu den 4 betra­chteten Task-Typen: Text2Sparql (T2S), Text2Answer (T2A), Sparql2Answer (S2A) und Spar­ql­Syn­tax­Fix­ing (SSF) 

Unser bere­its als Preprint veröf­fentlichter Artikel „Assess­ing SPARQL capa­bil­i­ties of Large Lan­guage Mod­els“ (Lars-Peter Mey­er, Johannes Frey, Felix Brei und Natanael Arndt 2024) ist nun offiziell veröf­fentlicht in den Pro­ceed­ings des Work­shop „NLP4KGC: 3rd Inter­na­tion­al Work­shop on Nat­ur­al Lan­guage Pro­cess­ing for Knowl­edge Graph Cre­ation in con­junc­tion with SEMAN­TiCS 2024 Con­fer­ence”. Wir stellen dort eine Ergänzung des LLM-KG-Bench-Frame­works vor, mit der die SPAR­QL-Fähigkeit­en von großen Sprach­mod­ellen (englisch: Large Lan­guage Mod­ells, kurz: LLMs; englisch: Knowl­edge Graph, kurz: KG, deutsch: Wis­sens­graph) automa­tisiert gemessen wer­den kön­nen. Das LLM-KG-Bench-Frame­work ist ein am InfAI e. V. entwick­eltes Werkzeug zum automa­tisierten Bew­erten der Fähigkeit­en von LLMs mit Wis­sens­graphen umzuge­hen. Wenn LLMs bess­er mit Wis­sens­graphen umge­hen kön­nen, wür­den LLMs vielle­icht weniger hal­luzinieren sowie die Arbeit mit Wis­sens­graphen für Men­schen erle­ichtern können. 

Das automa­tisierte Messen hil­ft dabei neue LLMs für fach­spez­i­fis­che Auf­gaben objek­tiv einord­nen zu kön­nen. Und durch die Automa­tisierung kön­nen viele Mess­wieder­hol­un­gen durchge­führt wer­den, um trotz dem nicht­de­ter­min­is­tis­chen Antwortver­hal­ten von LLMs ver­lässliche Ergeb­nisse zu erhalten. 

In der Welt von RDF-Wis­sens­graphen ist SPARQL die gebräuch­lich­ste Schnittstelle und Abfrage­sprache.  Deshalb geht es bei der nun vorgestell­ten Unter­suchung um die Syn­tax und Seman­tik von SPARQL SELECT Anfra­gen. Diese wur­den beispiel­haft für ins­ge­samt neun LLMs von Ope­nAI, Anthrop­ic und Google gemessen. Basierend auf den in Grafik 1 dargestell­ten 4 Auf­gaben­typen wur­den 13 ver­schiedene Auf­gaben­vari­anten zu fünf ver­schiede­nen Wis­sens­graphen betrachtet. 

Grafik 2: Auszug aus dem Artikel mit Ergeb­nis­sen für den Bere­ich Text2Sparql(T2S). Die Ergeb­nisse sind als Box­plots gezeigt mit Kreuzen für einzelne Mess­werte und Kreisen für den Mit­tel­w­ert. Bei dem Score bedeutet 1 ein opti­males Ergeb­nis, ein Score von 0,2 bedeutet ein syn­tak­tisch richtiges aber seman­tisch falsches Ergeb­nis, ein Score von 0 wird bei Syn­taxfehler vergeben. Für weit­ere Ergeb­nisse und Erläuterun­gen sei auf den voll­ständi­gen Artikel verwiesen. 

Zen­trales Ergeb­nis unser­er Arbeit ist: Zwis­chen den einzel­nen Auf­gaben und LLMs gibt es große Unter­schiede. Zusam­men­fassend kann man sagen, dass die besten der unter­sucht­en aktuellen LLMs kaum Schwierigkeit­en mit der Syn­tax haben, jedoch bei seman­tis­chen Auf­gaben auf Her­aus­forderun­gen stoßen. Für Details sei auf den frei ver­füg­baren Artikel und Repos­i­to­rien verwiesen. 

Die Arbeit wurde über ver­schiedene Pro­jek­te am InfAI e. V. gefördert: StahlDig­i­tal, ScaleTrust, KISS — KI-gestütztes Rapid Sup­ply Net­work, Coy­Pu — Cog­ni­tive Econ­o­my Intel­li­gence Plat­tform für die Resilienz wirtschaftlich­er Ökosysteme. 

Der Code zum LLM-KG-Bench-Frame­works ist bei Github sowie Zen­o­do zu find­en und die voll­ständi­gen Ergeb­nisse wur­den bei  GitHub und Zen­o­do veröffentlicht. 

Link zum Paper: