Fortschritte im Projekt RegioNachhaltigkeit: Cloudbasiertes Bewertungssystem für nachhaltige Landwirtschaft 

Wie nach­haltig ist ein land­wirtschaftlich­er Betrieb wirk­lich? Und wie lassen sich die Ergeb­nisse ein­er umfassenden Nach­haltigkeits­be­w­er­tung trans­par­ent ent­lang der gesamten Wertschöp­fungs­kette kom­mu­nizieren? Genau diesen Fra­gen wid­met sich das Pro­jekt RegioNach­haltigkeit, ein gemein­sames Vorhaben des Insti­tuts für Ange­wandte Infor­matik (InfAI) e.V, der IAK Agrar Con­sult­ing GmbH und der INL – Insti­tut für Nach­haltige Land­be­wirtschaf­tung GmbH. In diesem Blog­beitrag geben wir Ein­blick in die aktuellen Fortschritte unser­er Arbeit am Teil­pro­jekt “Konzep­tion, Imple­men­tierung und Eval­u­a­tion von Daten­for­mat­en, Prozessen und IT-Infra­struk­tur” durch das InfAI. 

Ein System für die Nachhaltigkeitsbewertung 

Die Basis für unsere Nach­haltigkeits­be­w­er­tung bildet das DINAK-Kri­te­rien- und Indika­toren­mod­ell, dass die drei zen­tralen Säulen der Nach­haltigkeit umfasst: Ökolo­gie, Ökonomie und Soziales. Unsere Auf­gabe im Pro­jekt ist es, diese Bew­er­tung in ein leis­tungs­fähiges dig­i­tales Sys­tem zu übersetzen. 

Beispiel­ergeb­nis ein­er Nachhaltigkeitsbewertung.

Fortschritte in der technischen Entwicklung 

Im let­zten Jahr lag der Fokus unser­er Arbeit auf der Entwick­lung von Importrou­ti­nen, Daten­ver­ar­beitung­sprozessen und Schnittstellen zur beste­hen­den Soft­ware REPRO. REPRO ist ein umfassendes Sys­tem zur ökol­o­gis­chen und datengetriebe­nen Analyse von Ack­er­schlagkarteien der INL GmbH und spielt eine zen­trale Rolle bei der Datenintegration. 

Damit das Pro­jekt effizient und struk­turi­ert voran­schre­it­en kann, haben wir zu Beginn des Jahres mehrere tech­nis­che und organ­isatorische Maß­nah­men umgesetzt: 

  • Ein­rich­tung eines Issue-Man­age­ment-Sys­tems: Mit Red­mine haben wir ein zen­trales Tool für Auf­gaben­man­age­ment, Doku­men­ta­tion und Zusam­me­nar­beit geschaffen. 
  • Opti­mierung der DevOps-Prozesse und Server­ad­min­is­tra­tion, um einen rei­bungslosen Entwick­lung­sprozess zu gewährleisten. 
  • Struk­turierung des Berichtswe­sens, um den Pro­jek­t­fortschritt trans­par­ent zu dokumentieren. 

Meilensteine: Datenverarbeitung und Systemintegration 

In den let­zten Monat­en lag unser Fokus auf der Mod­el­lierung und Entwick­lung von Daten­ver­ar­beitungsrou­ti­nen. Beson­ders für die Säulen Soziales und Ökonomie kon­nten wir entschei­dende Fortschritte erzie­len und die Anbindung an REPRO erfol­gre­ich realisieren. 

Darüber hin­aus waren wir aktiv an der Konzep­tion der Gesamtar­chitek­tur beteiligt. In Zusam­me­nar­beit mit der IAK haben wir Mock­ups und Schnittstellen entwick­elt, um die dig­i­tale Umset­zung des Sys­tems zu unterstützen. 

Nachhaltigkeitsbewertung als Webanwendung 

Ein High­light unser­er bish­eri­gen Arbeit ist die dig­i­tale Darstel­lung der Nach­haltigkeits­be­w­er­tung für einen Beispiel­be­trieb. Diese Weban­wen­dung wurde bere­its von der IAK der Öffentlichkeit präsen­tiert und bietet land­wirtschaftlichen Betrieben einen wertvollen Ein­blick in ihre Nachhaltigkeitsperformance. 

Durch diese dig­i­tale Auf­bere­itung kön­nen Betriebe: 

  • die Ergeb­nisse ihrer Nach­haltigkeits­be­w­er­tung intern analysieren, 
  • die Dat­en trans­par­ent gegenüber exter­nen Stake­hold­ern (z. B. Behör­den, Kun­den, Zer­ti­fizierungsstellen) kommunizieren, 
  • sowohl aggregierte als auch detail­lierte Ein­blicke in die drei Nach­haltigkeits­di­men­sio­nen erhalten. 

Näch­ste Schritte: Aus­bau und Optimierung 

Basierend auf den bish­eri­gen Ergeb­nis­sen konzen­tri­eren wir uns nun auf: 

  • die Imple­men­tierung weit­er­er Systemkomponenten, 
  • die Schaf­fung zusät­zlich­er Schnittstellen, 
  • die Ein­bindung weit­er­er Datenquellen. 

Nach ein­er aus­führlichen Test- und Erprobungsphase wird das InfAI eine tech­nis­che Bew­er­tung und Opti­mierung des Sys­tems vornehmen. Ziel ist es, eine robuste, prax­is­na­he und ein­fach nutzbare Lösung für nach­haltige Land­wirtschaft zu schaffen. 

Wir freuen uns darauf, die kom­menden Entwick­lun­gen hier auf unser­er Web­site zu teilen und sind ges­pan­nt auf das Feed­back aus der Praxis! 

Dig­i­tale Ergeb­nis­darstel­lung der Bew­er­tung entsprechend den DINAK-Kri­te­rien für einen beispiel­haften Betrieb, umge­set­zt durch IAK GmbH

Artikel „Assessing SPARQL capabilities of Large Language Models“ nun in den Workshop-Proceedings von NLP4KGc@SEMANTiCS24 veröffentlicht 

Grafik 1: Überblick zu den 4 betra­chteten Task-Typen: Text2Sparql (T2S), Text2Answer (T2A), Sparql2Answer (S2A) und Spar­ql­Syn­tax­Fix­ing (SSF) 

Unser bere­its als Preprint veröf­fentlichter Artikel „Assess­ing SPARQL capa­bil­i­ties of Large Lan­guage Mod­els“ (Lars-Peter Mey­er, Johannes Frey, Felix Brei und Natanael Arndt 2024) ist nun offiziell veröf­fentlicht in den Pro­ceed­ings des Work­shop „NLP4KGC: 3rd Inter­na­tion­al Work­shop on Nat­ur­al Lan­guage Pro­cess­ing for Knowl­edge Graph Cre­ation in con­junc­tion with SEMAN­TiCS 2024 Con­fer­ence”. Wir stellen dort eine Ergänzung des LLM-KG-Bench-Frame­works vor, mit der die SPAR­QL-Fähigkeit­en von großen Sprach­mod­ellen (englisch: Large Lan­guage Mod­ells, kurz: LLMs; englisch: Knowl­edge Graph, kurz: KG, deutsch: Wis­sens­graph) automa­tisiert gemessen wer­den kön­nen. Das LLM-KG-Bench-Frame­work ist ein am InfAI e. V. entwick­eltes Werkzeug zum automa­tisierten Bew­erten der Fähigkeit­en von LLMs mit Wis­sens­graphen umzuge­hen. Wenn LLMs bess­er mit Wis­sens­graphen umge­hen kön­nen, wür­den LLMs vielle­icht weniger hal­luzinieren sowie die Arbeit mit Wis­sens­graphen für Men­schen erle­ichtern können. 

Das automa­tisierte Messen hil­ft dabei neue LLMs für fach­spez­i­fis­che Auf­gaben objek­tiv einord­nen zu kön­nen. Und durch die Automa­tisierung kön­nen viele Mess­wieder­hol­un­gen durchge­führt wer­den, um trotz dem nicht­de­ter­min­is­tis­chen Antwortver­hal­ten von LLMs ver­lässliche Ergeb­nisse zu erhalten. 

In der Welt von RDF-Wis­sens­graphen ist SPARQL die gebräuch­lich­ste Schnittstelle und Abfrage­sprache.  Deshalb geht es bei der nun vorgestell­ten Unter­suchung um die Syn­tax und Seman­tik von SPARQL SELECT Anfra­gen. Diese wur­den beispiel­haft für ins­ge­samt neun LLMs von Ope­nAI, Anthrop­ic und Google gemessen. Basierend auf den in Grafik 1 dargestell­ten 4 Auf­gaben­typen wur­den 13 ver­schiedene Auf­gaben­vari­anten zu fünf ver­schiede­nen Wis­sens­graphen betrachtet. 

Grafik 2: Auszug aus dem Artikel mit Ergeb­nis­sen für den Bere­ich Text2Sparql(T2S). Die Ergeb­nisse sind als Box­plots gezeigt mit Kreuzen für einzelne Mess­werte und Kreisen für den Mit­tel­w­ert. Bei dem Score bedeutet 1 ein opti­males Ergeb­nis, ein Score von 0,2 bedeutet ein syn­tak­tisch richtiges aber seman­tisch falsches Ergeb­nis, ein Score von 0 wird bei Syn­taxfehler vergeben. Für weit­ere Ergeb­nisse und Erläuterun­gen sei auf den voll­ständi­gen Artikel verwiesen. 

Zen­trales Ergeb­nis unser­er Arbeit ist: Zwis­chen den einzel­nen Auf­gaben und LLMs gibt es große Unter­schiede. Zusam­men­fassend kann man sagen, dass die besten der unter­sucht­en aktuellen LLMs kaum Schwierigkeit­en mit der Syn­tax haben, jedoch bei seman­tis­chen Auf­gaben auf Her­aus­forderun­gen stoßen. Für Details sei auf den frei ver­füg­baren Artikel und Repos­i­to­rien verwiesen. 

Die Arbeit wurde über ver­schiedene Pro­jek­te am InfAI e. V. gefördert: StahlDig­i­tal, ScaleTrust, KISS — KI-gestütztes Rapid Sup­ply Net­work, Coy­Pu — Cog­ni­tive Econ­o­my Intel­li­gence Plat­tform für die Resilienz wirtschaftlich­er Ökosysteme. 

Der Code zum LLM-KG-Bench-Frame­works ist bei Github sowie Zen­o­do zu find­en und die voll­ständi­gen Ergeb­nisse wur­den bei  GitHub und Zen­o­do veröffentlicht. 

Link zum Paper: