Using Large Language Models and Law-Based Rules over Extracted Knowledge Graphs for the Analysis of VAT Chain-Transaction Cases in Austrian VAT Law

Entscheidungen im Rechtsbereich müssen zuverlässig und eindeutig sein, weshalb sie auf einer erklärbaren und logisch begründeten Grundlage getroffen werden müssen. Genau damit haben aber Large Language Models (LLM) nach wie vor ihre Schwierigkeiten, und das ist mitunter ein Grund, warum AI-Applikationen im Rechtsbereich im AI-Act der EU als Hoch-Risiko-Applikationen eingestuft werden. Passend dazu stellen wir in dieser Arbeit einen neuen Ansatz vor, der die Stärken von LLMs in der Verarbeitung von natürlichsprachlichen Text und den Möglichkeiten von regelbasierten Entscheidungen zu einer robusten Anwendung zusammenführt. Die Anwendung liefert Ergebnisse im Zusammenhang mit umsatzsteuerlichen Reihengeschäften gemäß österreichischen Umsatzsteuergesetz, welche auf Logik und den geltenden Gesetzen basieren. Das benötigte Framework für die strukturierte Aufbereitung der Entscheidungsgrundlage wird durch einen Knowledge Graph gebildet, der gleichzeitig auch für die Erzeugung einer grafischen Darstellung genutzt wird. Insgesamt wurde die Anwendung mit 167 Fällen aus der Praxis getestet und dabei wurde eine Genauigkeit von 94% in der Lösung von umsatzsteuerlichen Reihengeschäften erzielt. Trotz der Ungenauigkeit von 6% leisten die Ergebnisse dieser Arbeit einen wertvollen Beitrag zur praktischen Anwendung von LLMs im Bereich der umsatzsteuerlichen Reihengeschäften, da bereits die visuelle Darstellung eines komplexen Sachverhalts eine Effizienzsteigerung bei der Lösung eines Reihengeschäfts mit sich bringt. Neben der automatischen Auflösung von Reihengeschäften ist daher die visuelle Darstellung ein wertvolles Artefakt, das aus der entwickelten Anwendung hervorgeht.

Legal decisions must be reliable and unambiguous, which is why they must be made on an explainable and logically founded basis. Yet, this is precisely where large language models (LLMs) still have their difficulties due to their tendency to hallucinate. As a result, the EU AI Act classifies AI applications in the legal domain as high-risk, requiring additional governance and safeguards. In this paper, we present a novel approach that combines the strengths of LLMs in processing natural-language text and the possibilities of rule-based decisions into a robust application that produces logic-based and law-based results in the context of VAT chain-transaction cases in Austrian VAT law. The framework required for the structured preparation of the decision basis is formed by a knowledge graph, which is also used to generate a graphical representation. The application was tested with a total of 167 practical cases and an overall accuracy of 94% in solving cases of VAT chain transactions was achieved. Despite the 6% inaccuracy, the findings of this work make a valuable contribution to the practical application of LLMs in the field of VAT chain transactions, as even the visual representation of a complex issue brings efficiency gains for solving a chain transaction. In addition to the automatic resolution of chain transactions, the visual representation is therefore a valuable artifact resulting from the developed application.