Große Sprachmodelle als Steueranwälte: In diesem KI-Papier werden die Möglichkeiten von LLM bei der Anwendung des Steuerrechts untersucht

Feb 05, 2024

Fortschritte in der KI werden gemacht. Bei Large Language Models (LLMs) finden die schnellen Fortschritte statt. Moderne LLMs können Tools nutzen, standardisierte Beurteilungen planen und bestehen. Aber selbst für ihre Schöpfer sind LLMs einfach nur mysteriöse Kisten. Sie wissen nicht viel darüber, wie sie innerlich denken und können nicht vorhersagen, wie sich ein LLM in einer neuen Situation verhalten würde. Bevor Modelle außerhalb des Forschungsumfelds verwendet werden, empfiehlt es sich, die LLM-Leistung anhand einer langen Liste von Benchmarks zu bewerten. Allerdings müssen diese Benchmarks häufig reale Aktivitäten widerspiegeln, die für uns wichtig sind oder die der LLM während der Ausbildung auswendig gelernt hat. Die für die Leistungsbewertung erforderlichen Daten sind üblicherweise in den Datensätzen enthalten, die für die Ausbildung von LLMs verwendet werden und häufig aus dem Internet heruntergeladen werden.

Die Überlappung kann die Leistung des Modells überschätzen und den Eindruck von Verständnis erwecken, obwohl es sich möglicherweise nur um eine einfache Erkennung handelt. Aus drei Gründen konzentrieren sie ihre Bewertungsbemühungen insbesondere auf die rechtsanalytischen Fähigkeiten der LLMs. Erstens kann die Feststellung, wie gut LLMs das Gesetz verstehen, bei einer allgemeineren Regulierung von LLMs und automatisierten Systemen hilfreich sein. Eine politikrelevante Strategie besteht darin, in LLMs rechtliche und regulatorische Überlegungen für eine „rechtsinformierte KI“ zu nutzen, die mit gesellschaftlichen Idealen übereinstimmt, die durch demokratische Verfahren und Gesetzgebung etabliert wurden. Diese „Law Informs Code“-Strategie basiert auf der nachgewiesenen Fähigkeit des demokratischen Prozesses, durch iterative Beratung und Gerichtsverfahren flexible Rechtsnormen wie Treuhandpflichten zu schaffen. Die Idee dahinter ist, dass es KI-Systemen dabei helfen kann, in ungewohnten Situationen vertretbare Entscheidungen zu treffen, wenn man ihnen den Geist des Gesetzes beibringt. Wenn ein LLM-gestütztes System ein menschliches Prinzip unterstützt, könnte diese frühe Fähigkeit, zu erkennen, wenn treuhänderische Verantwortlichkeiten verletzt werden, sicherere KI-Einsätze ermöglichen. Zweitens können LLMs von Menschen als Instrumente genutzt werden, um Rechtsdienstleistungen schneller und effektiver zu erbringen, sei es durch Selbstbedienung oder einen qualifizierten Anwalt. Die Modelle können zuverlässiger und wertvoller sein, wenn sie das Gesetz besser verstehen. LLMs können bei verschiedenen Aktivitäten hilfreich sein, von der Fallvorhersage bis zur Vertragsanalyse, wodurch der Zugang zu Rechtsbeistand demokratisiert und die Kosten und Komplexität für Personen gesenkt werden, die sonst möglicherweise Schwierigkeiten haben, das Rechtssystem zu verstehen.

Angesichts der heiklen Natur juristischer Arbeit sollten bei der Umsetzung dieser Modelle bestimmte Schutzmaßnahmen umgesetzt werden. Dazu gehört die Verbesserung des Datenschutzes, die Reduzierung von Vorurteilen, die Wahrung der Verantwortung für die Entscheidungen dieser Modelle und die Bewertung der Anwendbarkeit der LLMs für einen bestimmten Anwendungsfall. Daher sind systematische Auswertungen erforderlich. Drittens: Wenn LLMs über ausreichende juristische Kenntnisse verfügen, können sie von der Regierung, der Bevölkerung und Wissenschaftlern genutzt werden, um rechtliche Widersprüche zu erkennen. LLMs können die allgemeine Wirksamkeit und Offenheit von Regierungen verbessern. Beispielsweise können LLMs häufig komplizierte Regeln und Vorschriften auf eine klare und verständliche Weise erklären.

In Zukunft können LLMs die wahrscheinlichen Auswirkungen neuer Gesetze oder Richtlinien vorhersagen. LLMs könnten möglicherweise „veraltete“ Gesetze oder Situationen identifizieren, in denen das Gesetz schweigt, während in anderen vergleichbaren Fällen der Gesetzgeber oder die Regulierungsbehörden durch das Durchsuchen riesiger Mengen an Rechtstexten und begleitenden Umsetzungen Orientierung geben. In dieser Studie untersuchen Forscher der Stanford University, der University of Michigan, der University of Washington, der University of Southern California, der Northwestern Pritzker School of Law und SimPPL die abrufgestützte Erstellung von LLMs anhand des Textes des US Code (einer Sammlung von Bundesgesetzen). ) und dem US Code of Federal Regulations (CFR). Sie bewerten das sich entwickelnde Verständnis des Steuerrechts einer Gruppe von LLMs. Sie entschieden sich im Steuerrecht für vier Faktoren.

Die rechtliche Autorität im Steuerrecht ist größtenteils in zwei Quellen enthalten: den Treasury Regulations gemäß dem CFR und Titel 26 des US-amerikanischen Kodex (allgemein bekannt als Internal Revenue Code). Dies steht im Gegensatz zu mehreren Rechtsbereichen, in denen die Lehren aus mehreren Präzedenzfällen destilliert werden. Dies ermöglicht es uns, die Recherche des LLM durch ein vordefiniertes Universum möglicherweise relevanter Dokumente zu ergänzen. Zweitens erlauben viele Steuergesetze eine schlüssige Beantwortung von Fragen. Dies ermöglicht es uns, konsistente automatische Validierungsworkflows einzurichten. Drittens erfordert die Beantwortung steuerrechtlicher Fragen für einen bestimmten Fall in der Regel mehr als nur die Lektüre der einschlägigen Rechtsbehörde; Daher können sie LLM-Kompetenzen auf eine Weise bewerten, die auf die Praxis anwendbar ist.

Viertens hat das Steuerrecht erhebliche Auswirkungen auf die alltäglichen wirtschaftlichen Aktivitäten praktisch aller Bürger und Unternehmen. Mit Hilfe mehrerer Versuchsaufbauten, einschließlich der alleinigen Verwendung des LLM, der Integration des LLM in die zugrunde liegenden Rechtstexte und verschiedener Abruftechniken (mit Vergleichen verschiedener Abrufmethoden), bewerten wir die Genauigkeit der von LLMs erzeugten Antworten bei Tausenden von Steuerrechtsanfragen. Wir führen diese Tests mit einer Reihe von LLMs durch, von den kleinsten und schwächsten Modellen bis hin zum größten modernen Modell, dem GPT-4 von OpenAI. Jedes von uns untersuchte LLM war zum Zeitpunkt seiner Einführung auf dem neuesten Stand.

Sie entdecken Beweise für die Entwicklung rechtlicher Verständnisfähigkeiten von LLMs und verbessern sich mit jeder Modellveröffentlichung, indem sie die Ergebnisse in immer größeren Modellen analysieren. Wenn die Technologie weiterhin schnell wächst, könnten sie bald Zeuge der Entwicklung übermenschlicher KI-Fähigkeiten werden.

Besuche diePapier . Alle Anerkennung für diese Forschung gebührt den Forschern dieses Projekts. Vergessen Sie auch nicht, mitzumachenunser 27k+ ML SubReddit,Über 40.000 Facebook-Community,Discord-Kanal, UndE-Mail-Newsletter, wo wir die neuesten Nachrichten aus der KI-Forschung, coole KI-Projekte und mehr teilen.

Aneesh Tickoo ist Beratungspraktikantin bei MarktechPost. Derzeit absolviert er seinen Bachelor-Abschluss in Datenwissenschaft und künstlicher Intelligenz am Indian Institute of Technology (IIT) in Bhilai. Die meiste Zeit verbringt er mit der Arbeit an Projekten, die darauf abzielen, die Leistungsfähigkeit des maschinellen Lernens zu nutzen. Sein Forschungsinteresse gilt der Bildverarbeitung und er ist leidenschaftlich daran interessiert, Lösungen dafür zu entwickeln. Er liebt es, mit Menschen in Kontakt zu treten und an interessanten Projekten mitzuarbeiten.