Im zweiten Anlauf geschafft: Die künstliche Intelligenz ChatGPT hat jetzt auch die US-Examen für Wirtschaftsprüfer und Steuerberater bestanden. Nachdem die frühere Version GPT 3.5 noch scheiterte, löste GPT 4.0 nun 85,1 Prozent aller Testaufgaben korrekt – und bestand damit alle vier Zertifikatsprüfungen im Rechnungswesen. Dies demonstriert, dass KI-Systeme auf Basis großer Sprachmodelle inzwischen fortgeschritten genug sind, um uns Menschen auch in diesem Bereich Konkurrenz zu machen.
Ob ChatGPT, BARD oder Bildgeneratoren: Die künstliche Intelligenz macht zurzeit so rasende Fortschritte, dass selbst KI-Experten vor einer unkontrollierten weiteren Entwicklung warnen. Die auf großen Sprachmodellen und neuronalen Netzwerken beruhenden KI-Systeme können scheinbar mühelos verschiedenste Texte, Programmcodes und Bilder generieren. Selbst fachspezifische Texte oder Prüfungen wie das US-Juraexamen oder Medizinertests haben die generativen KI-Systeme bereits erfolgreich absolviert.
An einem Punkt scheiterte CHatGPT jedoch bisher: Ausgerechnet im Rechnungswesen schnitt die künstliche Intelligenz in ihrer Version GPT 3.5 eher mau ab. In US-Prüfungen zum Certified Public Accountant (CPA) und Enrolled Agent – vergleichbar einem Wirtschaftsprüfer und Steuerberater – erreichte das KI-System nur rund 53 Prozent der Punkte und fiel damit prompt durch. Generell zeigte GPT 3.5 im mathematisch-ökonomischen Bereich noch erhebliche Schwächen.
GPT 4.0 zur Prüfung bitte!
Doch das hat sich nun geändert, wie ein Team um Marc Eulerich von der Universität Duisburg-Essen festgestellt hat. Sie haben die im März 2023 vom US- Unternehmen OpenAI lancierte KI-Version GPT 4.0 zur Prüfung antreten lassen. Die Tests umfassten jeweils 150 bis 300 Fragen aus vier offiziellen US-Examen für Wirtschaftsprüfer und Steuerberater. „Diese Examen decken die Hauptbereiche des Rechnungswesens ab, von finanziellen Aspekten über internes und externes Auditing und Wirtschaftsprüfung bis zur Steuerbuchhaltung“, erklärt das Team.
Für die Prüfung setzten die Forschenden drei Versionen der künstlichen Intelligenz ein: einmal den normalen, nicht weiter vortrainierten ChatGPT 4.0, dann eine Version, die zuvor mit zehn Prompts aus dem Rechnungswesen trainiert worden war und als drittes eine Version, die durch mehrere PlugIns ergänzt war. Diese ermöglichten es dem KI-System, einen Taschenrechner zu nutzen, Internetsuchen durchzuführen und mögliche Lösungswege in Einzelschritte zu zerlegen.
Alle vier Examen bestanden
Das Ergebnis: Ohne Training und Plugins bestand ChatGPT 4.0 fünf von zwölf Untersektionen der Prüfungen sowie die gesamte Prüfung zum Certified Internal Accountant (CIA). Schon damit schnitt das KI-System erheblich besser ab als sein Vorgänger. Das kurze Training mit zehn Prompts verbesserte das Ergebnis auf sieben bestandene Unterexamen, ChatGPT 4.0 mit den PlugIns bestand dann alle Prüfungen. Sein Durchschnittsergebnis lag bei 85,1 Prozent korrekt gelöster Aufgaben – zum Bestehen wurden 70 bis 75 Prozent richtige Antworten benötigt.
„Diese Ergebnisse zeigen, dass die heutige KI-Technologie – mit nur minimalen zusätzlichen Aufwand – leistungsfähig genug ist um jedes dieser Examen im Rechnungswesen zu bestehen“, konstatieren Eulerich und sein Team. „Das für diese Prüfungen benötigte Wissen, die intensive Vorbereitung und die hohen Durchfallquoten sind selbst für viele menschliche Experten eine Herausforderung.“ Ihren Angaben zufolge lassen sich die Ergebnisse der US-Prüfungen durchaus auf deutsche Zertifizierungsprüfungen im Rechnungswesen übertragen.
Was bedeutet dies für Jobs in Buchhaltung und Co?
Die aktuellen Ergebnisse zeigen nun, dass ChatGPT und Co tatsächlich zu einer ernstzunehmenden Konkurrenz für menschliche Wirtschaftsprüfer und Steuerberater herangewachsen sind. „Unsere Studie demonstriert, dass ChatGPT gut genug ist, um wichtige Prüfungen im Rechnungswesen zu bestehen – dies stellt die kompetitiven Vorteile des menschlichen Buchhalters gegenüber der Maschine in Frage“, schreiben Eulerich und seine Kollegen.
Jetzt müsse darüber nachgedacht werden, wie Mensch und Maschine in diesem Bereich in Zukunft zusammenarbeiten sollen. Schon vor ChatGPT und Co sagten Experten voraus, dass gerade Buchhaltung, Steuerprüfung und andere Aspekte des Rechnungswesens zu den Bereichen gehören, die in Zukunft am ehesten durch KI-Systeme automatisiert werden. Es sei daher absehbar, dass in diesen Bereichen viele Arbeitsplätze durch die künstliche Intelligenz verloren gehen werden, so die Prognose.
KI als Ergänzung statt Ersatz
Nach Ansicht von Koautor David Wood von der Brigham Young University muss dies aber nicht unbedingt heißen, dass nun alle Buchhalter arbeitslos werden. Stattdessen sieht er in der künstlichen Intelligenz eher eine Ergänzung: „Wenn ChatGPT den ‚langweiligen‘ Routinekram erledigen kann, profitieren alle davon. Denn die Arbeit kann dann effizienter erledigt werden und die Menschen können sich auf interessantere Aspekte ihrer Arbeit konzentrieren“, so Wood. Die KI kann Aufgaben vereinfachen und automatisieren, der Mensch seine eigenen Fähigkeiten dadurch besser einsetzen.
Hinzu kommt: KI-Systeme wie ChatGPT, BARD und Co sind nicht fehlerfrei. Es wird daher gerade bei sensiblen und potenziell folgenreichen Entscheidungen eine Überprüfung und Kontrolle durch den Menschen nötig sein. Das erfordert eine entsprechende Anpassung auch der Ausbildung im Rechnungswesen. „Es bleibt etwa die Frage offen, inwieweit man sich dann in der Praxis zu sehr auf die Ergebnisse solcher Systeme verlässt“, so die Forschenden. (SSRN, 2023; doi: 10.2139/ssrn.4452175)
Quelle: Universität Duisburg-Essen
