Lab-Test 01: Kann KI eine Umsatzabweichung belastbar erklären?

Sechs Antworten auf denselben Finance-Fall. Einmal stimmt die Gesamtabweichung, während zwei Treiber falsch sind. Was das für die Prüfung KI-generierter Management-Kommentare bedeutet.

Lab-Test 01 · 2. November 2026 · Synthetische Daten · Perplexity Sonar

Die Umsatzabweichung beträgt minus 28.500 Euro. Die KI berechnet sie korrekt, benennt den Produktmix als wichtigsten negativen Treiber und liefert eine Umsatzbrücke, deren Einzelpositionen exakt zur Gesamtabweichung passen. Der Management-Kommentar klingt brauchbar.

Bei der Prüfung der einzelnen Effekte fällt die Analyse auseinander: Der ausgewiesene Preiseffekt ist um mehr als 27.000 Euro zu hoch. Der Mixeffekt ist um denselben Betrag zu negativ. Wer nur die Endsumme mit dem Reporting abgleicht, würde diese Antwort durchlassen.

Genau das trat in einem der sechs für diesen Beitrag ausgeführten Modellläufe auf. Der Fehler ist besonders relevant für Finance-Teams, weil eine geschlossene Umsatzbrücke im Monatsreport zunächst Vertrauen schafft. Für ihre fachliche Freigabe braucht es zusätzlich eine Prüfung der einzelnen Treiber gegen die Ausgangsdaten.

Der Fall: mehr Stück, weniger Umsatz

Der Test verwendet einen konstruierten Monatsdatensatz mit drei vergleichbaren Produktvarianten. Alle Mengen sind in Stück, alle Preise als realisierte durchschnittliche Nettoerlöse je Stück angegeben. Zeitraum und Konsolidierungskreis sind einheitlich; Währungs- und Abgrenzungseffekte sind ausgeschlossen. Es handelt sich um eine Illustration, nicht um Daten eines Unternehmens.

Geplant sind 300.000 Euro Umsatz. Tatsächlich ergeben sich 271.500 Euro, also 28.500 Euro beziehungsweise 9,5 % weniger. Gleichzeitig steigt die Gesamtmenge von 1.750 auf 1.800 Stück, ein Plus von 2,86 %.

A und B verkaufen zusammen 200 Stück mehr als geplant. Bei der Variante C fehlen 150 Stück. Da C den höchsten Erlös je Stück hat, wiegt dieser Rückgang schwer. Auf Produktebene stehen Umsatzverbesserungen von 15.500 Euro bei A und 14.000 Euro bei B einer Verschlechterung von 58.000 Euro bei C gegenüber.

Für eine Management-Analyse reicht die Feststellung „C liegt unter Plan“ allerdings noch nicht aus. Es muss klar werden, welchen Anteil die Gesamtmenge, die Zusammensetzung des Absatzes und die Preise an der Veränderung haben.

Die Referenzrechnung: eine explizite Mengen-Mix-Preis-Brücke

Die Referenz folgt der Reihenfolge Gesamtmenge → Produktmix → Preis. Zunächst verändert sich ausschließlich die Gesamtstückzahl bei unverändertem Planmix und unveränderten Planpreisen. Danach wird auf den tatsächlichen Produktmix umgestellt. Im letzten Schritt werden die Istpreise auf die Istmengen angewendet.

Der Gesamtmengeneffekt bewertet die zusätzlichen 50 Stück zum geplanten Durchschnittserlös von 171,43 Euro. Daraus entstehen rund 8.571 Euro zusätzlicher Umsatz.

Für den Mixeffekt werden die tatsächlichen Mengen mit den Mengen verglichen, die bei 1.800 Stück Gesamtabsatz und unveränderten Plananteilen entstanden wären: rund 1.028,57 Stück A, 514,29 Stück B und 257,14 Stück C. Die Differenzen werden mit den jeweiligen Planpreisen bewertet. Ergebnis: minus 38.571,43 Euro.

Der Preiseffekt lässt sich unmittelbar nachrechnen:

• A: 1.100 × (105 € − 100 €) = +5.500 €
• B: 600 × (190 € − 200 €) = −6.000 €
• C: 100 × (420 € − 400 €) = +2.000 €

Zusammen ergibt das +1.500 Euro. Die Preisänderungen wirken unter dieser Definition insgesamt umsatzsteigernd. Die negative Umsatzabweichung entsteht vor allem aus der Verschiebung hin zu Varianten mit niedrigeren Planpreisen.

Warum die Reihenfolge dazugehört

Preis und Menge verändern sich gleichzeitig. Deshalb hängt die Zuordnung ihrer Wechselwirkung von der gewählten Rechenkonvention ab. Werden Preisänderungen zuerst mit Planmengen bewertet, beträgt dieser Preiseffekt 5.000 Euro. Die gemeinsame Wechselwirkung aus Preis- und Mengenänderungen beträgt minus 3.500 Euro. In der hier verwendeten Reihenfolge steckt sie im abschließenden Preiseffekt von 1.500 Euro.

Eine andere vollständig definierte und korrekt gerechnete Brücke kann daher andere Einzelbeiträge ausweisen. Im Test wurde sie nicht allein deshalb als falsch bewertet. Entscheidend waren die Konsistenz von Definition, Rechenweg und Ergebnis.

Die Referenzrechnung ist eine Umsatzanalyse. Für eine Deckungsbeitragsanalyse wären andere Bewertungsgrößen erforderlich. Der ACCA-Prüfungsbericht vom Juli 2020 erläutert den Sales-Mix-Effekt ausdrücklich anhand von Standardmargen. Er macht zugleich deutlich, warum Mengenanteile und Umsatzanteile nicht austauschbar sind. Die dortige Margenformel sollte deshalb nicht ungeprüft in eine Umsatzbrücke übernommen werden.

Der Versuchsaufbau

Getestet wurde die Modellkennung perplexity/sonar über die Perplexity-Schnittstelle, angebunden über das Composio-Plugin. Die sechs Antworten entstanden in getrennten Anfragen ohne gemeinsamen Chatverlauf. Für diese Testaufrufe wurden keine Websuche und keine externen Rechenwerkzeuge bereitgestellt. Die gesonderte Quellenrecherche über Perplexity gehört nicht zu den sechs Messläufen.

Variante A: Rohdaten und Analyseauftrag. Das Modell erhielt die Tabelle samt den oben genannten Annahmen. Es sollte Umsatzabweichung, Preis-, Mengen- und Mixeffekte berechnen, die Treiber und betrieblichen Ursachen erklären sowie einen Management-Kommentar mit nächsten Schritten formulieren. Eine Rechenkonvention wurde nicht vorgegeben.

Variante B: geprüfte Referenz und Belegregeln. Zusätzlich zu denselben Rohdaten erhielt das Modell die berechnete Umsatzbrücke samt Definitionen. Es sollte die Überleitung prüfen, Zahlenbefunde von offenen Ursachen trennen und keine unbelegten Aussagen über Margen, EBITDA oder Zeitersparnis ableiten.

Jede Variante wurde dreimal ausgeführt. Die Kriterien standen vor dem ersten Lauf fest: richtige Umsatzsummen, korrekt hergeleitete Einzelbeiträge, konsistente Methodik, saubere Interpretation des Durchschnittspreises und keine unbelegten Ursachen- oder Ergebnisbehauptungen. Alle sechs vollständigen Antworten sind berücksichtigt.

B erhält mehr Information und strengere Instruktionen. Der Vergleich untersucht damit zwei Arbeitsweisen. Er isoliert weder die Wirkung einer einzelnen Formulierung noch die Rechenleistung des Modells: In B wird ein wesentlicher Teil der Analyse bereits bereitgestellt.

Das Ergebnis: eine richtige Endsumme kann falsche Treiber verdecken

In A1 nennt die Antwort die Reihenfolge „Preis, Gesamtmenge, Mix“. Ihre Formeln und Zahlen entsprechen jedoch der Reihenfolge Menge, Mix, Preis. Die Werte sind richtig; die Beschreibung des Verfahrens muss korrigiert werden. Für eine wiederverwendbare Reporting-Logik ist diese Unterscheidung relevant.

A3 enthält den schwerwiegenderen Fehler:

In dieser Antwort sind Mix und Preis um jeweils 27.143 Euro in entgegengesetzte Richtungen verschoben. Beide Fehler heben sich in der Gesamtsumme auf.

Auch innerhalb der Antwort entstehen Widersprüche. Die aufgeführten Preisbeiträge lauten +5.500 Euro, −6.000 Euro und +4.200 Euro. Sie ergeben zusammen 3.700 Euro, nicht die in der Tabelle ausgewiesenen 28.643 Euro. Zudem ist bereits der Preisbeitrag für C falsch: 100 Stück × 20 Euro ergeben 2.000 Euro.

Eine Freigabeprüfung, die nur „Plan plus Effekte gleich Ist“ kontrolliert, würde A3 akzeptieren. Eine Prüfung der Preisformel je Produkt würde die Antwort zurückweisen. Dieser Unterschied ist die wichtigste Beobachtung des Tests.

Was im Test gut funktionierte

Alle sechs Antworten wiesen darauf hin, dass die betrieblichen Ursachen mit den vorhandenen Daten nicht feststellbar sind. Keine erklärte einen Nachfragerückgang, einen Lieferengpass oder eine Rabattaktion ohne Beleg zur Tatsache. Auch die fehlerhafte Antwort A3 hielt diese Grenze ein.

Die drei B-Antworten übernahmen die bereitgestellten Werte korrekt und trennten Zahlenbefunde von offenen Ursachen. Das zeigt in diesem Fall eine brauchbare Verarbeitung geprüfter Analyseergebnisse. Ob das Modell auch fehlerhafte Referenzwerte erkennen würde, wurde nicht getestet. Die Formulierung „kein Widerspruch erkennbar“ ist deshalb kein unabhängiges Prüfsiegel.

Der Durchschnittspreis ist eine zusätzliche Fehlerquelle

Über alle Produkte gerechnet sinkt der durchschnittliche Erlös je Stück von 171,43 auf 150,83 Euro, also um 12,01 %. Daraus eine allgemeine Preissenkung von zwölf Prozent abzuleiten, wäre falsch. Der Durchschnitt verändert sich auch dadurch, dass wesentlich weniger Stück der hochpreisigen Variante C verkauft werden.

In der definierten Brücke beträgt der isolierte Preiseffekt trotz des niedrigeren Durchschnittserlöses plus 1.500 Euro. Für Management-Kommentare sollte deshalb feststehen, ob „Preis“ den realisierten Durchschnitt über das gesamte Sortiment oder die Preisänderung innerhalb vergleichbarer Produkte bezeichnet.

Selbst unsere Produktpreise sind Durchschnittswerte. In realen Daten könnten sie beispielsweise unterschiedliche Kunden-, Vertrags- oder Rabattstrukturen innerhalb eines Produkts enthalten. Der Test belegt daher keinen reinen Listenpreiseffekt. Die gewählte Granularität begrenzt, wie genau Finance eine Veränderung erklären kann.

Rechnerischer Treiber und betriebliche Ursache brauchen unterschiedliche Belege

Aus der Tabelle lässt sich bestimmen, dass C 150 Stück unter Plan liegt und dadurch die Erlösstruktur ungünstiger wird. Die Tabelle sagt nicht, warum das passiert ist.

Eine Nachfrageverschiebung müsste etwa durch verlorene Aufträge, Kundeninformationen oder veränderte Bestellungen belegt werden. Eine Lieferursache bräuchte Bestände, Rückstände und Liefertermine. Eine zu hohe Planung wäre anhand der ursprünglichen Planannahmen zu untersuchen. Diese Erklärungen können ähnliche Umsatzbilder erzeugen und führen dennoch zu unterschiedlichen Maßnahmen.

Das NIST-Profil für generative KI von 2024 beschreibt das Risiko selbstsicher formulierter falscher Inhalte und empfiehlt unter anderem Vergleiche mit bekannten Referenzdaten sowie kontextbezogene Evaluation. Für Finance lässt sich daraus eine praktische Regel ableiten: Jeder berechnete Effekt braucht eine überprüfbare Herleitung; jede behauptete Ursache einen passenden Beleg. Im vorliegenden Test lag die beobachtete Schwäche bei der Herleitung einzelner Zahlen.

Was daraus für den Finance-Prozess folgt

Für einen produktiven Ablauf bietet sich eine Arbeitsteilung an, bei der Finance die Definitionen und die Rechenlogik verantwortet. Eine geprüfte Berechnung liefert die Umsatzbrücke. Das Sprachmodell formuliert daraus einen Kommentar und strukturiert die offenen Untersuchungsfragen. Die Freigabe bleibt an konkrete Kontrollen gebunden.

Für FP&A bedeutet das: Jede Komponente gegen ihre Quelldaten prüfen. Beim Preiseffekt müssen Produktmenge und Preisdifferenz stimmen; beim Mixeffekt müssen Referenzanteile und Bewertungspreise dokumentiert sein. Summe und Einzelpositionen werden separat kontrolliert. Der Fall A3 sollte als Fehlerfall in einer späteren Testsammlung erhalten bleiben.

Für CFOs sollte ein Pilot vorab festlegen, wann eine Antwort verworfen wird. Eine materiell falsche Treiberzerlegung darf eine sprachlich überzeugende Kommentierung nicht passieren lassen. Gleichzeitig braucht der Business Case eine Messung der gesamten Bearbeitungszeit einschließlich Datenaufbereitung, fachlicher Kontrolle und Korrekturen. Dieser Test hat keine Arbeitszeitersparnis gemessen.

Für Operating Partners steht vor der Skalierung ein gemeinsames Definitionsproblem: Was gilt im Portfolio als Menge, Preis und Mix? Stückzahlen unterschiedlicher Geschäftsmodelle lassen sich nicht beliebig zusammenfassen. Umsatzmix und Margenmix müssen getrennt bleiben. Erst eine fachlich vergleichbare Datenbasis ermöglicht sinnvoll standardisierte Kommentare; unternehmensspezifische Ursachen benötigen weiterhin lokale Evidenz.

Ein brauchbarer Kommentar zu unserem Fall könnte lauten:

Der Umsatz liegt mit 271.500 Euro um 28.500 Euro beziehungsweise 9,5 % unter Plan. Die Gesamtmenge steigt um 2,86 %. In der definierten Mengen-Mix-Preis-Brücke stehen positiven Mengen- und Preiseffekten von zusammen 10.071,43 Euro ein negativer Mixeffekt von 38.571,43 Euro gegenüber. Besonders auffällig ist der Absatz von C mit 100 statt 250 geplanten Stück. Die Ursache dieses Rückgangs ist offen; als Nächstes sind Auftragslage, Lieferfähigkeit und Planannahmen abzugleichen. Eine Ergebniswirkung lässt sich ohne Kostendaten nicht bestimmen.

Dieser Kommentar ist ein redaktionell erstelltes Beispiel auf Basis der geprüften Rechnung, kein wörtlicher Modellauszug.

Wie weit trägt dieser Befund?

Ein synthetischer Fall mit drei Produkten und sechs Antworten erlaubt keine belastbare Schätzung einer allgemeinen Fehlerquote. Die Beobachtung in einem von drei offenen Läufen ist keine Aussage, dass das Modell in einem Drittel realer Fälle scheitert. Ebenso wenig belegen drei unauffällige B-Antworten Produktionsreife.

Der Datensatz enthält weder fehlende Werte noch neue Produkte ohne Planpreis, Retouren, Wechselkurse oder komplizierte Umsatzabgrenzungen. Auch die Wirkung verschiedener Prompts, Modelle und Samplingparameter wurde nicht systematisch untersucht. Ein Unternehmen müsste seine eigenen typischen Fälle und Grenzfälle ergänzen.

Die Forschungsarbeit FinQA von Chen und Mitautoren, 2021 macht einen für diesen Test hilfreichen methodischen Gedanken sichtbar: Zu finanziellen Fragen werden neben Antworten auch nachvollziehbare Rechenprogramme und unterstützende Informationen benötigt. Ihre damaligen Modellergebnisse sind kein Leistungsmaßstab für heutige Systeme. Der Nutzen für diesen Artikel liegt im Prüfprinzip, die Herleitung zusammen mit dem Ergebnis zu bewerten.

Das Urteil für diesen Lab-Test ist damit begrenzt, aber konkret: Die offene Analyse lieferte einmal materiell falsche Einzelbeiträge trotz korrekter Endsumme. Die Verarbeitung einer bereitgestellten, geprüften Brücke blieb in drei Läufen unauffällig. Für den Einsatz im Reporting sollte die Freigabe an überprüfbare Treiberrechnungen gebunden sein.

Testprotokoll und Reproduktion

Testdatum: 2. November 2026. Modellkennung: perplexity/sonar, Perplexity Agent API über Composio. Sechs vollständige Antworten, je drei pro Variante; getrennte Anfragen ohne vorangehenden Chatverlauf. Keine externen Werkzeuge im Test. Maximale Ausgabelänge: 2.200 Tokens je Anfrage. Die Antworten melden temperature=1 und top_p=1; diese Parameter wurden über den verwendeten Tool-Aufruf nicht gesondert gesetzt. Eine unveränderliche Modellrevision wurde nicht ausgewiesen.

Ein B2-Aufruf wurde wegen einer API-Ratenbegrenzung mit HTTP 429 abgelehnt und ohne vorliegende Modellantwort wiederholt. Er zählt als technischer Fehler, nicht als zusätzlicher Testlauf. Alle erfolgreichen Antworten werden im Begleitmaterial vollständig dokumentiert. Die Reihenfolge der Kennzeichnungen bezeichnet die geplanten Läufe, nicht zwingend ihre Abschlusszeit.

Die Referenz wurde mit exakter Bruchrechnung berechnet und über eine separate Preis-Mengen-Rechnung unabhängig gegengeprüft. Die Prüfung der Antworten erfolgte anhand vorab dokumentierter Kriterien. B variiert Referenzinformationen und Instruktionen gemeinsam; kein isolierter Prompt-Vergleich. Die fachliche Qualität von Management-Empfehlungen und menschlicher Nachbearbeitungsaufwand wurden nicht empirisch gemessen.

Recherche, Testausführung und redaktionelle Ausarbeitung wurden KI-gestützt erstellt. Die Berechnungen, Rohantworten und Bewertungsgrundlagen sind im Testpaket offengelegt. Es wurden ausschließlich synthetische Geschäftsdaten verwendet.