Havas testet KI-Systeme für die Mediaplanung
Künstliche Intelligenz wird zunehmend für Mediastrategien, Budgetentscheidungen und die Bewertung von Agenturempfehlungen eingesetzt. Mit dem Havas AI Media Quality (HAI-Q) Index hat Havas Media Germany nun ein Benchmark-Set vorgestellt, das die Leistungsfähigkeit von KI-Systemen bei Aufgaben der Mediaplanung für den deutschen Markt messen soll.
Der Benchmark umfasst 35 praxisnahe Aufgaben aus der Mediaplanung. Dazu zählen strategische Fragestellungen, Kanal- und Budgetallokationen, Zielgruppenbewertungen sowie die Berechnung und Interpretation von Reichweiten-, GRP- und Wirkungswerten. Ziel ist es, die tatsächliche Planungskompetenz von KI-Systemen von sprachlich überzeugenden Antworten zu unterscheiden.
Benchmark prüft Mediaplanung
Nach Angaben von Havas Media beantworten aktuelle Large Language Models die Testaufgaben im Durchschnitt nur in rund 50 Prozent der Fälle korrekt. Besonders bei numerischen Berechnungen, Reichweitenprognosen und datenbasierten Budgetentscheidungen zeigten sich deutliche Schwächen.
Im Vergleich der getesteten Systeme erreichte die unternehmenseigene Havas Agentic Media Machine 33 von 35 korrekten Antworten und damit eine Trefferquote von 94,3 Prozent. GPT-5 kam auf 16 richtige Antworten (45,7 Prozent), Claude Sonnet 4.5 auf sechs (17,1 Prozent) und GPT-4o auf vier (11,4 Prozent).
Spezialisierte Systeme im Fokus
Florian Teschner, verantwortlich für den Benchmark: „Viele Antworten wirken auf den ersten Blick überzeugend. Genau darin liegt die Gefahr. Marketingverantwortliche erhalten häufig strategisch plausible Empfehlungen, können aber kaum beurteilen, ob die zugrunde liegenden Zahlen, Annahmen oder Ableitungen tatsächlich korrekt sind. Unser Benchmark zeigt, dass zwischen einer gut klingenden Antwort und einer belastbaren Mediaempfehlung noch ein erheblicher Unterschied besteht."
Nach Angaben des Unternehmens basiert die Havas Agentic Media Machine auf einem seit 2023 entwickelten KI-System, das Sprachmodelle mit Mediaplanungswissen und aktuellen Daten kombiniert und heute konzernweit eingesetzt wird.
Benchmark soll weiter ausgebaut werden
Havas Media sieht die Ergebnisse als Argument für den gezielten Einsatz spezialisierter KI-Systeme in der Mediaplanung.
Florian Teschner: „Die spannende Frage lautet nicht, ob KI die Mediaagentur ersetzt. Die eigentliche Frage lautet: Welche Art von KI kann Mediaentscheidungen tatsächlich verbessern? Unsere Ergebnisse zeigen, dass generalistische Modelle wertvolle Sparringspartner sein können. Für belastbare Planungsergebnisse braucht es jedoch spezialisierte Systeme, eigene Daten, Agentenlogiken und Branchenwissen."
Der Havas AI Media Quality Benchmark soll künftig erweitert werden. Geplant sind zusätzliche Testfragen, weitere Modellvergleiche sowie die Einbeziehung internationaler Märkte und weiterer Anwendungsfelder im Marketing.
Florian Teschner: „Die Zukunft gehört nicht einzelnen Modellen. Sie gehört intelligent orchestrierten Systemen, die Daten, Technologie und menschliche Expertise miteinander verbinden. Genau dort sehen wir den nächsten Entwicklungsschritt der KI-gestützten Mediaplanung."
