Mit ihrem Artificial Intelligence Jury Experiment haben die Organisatoren der Epica Awards 2023 einen Versuch gewagt und einen KI-Juror der realen Jury an die Seite gestellt. Das Ergebnis zeigt: Journalisten bewerten härter, weil sie über mehr menschliches Erfahrungswissen verfügen und ihre Einstellungen mit in die Waagschale werfen. Die künstlich intelligente Jury ist in diesem Punkt objektiver, aber auch eindimensionaler. Das Experiment ist ein interessanter Case für alle Einsatzbereiche von KI, in denen es um Bewertungs- und Entscheidungsprozesse geht.
Die Epica Awards, der seit 30 Jahren renommierte Kreativpreis, der ausschließlich auf der Bewertung einer internationalen Fach-Jury aus Branchen- und Fach-Journalisten basiert, hat 2023 als erster Kreativ-Award eine KI-Jury eingeführt. Das Projekt "AIJE" steht für "Artificial Intelligence Jury Experiment". Dessen Ziel war und ist es, das Potenzial künstlicher Intelligenz bei der Bewertung und dem Verständnis kreativer Ideen zu erforschen.
Das KI-Experiment wurde parallel zu menschlichen Jury-Bewertung durchgeführt. Die Ergebnisse von AIJE wurden nicht in die Verleihung der Epica Awards 2023 einbezogen. Nur die Urteile der insgesamt 150 menschlichen Journalisten waren für die Preisvergabe relevant. Dennoch lieferte das Experiment interessante Erkenntnisse, wie sich menschliche und künstlich-intelligente Expertise bei Bewertungsprozessen unterscheidet. Auch für die Teilnehmenden ist es interessant zu sehen, wie eine KI ihre Kreativarbeiten beurteilt.
Zur Bewertung der eingereichten Arbeiten stützte sich das AIJE KI Tool auf die Textbeschreibungen der Kampagnen, die von den Einreichern zur Verfügung gestellt wurden. Ferner beschränkte sich die KI-Jury auf die Bewertung der in die engere Wahl gekommenen Beiträge in speziell den Einreichungskategorien, die sich für eine textliche Erläuterung eignen. Zur Formulierung der Beschreibungstexte wurde den Eireichenden ein standardisiertes Tool zur Verfügung gestellt, das ihnen half, ihre kreative Konzepte in knappe Beschreibungen zu fassen, die von der KI leicht zu verarbeiten waren.
Die Beschreibungen der eingereichten Kreativkonzepte wurden nach Kategorien gebündelt und an die neueste GPT4-Turbo-API weitergegeben, die auf die gleiche Bewertungsskala der Epica Awards zurückgriff wie auch die menschliche Jury. Auf diese Weise wurde sichergestellt, dass die KI-Bewertungen mit den von den menschlichen Juroren verwendeten Kriterien übereinstimmten.
Die KI ermittelte, wie die Journalisten-Jury, für jeden Beitrag eine Punktzahl und erstellte auch eine Begründung der Bewertung. Anders als bei der menschlichen Jury wurde dieser Prozess von der KI allerdings 80 Mal durchgeführt, wobei alle erreichten Punkte anhand des Interquartilsbereichs (IQR) gemittelt wurden. Mit dieser Methode sollten Ausreißer eliminiert und die zentrale Tendenz der KI-generierten Bewertungen erfasst werden.
Das Ergebnis war überraschend: Die AIJE Bewertung wich relativ stark von den Urteilen der menschlichen Jury ab. Das AIJE-Experiment ergab eine bescheidene Korrelation, wie ein Korrelationskoeffizient von etwa 0,25 zeigt. Die KI-Benotungen waren mit einem Durchschnitt von 7,45 auf einer Skala von 1 bis 10, wobei "10" die Bedeutung "Herausragend / Weltklasse" hatte, deutlich höher als die menschlichen Bewertungen, die im Durchschnitt bei 6,60 lagen.
Nicolas Huvé, Epica Awards Operation Director and AIJE Creator, kommentiert dieses Ergebnis wie folgt: "Unsere ersten Tests zeigten eine vielversprechende Korrelation mit den menschlichen Bewertungen, vor allem in den unteren Rängen. Im Live-Experiment haben wir uns jedoch nur auf die Shortlist konzentriert, was zu einer bemerkenswerten Diskrepanz führte, die jedoch nicht überraschend ist, da alle diese Beiträge bereits von einer menschlichen Jury als hochwertig eingestuft wurden."
Mark Tungate, Redaktionsleiter der Epica Awards, fügt hinzu: "Journalisten, die für ihre kritische Analyse bekannt sind, sind im Allgemeinen strenger in ihrer Bewertung. Die AIJE ließ sich eher von der alleinigen Idee beeindrucken. Die Journalisten konnten hingegen erkennen, welche Ideen bereits in irgendeiner Form anderweitig umgesetzt worden waren, während die AIJE nur die Neuheit wahrnahm."
Laut Huvé und Tungate unterstreicht dieser Unterschied das tiefere Verständnis, das fachkundige Journalisten beim Erkennen von Originalität haben. AIJE war allerdings in puncto Objektivität effizienter.
Huvé erklärt hierzu: "Die AIJE schien effizienter bei der Bewertung einer Kampagne im Rahmen ihrer Kategorie zu sein. Im Gegensatz zu menschlichen Juroren, die möglicherweise Arbeiten, die sie persönlich bevorzugen oder ablehnen, höher oder niedriger bewerten, wurde AIJE nicht von solchen menschlich-subjektiven Voreinstellungen beeinflusst."
Zur Veranschaulichung des menschlichen Faktors führt Huvé das Beispiel "The X-Tinction Timeline", das von McCann Worldgroup Germany eingereicht wurde, an. Huvé beschreibt dieses als "… einen cleveren Beitrag, der das Rebranding des Twitter-Vogels in "X" dem Aussterben von Tieren gegenüberstellt."
Der AI-Juror (AIJE) kommentierte das Konzept wie folgt (vorbehaltlos positiv): "Eine starke und marktführende Kampagne, die geschickt auf der Welle eines aktuellen Ereignisses reitet, um ein dringendes globales Problem anzusprechen. Die kreative Parallele zwischen dem Rebranding von Twitter und dem Aussterben von Wildtieren verbindet Popkultur und Umwelt-Aktivismus auf wirksame Weise."
Ein menschlicher Juror (Journalist) äußerte sich hingegen differenzierter: "Sehr clevere Art und Weise, sich die Empörung über X zunutze zu machen und umzulenken. Wenn 'keine PR' schlechte PR ist, dann hat dieser Umstand unglücklicherweise auch X genutzt. Hoffentlich hat dies zu Spenden für den WWF geführt und nicht nur zu Aufmerksamkeit für Musks Hybris."
Die Arbeit "The X-Tinction Timeline" wurde schließlich auf Basis des menschlichen Jury Votings mit einem Epica Award in Silber in der Kategorie "Topical & Real Time" ausgezeichnet. Die Ergebnisse sämtlicher AIJE Bewertungen gibt es auf der AIJE Epica Awards Website.
Für die diesjährigen Epica Awards 2024 sind alle Einreichenden automatisch zur Teilnahme an der nächsten Auflage der AIJE (Artificial Jury) berechtigt. Wen also interessiert, was eine künstliche Intelligenz über die eigene Kampagne oder Kreation denkt, sollte die Einreichungsfrist für 2024 nicht verpassen.
Die marketingScout.com Redaktion (Monika Monzel, Editor-in-Chief) war 2023 in der internationalen Fach-Jury mit dabei und freut sich auf die Fortsetzung in 2024.
Bild: Das Epica Awards AI Jury Experiment / AIJE (Copyrights: Epica Awards)
Verwandte Themen:
Epica Awards, AIJE, KI-Jury, Jury Experiment, Bewertung, Beurteilung, KI, AI, Künstliche Intelligenz, Artificial Intelligence, Awards, Kreativpreise, Kreativpreis, Kreativität, Innovation, Marketing, Kommunikation, Kampagnen, Artwork, Design, Zeitgeist, KI im Marketing, Einsatzbereiche für KI
Zusammenfassung: AIJE, das Artificial Intelligence Jury Experiment bei den Epica Awards 2023, lieferte interessante Ergebnisse. Die menschliche Jury bewertete die eingereichten Kreativ-Arbeiten härter als die KI.
Keinen Marketing-Trend mehr verpassen? marketingScout Newsletter
