/ Blog

Man glaubt man chattet mit einem Menschen!

Chatbots sind Systeme zur Interaktion mit Computersystemen mittels Eingabe in natĂŒrlicher Sprache statt definierter Kommandos. Es sind hier in den letzten Jahren viele neuen AnwendungsfĂ€lle und Technologien entstanden. Eine von Google Mitarbeitern 2020 veröffentlichte wissenschaftliche Arbeit zeigt nun revolutionĂ€re Fortschritte in der Basistechnologie, die in den nĂ€chsten Monaten und Jahren einen Quantensprung fĂŒr die Anwendungen bedeuten wird. Es ist mit diesen Systemen nun möglich, mit einem Chatbot eine Unterhaltung zu fĂŒhren, die der mit einem Menschen sehr nahe kommt und das unabhĂ€ngig von einem Wissensgebiet!

Google Meena Chatbot Analyse von Andreas Stöckl 506.ai, 506 Data & Performance GmbH
Quelle: www.pexels.com

Herausragend an der Arbeit sind aber nicht nur die Resultate, sondern auch die Methoden, mit denen dies erreicht wurde. Diese zeigen auch den Weg auf, mit dem weitere Verbesserungen erzielt werden können. Es ist damit zu rechnen, dass analog zur Veröffentlichung von Googles Sprachmodell “BERT” (https://en.wikipedia.org/wiki/BERT_(language_model) ) ein Wettlauf fĂŒr Weiterentwicklungen unter den Wissenschaftlern gestartet wurde, an dessen Ende Dialoge auf menschlichem Niveau möglich sein werden.

Dieser Chatbot ist nicht nur auf ein Spezialgebiet optimiert

Auf dem “Preprint” Server “arXiv” kann seit Januar 2020 jeder die Arbeit “Towards a Human-like Open-Domain Chatbot” einsehen und lesen. BeschĂ€ftigt man sich nĂ€her damit, erkennt man die Dimension des Fortschritts, der hier auf diesem Gebiet erreicht wurde. Wie der Titel schon sagt, wird hier kein Chatbot fĂŒr ein bestimmtes Wissensgebiet entwickelt, sondern eine Möglichkeit gezeigt, ein System zu schaffen, das quasi Universalwissen Ă€hnlich wie ein Mensch hat und mit dem man sich ĂŒber jedes Wissensgebiet unterhalten kann.

Viele zum Teil schon gut funktionierende Anwendungen von Chatbots sind auf einen Anwendungsfall oder ein Wissensgebiet fokussiert und mittels speziellen Regeln und dem Einsatz von Machine Learning fĂŒr “Intent Matching” und “Entity Recognition” aufwĂ€ndig auf einen Spezialfall hin getrimmt. Auf der anderen Seite sind bisherige Versuche von allgemeinen Chatbots noch sehr mĂ€ĂŸig in der QualitĂ€t gewesen (z.B. Mitsuku).

Google Meena Chatbot Analyse von Andreas Stöckl 506.ai, 506 Data & Performance GmbH
(Quelle: https://arxiv.org/pdf/2001.09977.pdf)

Die Beispiel-Dialoge, die in der Arbeit und in grĂ¶ĂŸerer Sammlung auf einer Website dokumentiert sind, wirken beeindruckend. Das auf den Namen “Meena” getaufte System antwortet dabei nicht – wie in bisherigen AnsĂ€tzen oft zu sehen war – im Stile eines Politikers mit vagen und ausweichenden Formulierungen, um nur ja keine Fehler zu machen, sondern mit sehr spezifischen Antworten und trotzdem meist korrekt.

Ein Beispiel fĂŒr einen Dialog mit “Meena”

Mensch: Hi!

Meena: Hi! How are you this fine evening?

Mensch: I’m doing well. it’s morning my time!

Meena: Good morning! What are your plans for today?

Mensch: Get my work done then watch a movie at home in the night

Meena: Sounds fun! What movie?

Mensch: I haven’t decided yet, perhaps an Oscarnominated one. any suggestion?

Meena: I’m not too familiar with recent Oscar winners, but I do know I wanted to see The Grand Budapest Hotel.

Mensch: ah, tell me about that movie!

Meena: It’s from the same director and writer as Moonrise Kingdom. Wes Anderson is pretty well known for making funny, colorful films. I’ve heard it’s pretty good.

Mensch: ha! I’ve searched on the internet and both movies are very colorful!

Meena: I’m looking forward to it. I love colorful movies

 

Meena kann den Kontext der Unterhaltungen erfassen

Machine Learning, Webanalytics, Artificial Intelligence, Andreas Stöckl
Prof. (FH) Andreas Stöckl - Head of Customer Data Management

Was sofort auffĂ€llt ist, dass “Meena” bei einer Antwort auf den vorangegangenen Verlauf der Konversation eingeht, also den thematischen Kontext zuordnen kann und daher passende Antworten gibt. Dies ist eines der am schwierigsten zu lösenden Probleme bei der Entwicklung eines kĂŒnstlichen GesprĂ€chspartners, der wie ein Mensch wirken soll und wurde hier sehr gut gelöst.

 

Wie schon oben erwĂ€hnt, gibt “Meena” sehr spezifische Antworten je nach Frage und Kontext. Um dies zu erreichen haben die Autoren eine neue  Methode entwickelt, um die QualitĂ€t von menschlichen und kĂŒnstlichen Dialogen evaluieren zu können, die nicht nur die Korrektheit der Antworten mit einbezieht, sondern auch wie spezifisch sie sind. Mit dieser Metrik war es dann möglich, “Meena” besser zu evaluieren und optimieren.

 

“Brute Force” - “End to End” als Lösungsansatz

Noch beeindruckender als die Resultate finde ich die Methoden, mit denen diese erreicht wurden. Die Entwickler wÀhlten eine riesige Neuronale Netz Architektur, eine verbesserte Version des sogenanntes Transformer Modells mit in diesem Fall 2.6 Milliarden Parametern und optimierten dieses dann mit einer gigantischen Menge an Trainingsdaten. Diese in Form von 341 GB an Text vorliegenden Daten wurden aus öffentlichen Dialogen aus den sozialen Medien gewonnen und geeignet gefiltert.

Der Lösungsansatz legt geradezu nahe, die Methode mit noch mehr Daten und noch leistungsfÀhigeren Modellen zu verbessern und mit weiteren Verfeinerungen der Auswahl der passenden Antworten noch nÀher an die menschliche DialogfÀhigkeit heran zu bringen.

„Wir werden vermutlich noch im Jahr 2020 die ersten konkreten Implementierungen und Anwendungen von “Meena” im Web finden und in nicht zu ferner Zukunft Produkte in unserem Alltag finden, die dies einsetzen. “

Prof. (FH) Dr. Andreas Stöckl / Head of Customer Data Management

Jetzt fĂŒr unseren Newsletter anmelden!