Nachbericht Lessons Learned: Mensch-Maschine-Interaktion

Lessons Learned: Mensch-Maschine-Interaktion

Welche Innovationspotenziale stecken in der Interaktion zwischen Mensch und Maschine? Dieser Frage sind wir gemeinsam mit unseren Gästen im Rahmen unserer Veranstaltung „bidt Perspektiven“ am 29. November 2022 nachgegangen.

Staatsminister Markus Blume bei seiner Keynote auf den bidt Perspektiven, 29.11.22.
© bidt/Klaus D. Wolf

Die Interaktion zwischen Mensch und Maschine ist aus unserem Alltag nicht mehr wegzudenken: Digitale Assistenzsysteme helfen uns beim Steuern eines Pkws, ein Blick auf unser Smartphone verrät, wie das Wetter heute wird und Chatbots beantworten unsere Fragen im Rahmen des Kundenservice. Auch in anderen Bereichen hat der Einsatz digitaler Technologien ein hohes Innovationspotenzial: ob Industrieroboter im Montageprozess, KI-Systeme zur Diagnose von Krankheiten oder Pflegeroboter im Gesundheitswesen.

Welche Innovationspotenziale stecken jedoch in der Interaktion zwischen Mensch und Maschine? Diese Frage stand im Mittelpunkt der „Perspektiven-Veranstaltung des bidt am 29. November 2022 in den Räumlichkeiten der Bayerischen Akademie der Wissenschaften in der Münchner Residenz. Unter dem Titel „Better together — Das Zusammenspiel von Mensch und Maschine als Innovationsmotor der Zukunft“ diskutierten über die Chancen und Herausforderungen: Professorin Ute Schmid (bidt/Universität Bamberg), Professorin Alena Buyx (TU München), Professor Eric Hilgendorf (bidt/Universität Würzburg) und Professor Matthias Uhl (TH Ingolstadt). Durch die Diskussion führte Dr. Christoph Egle, Geschäftsführer des bidt.

Das Podium v.l.n.r.: Dr. Christoph Egle (bidt / Moderation), Professorin Alena Buyx (TU München), Professorin Ute Schmid (bidt / Universität Bamberg), Professor Eric Hilgendorf (bidt / Universität Würzburg), Professor Matthias Uhl (TH Ingolstadt).

Mensch-Maschine-Interaktion in Medizin und Pflege

Im Gespräch fokussierten sich die Podiumsteilnehmer auf den Einsatz von Robotersystemen und Künstlicher Intelligenz (KI) insbesondere auf Medizin und Pflege – ein Bereich mit besonders großem Nutzenversprechen für die Gesellschaft. Insbesondere im Medizinbereich sei das Erkennen von Krankheiten das Handlungsfeld für Algorithmen – hier könnten diese nach Mustern suchen und beispielsweise Röntgenbilder diagnostizieren. Ein weiterer Anwendungsbereich sei die Unterstützung bei klassischen Dokumentationspflichten wie beispielsweise der Erstellung des klassischen Arztbriefes zur Entlastung der Medizinerinnen und Mediziner in den Krankenhäusern. Auch im Pflegebereich entlasten Roboter die Pflegekräfte vor Ort, weil sie ihnen körperlich anstrengende Arbeiten im Umgang mit Patientinnen und Patienten abnehmen könnten. Wichtig sei laut der Medizinethikerin Alena Buyx die interdisziplinäre Begleitung, da Entwicklerinnen und Entwickler eventuell nicht immer den gesamten Anwendungsfall vor Augen hätten.

Das Projektteam des bidt-geförderten Projekts „Responsible Robotics (RRAI)“ untersucht die sozialen, ethischen und rechtlichen Dimensionen zweier neuartiger KI-basierter Technologien und entwickelt einen praktischen Werkzeugkasten für zukünftige interdisziplinäre KI-Innovationen.

Wo ist KI gut, wo der Mensch besser?

Wo arbeiten KI-gestützte Systeme besonders zuverlässig und wo sollten wir mit unserem Vertrauen zurückhaltend sein? Laut Ute Schmid ist eine allgemeingültige Formulierung schwer zu treffen, grundsätzlich sei aber der Einsatz von KI-Systemen bei komplexen Mustern sinnvoll.

KI-Systeme sind sehr effizient darin, solche Muster zu identifizieren und zu generalisieren. Beispielsweise kann KI in der Medizin und hier bei der Hautkrebsfrüherkennung sehr gut unterstützen – Screenings erfolgen schneller, effizienter und sehr zuverlässig.

Prof. Dr. Ute Schmid Zum Profil

Die Professorin für Kognitive Systeme fügte hinzu: „Aber auch KI kann von Bias betroffen sein, indem beispielsweise das Sampling der Daten nicht repräsentativ ist.“ Bei KI-Systemen zum Hautkrebsscreening seien die Trainingsdaten mit Praxisbeispielen von Menschen mit heller Hautfarbe erhoben worden, was zu fehlerhaften Ergebnissen geführt habe. Es sei immer der Mensch, der hier am Ende auf Basis der KI-gestützten Empfehlung eine Diagnose stellt, d. h., er muss die Daten bewerten, einordnen und hinterfragen können. Auf die Frage, wo denn der Mensch besser als ein KI-System sei, lautet die Antwort von Ute Schmid: „Im gesamten Bereich des Weltwissens, des Commonsense Reasoning: Programme wie ein Chatbot erkennen Muster und geben ihre Antwort. Aber hinterfragen sie diese auch?“ Laut Ute Schmid gibt es unzählige Beispiele, wo eine KI zwar das Muster erkenne und ihrer Trainingsdaten nach agiere – aber es fehle ihr einfach an Wissen.

Vertrauen in KI-gestützte Systeme

Was sollte aber eine Medizinerin oder ein Mediziner tun, wenn ein KI-gestütztes System beispielsweise bei CT-Scans eine Diagnose stellt, aber ihr bzw. sein Bauchgefühl sagt, da kann etwas nicht stimmen? Das angemessene Vertrauen in Maschinen bei medizinischen Entscheidungen untersuchen in einem vom bidt geförderten Projekt der Philosoph Matthias Uhl und ein interdisziplinär zusammengesetztes Forschungsteam in einem bidt-Projekt. Denn ja, Ärztinnen und Ärzte profitieren von Unterstützungssystemen – aber was passiert, wenn sie ihnen zu stark vertrauen? Auch wird untersucht, inwiefern die Software medizinische Entscheidungen in eine bestimmte Richtung beeinflusst, ohne dass es den Akteuren bewusst ist – hier sollen mögliche Designparadigmen abgeleitet werden. Neben der Perspektive der Ärztinnen und Ärzte sei laut Uhl auch wichtig, die Perspektive von Patientinnen und Patienten mit einzubeziehen.

Die Patientinnen und Patienten vertrauen in erster Linie der behandelnden Ärztin bzw. dem behandelnden Arzt. Falls eine Fehldiagnose erfolgt, dann ist es beispielsweise der Patientin bzw. dem Patienten egal, wem der Fehler unterlaufen ist – dem Mediziner oder der KI. Der Mediziner kann sich aber insbesondere dadurch abheben, dass er eine falsche Empfehlung der KI erkannt und zurückgewiesen hat.

Prof. Dr. Matthias Uhl Zum Profil

Laut Uhl möchten Patientinnen und Patienten aber auf jeden Fall Transparenz, d.h. sie möchten informiert werden, wenn eine KI für eine Diagnose hinzugezogen wurde.

Das Projekt „Verantwortungslücken in Mensch-Maschine-Interaktionen: Die Ambivalenz von Vertrauen in KI“ untersucht die potenziellen Gefahren eines zu starken Vertrauens in Maschinen bei medizinischen Entscheidungen.

Eine Frage der Haftung

Bei Umfragen erhält der Einsatz von KI in der Justiz sehr viel niedrigere Akzeptanzquoten als beispielsweise in der Medizin – wie ist das zu erklären? Der Rechtswissenschaftler Eric Hilgendorf erläutert: „Die Bevölkerung verbindet hier die Richterin und den Richter, die oder der im Einzelfall die Rechtsprechung ausübt und ein gerechtes Urteil fällt.“ In der außergerichtlichen Rechtsdurchsetzung wie im Bereich E-Commerce oder bei Vermittlungsverfahren sei die Akzeptanz bereits sehr viel größer. Grundsätzlich sei der Einsatz von KI durch die Anwaltschaft schon üblich – Anwältinnen oder Anwälte würden Legal Tech bereits für die Urteilsanalyse, Datenbanknutzung oder die Sichtung von komplexen Sachverhalten nutzen. „Im Vergleich dazu tut sich die Justiz generell schwerer mit dem Einsatz von KI.“ Doch zurück zur Medizin und der Frage: Wenn ein Arzt der Empfehlung einer KI folgt und dann eine Fehldiagnose stellt – wer trägt dann die Schuld? Laut Eric Hilgendorf ist die Frage der Haftung zentral.

Im Grunde ändert sich gar nicht so viel: Die Ärztin oder der Arzt haftet, wenn er beim Einsatz des Systems einen Fehler gemacht hat – oder er weiß, dass das System fehlerhaft ist. Dass das System autonom ist, ändert erst einmal nichts daran.

Prof. Dr. Dr. Eric Hilgendorf Zum Profil

Aber auch der Hersteller kann verantwortlich gemacht werden, wenn das KI-System fehlerhaft ist. Insgesamt sieht Hilgendorf die Rechtsfragen zum Einsatz von KI als allesamt lösbar an. „Die technische Disruption wird sehr gut durch unser Rechtssystem aufgefangen.“

Links: Professorin Ute Schmid (bidt / Universität Bamberg); rechts: Professor Eric Hilgendorf (bidt / Universität Würzburg).

Blackbox KI lüften

Mit Blick auf mögliche Vertrauensprobleme stellt sich die Frage, welchen Beitrag die Informatik leisten kann, damit KI-basierte Entscheidungen verstanden werden. Hier sei laut Ute Schmid insbesondere der Forschungsbereich Erklärbare KI innerhalb des Maschinellen Lernens gefragt. „Es geht hier aber nicht darum, KI zu erklären. Es muss erklärende KI geschaffen werden. Die Diagnose oder die Empfehlung müssen nachvollziehbar gemacht werden, es geht nicht nur um die reine Beschreibung. Wie kommt folglich die KI zu ihrer Entscheidung?“ Die Voraussetzung hierfür könnte sein, dass die Erklärungen modelltreu sein müssten. Auch die adressatengerechte und kontextspezifische Erklärung spiele eine große Rolle laut Ute Schmid. „Wer soll wann und wie informiert werden? Das ist eine große und interdisziplinäre Aufgabe.“

Links: Professorin Alena Buyx (TU München); rechts: Professorin Ute Schmid (bidt / Universität Bamberg).

Wichtig sei zudem, dass bei der Entwicklung von neuen KI-Technologien die Trainingsdaten repräsentativ seien, um Bias zu begrenzen. Hier würden die KI-Regulierungen der Europäischen Union im Hinblick auf die Qualität der Trainingsdaten Standards setzen. Laut Ute Schmid gehöre auch der Aufbau von relevanten KI-Kompetenzen in die Lehrpläne des Medizinstudiums. Beispielsweise würden immer mehr Anwendungen in der Medizin auf Maschinellem Lernen basieren. Wie solche KI-Modelle zu bestimmten Diagnosevorschlägen kommen, dafür seien insbesondere Data-Literacy-Kompetenzen wichtig – also Kenntnisse im Bereich Datenerhebung und Statistik. Zudem sei der Kompetenzaufbau innerhalb der Bevölkerung eine Grundvoraussetzung für einen souveränen Umgang mit neuen Technologien. „Ob jetzt jeder das Programmieren lernen oder KI studieren muss – hier würde ich sagen: Nein. Was wir erwerben müssten, ist eine Bedien- und Bewertungskompetenz – unabhängig vom Bildungshintergrund oder Beruf“, so Ute Schmid abschließend.

Zitate und Highlights

Wie überwinden wir die Technikangst in der Gesellschaft und wie schaffen wir es Technik konstruktiv zu nutzen, anstatt in Angst zu verharren?

Alena Buyx: „Ich finde es gut und richtig, dass wir über Technologien auch kritisch nachdenken, denn sie können sehr machtvoll sein. Darüber hinaus geht es auch darum, die neuen Technologien begreifbar zu machen. Wenn man ein gutes Verständnis und auch eine gewisse Offenheit befördern möchte, dann gelingt das am besten durch konkrete Begegnungen und konkretes Erfahren von neuen Technologien.“

Wo stehen wir in zehn Jahren im Verhältnis von Mensch und Maschine?

Matthias Uhl: „Die Symbiose von Mensch und Maschine wird sich intensivieren. Meine Hoffnung ist, dass wir eine stärkere empirische Fundierung haben, was zwischen Mensch und Maschine de facto passiert. Das Value Sensitive Design zur Berücksichtigung von Werten bei der Softwareentwicklung wird an Bedeutung gewinnen.“

Eric Hilgendorf: „In zehn Jahren wird in vielen Bereichen die Interaktion zwischen Mensch und Maschine ganz normal sein. Die junge Generation wächst in diese Zusammenarbeit hinein. Es kann auch passieren, dass die Nichtnutzung von Maschinen dann als Fehler gilt, was wieder zu Haftungsszenarien führt. Wichtig ist es zudem, dass die Probleme in der Interaktion zwischen Mensch und Maschine empirisch untersucht und Risiken exakt festgestellt werden.“

Ute Schmid: „Hoffentlich entwickeln wir mehr partnerschaftliche Systeme, und da sehe ich in der Pflege, in der Produktion und in der Medizin viele Möglichkeiten – vor allem in zehn Jahren ist der KI-Hype vorbei und das Thema befindet sich im öffentlichen Diskurs auf einem nüchternen, pragmatischen und auch souveränen Niveau.“

Keynote

In seiner einleitenden Keynote betonte der bayerische Wissenschaftsminister Markus Blume, MdL, die Bedeutung des digitalen Wandels als Epochenumbruch. Technische Innovationen seien keine Selbstläufer und müssten wissenschaftlich begleitet werden: „Beim Epochenumbruch der Digitalisierung müssen wir dabei sein: mit den notwendigen Technologien und den richtigen ethischen Maßstäben. Technik muss dem Menschen dienen und nicht der Mensch der Technik!“

Projektwerkstatt

Auch zwei weitere bidt-Projekte beschäftigen sich mit der Mensch-Maschine-Interaktion. Die Referenten vor Ort eröffneten den Zuschauerinnen und Zuschauern im Rahmen einer Projektwerkstatt spannende Einblicke in die Praxis. So stellte Dr. Norbert Huchler das Projekt „Empowerment in der Produktion von morgen: Mixed Skill Factories und kollaborative Robotersysteme neu denken (EmPReSs)“ vor. Das Projektteam erforscht die Mensch-Roboter-Kollaborationen und untersucht, wie eine innovative Zusammenarbeit in der Produktion aussehen kann.

Einblicke in den Bereich Medizin und Pflege gaben Professor Christoph Ostgathe und Professor Henner Gimpel vom Projekt „Palliative Care als digitale Arbeitswelt: Perspektiven & Gestaltungsmöglichkeiten der digitalen Transformation von Kommunikations- und Kollaborationsprozessen in der multiprofessionellen Versorgung der letzten Lebensphase (PALLADiUM)“. Die Forscherinnen und Forscher untersuchen, wie innovative digitale Systeme die anspruchsvolle Zusammenarbeit der Fachkräfte in der Palliativversorgung unterstützen kann.

Epilog

In seinem Epilog zum Digitalen Humanismus betont bidt-Direktoriumsmitglied Professor Julian Nida-Rümelin, dass Digitalisierung kein Selbstzweck sei, sondern dem Wohl der Menschen diene – diese aber letzten Endes immer allein die Verantwortung tragen:

„Wir als Menschen tragen allein die Verantwortung. Wir sind diejenigen, die gestalten, nicht software-gesteuerte Systeme. Und diese Verantwortung ist in Phasen disruptiver Veränderungen immens wichtig, ansonsten entgleiten uns die Prozesse und die weitere Entwicklung wird behindert.“

„Gestaltung der Zukunft – das bedeutet nicht die Entscheidung zwischen Mensch oder Maschine, sondern die Interaktion von Mensch und Maschine.“

Bildergalerie