In Tech We Trust

11.06.2015

Nein, Sie sollen keinen Roboter heiraten. Aber es gibt immer mehr Gründe, um im Zweifel eher einem Algorithmus zu vertrauen als einem Menschen. Für die neue Ausgabe von «GDI Impuls» wirft Karin Frick (Leiterin GDI-Research) ein Ausblick Zukunft des vernetzten Lebens.

Dies ist ein Artikel aus der aktuellen Ausgabe von «GDI Impuls».  Von Karin Frick, Leiterin ResearchWenn dereinst die Geschichte des Vertrauens geschrieben wird, könnte der 24. März 2015 einen Wendepunkt darstellen. Es war der Tag, als eine perfekt funktionierende Maschine von ihrem menschlichen Bediener bewusst zerstört wurde – und 150 Menschen dabei ihr Leben verloren. Es war der Tag des Germanwings-Absturzes in den französischen Alpen. Eine Vielzahl von technischen Vorrichtungen, die speziell dafür eingerichtet waren, dem Piloten einen sicheren Flug zu ermöglichen, wurden von eben diesem (Co-)Piloten genutzt, um eine Katastrophe herbeizuführen.Hätte ein Roboter, eine Maschine, ein Algorithmus so etwas auch getan? Sicher nicht. Wäre also ein Flugzeug ohne Pilot sicherer? Und würden Sie in ein Flugzeug ohne Pilot einsteigen? Vielleicht noch nicht, aber bald. Sicher, jedes Sicherheitssystem kann geknackt werden – ein amerikanischer Computerspezialist hat sich gerade erst über das In-Flight-Entertainment-System eines United-Airlines-Flugzeugs in dessen Bordcomputer gehackt und den Schub eines der Triebwerke geändert. Von seinem Sitzplatz in der zweiten Reihe aus. Dennoch wird bei komplexen Systemen immer häufiger die technische Lösung, der Roboter die erste Wahl. Vom Navi bis zum Partnersuche-Algorithmus.Das soll nicht heissen, dass uns Computer, Automaten, Roboter vertrauter würden als Menschen. Diese emotionale Ebene der Mensch-Maschine-Beziehung bleibt vorerst Hollywood vorbehalten; die Betonung liegt auf «vorerst». Aber Vertrautheit ist eben auch nur ein Aspekt von Vertrauen. Denn der Begriff «Vertrauen» hat (mindestens) drei sehr unterschiedliche Dimensionen, was in der englischen Sprache auch entsprechend unterschiedlich ausgedrückt wird:
  • Confidence: Systemvertrauen, für das es keine bewusste Alternative gibt. Wir haben Confidence zum Rechtsstaat oder zur Demokratie. Wir rechnen nicht mit dem Bankrott unserer Bank. Wir fahren Auto und gehen davon aus, dass die anderen, die mit dem Auto unterwegs sind, auch fahren können.
  • Familiarity: Vertrauen, das aus Vertrautheit entsteht. Wir empfinden Familiarity für den Bäcker um die Ecke, mit unserer Lieblingsfernsehserie, mit den Gerüchen unserer Kindheit und natürlich mit der eigenen Familie. Vertrautes Umfeld, vertraute Gesichter, vertraute Rituale.
  • Trust: Vertrauen auf der Ebene von Präferenzen und bewussten Entscheidungen. Wir vertrauen dem Taxifahrer, zu dem wir ins Auto steigen (er könnte ja auch ein Unhold sein); wir vertrauen der Supermarkt-Quittung oder der Restaurant-Rechnung (wir könnten ja auch noch mal nachrechnen). Wir gehen ein Risiko ein, enttäuscht zu werden, und wägen intern ab, wie sich Chance und Risiko zueinander verhalten.
Abstrakte SystemeGerade dieser letzte Begriff von Vertrauen ist auf dem Vormarsch. Denn in fortgeschrittenen Wirtschafts- und Gesellschaftssystemen ist Vertrauen immer öfter losgelöst vom Vertrauten, vom Bekannten, vom Familiären. Statt Personen zu vertrauen, müssen wir uns heute immer mehr auf abstrakte Systeme verlassen. Und diese Systeme sind so komplex, dass es immer schwieriger wird, ihnen in allen Situationen Confidence, Systemvertrauen entgegenzubringen. Sicherlich können wir dem Rechtsstaat USA vertrauen – aber wer dort mit dunkler Hautfarbe in eine Polizeikontrolle gerät, sollte sich nicht zu sehr darauf verlassen, dass ihm schon nichts passieren wird, wenn er nichts verbrochen hat. Und was eine einzige Bankenpleite mit unserem Systemvertrauen in die Finanzbranche anrichten kann, war im September 2008 deutlich zu beobachten.Aber die praktikable Alternative zu dieser schwächer werdenden Confidence ist eben nicht Misstrauen, sondern Trust – das berechenbare Vertrauen. Denn je komplexer das System ist und umso weniger wir verstehen, wie die technische Infrastruktur funktioniert, von der unser Leben abhängt, umso mehr sind wir auf Vertrauen angewiesen. Der Bedarf an Vertrauen wächst in einer komplexen Gesellschaft ständig. «Die Gesellschaft der Zukunft ist zu Vertrauen verurteilt», sagt der Philosoph Peter Sloterdijk.Eine einfache Grafik, möglichst podiumsgeeignet, suchte der IT-Experte Patrick McAfee, als er sich im Frühjahr 2013 auf eine Diskussionsveranstaltung zu Big Data im Business vorbereitete. Dies ist das Ergebnis. Bei geringem Volumen an für die Entscheidung relevanten Daten gibt die Meinung der bestbezahlten Person im Raum den Ausschlag (HiPPO = Highest Paid Person's Opinion). Je mehr Daten in den Entscheidungsprozess eingehen, desto besser wird die Entscheidung, wenn sie auf aus diesen Daten abgeleiteten Analysen und Prognosen basiert. «HiPPOs mögen vieles gut können», schreibt McAfee, «aber sie haben keine guten Kristallkugeln.» Berechenbares Vertrauen Und für alles, was berechenbar ist, lassen sich Rechner und Algorithmen einsetzen. Besonders eindrücklich ist das bei den Interaktionen auf den grossen Online-Plattformen wie Facebook oder Airbnb zu sehen. Die Mitwohn-Börse Airbnb hat ihr eigenes Rating-System, zu dem nur diejenigen beitragen können, die tatsächlich eine Transaktion über Airbnb durchgeführt haben. Die Plattform ermöglicht es ihren Nutzern nicht, aus der analogen Welt bekannte Filter-Mechanismen anzuwenden: Man kann sich nicht auf Wohnangebote von Katholiken, von Gewerkschaftsmitgliedern oder von Staatsbediensteten beschränken. Stattdessen muss der Grad des Vertrauens auf Basis der Online-Signale ermittelt werden: Gibt es gemeinsame Freunde oder Vorlieben bei Facebook? Poppt beim Googeln des Namens oder der Adresse ein Problem auf? Loben beziehungsweise kritisieren die früheren Nutzer etwas, das auch mir wichtig wäre? Wie schnell und in welchem Stil antwortet der Anbietende auf Anfragen? Die Ratings, die man online einmal bekommen hat, tendieren dazu, hartnäckig haften zu bleiben, auch über die direkt davon betroffene Plattform hinaus – was einen starken Anreiz darstellt, sich so zu verhalten, dass die Feedbacks auch positiv ausfallen. Künstliche Intelligenz ersetzen Experten Während es in diesen Fällen «nur» darum geht, von technischen Systemen Hilfestellung dafür zu bekommen, dass Menschen sich besser beziehungsweise einfacher entscheiden können, wird ein Hauptstrang der zukünftigen technischen und ökonomischen Entwicklung zu Systemen führen, bei denen die Entscheidungen ganz ohne menschliches Zutun getroffen werden. Im ersten Stadium heisst dies: Entscheidungen könnten datengesteuert ohne Umweg über den Menschen getroffen werden, aber der Mensch hat immer die Möglichkeit, die Maschine zu überstimmen beziehungsweise wieder selbst die Entscheidung an sich zu ziehen. In diesem Stadium befinden wir uns bereits. Vom Auto kennen wir Einpark- oder Abstands-Assistenten, die den Wagen praktisch ohne Zutun des Fahrers in die Parklücke manövrieren können oder im Verkehrsfluss auf der Autobahn mitschwimmen. Aber wir können das Steuer jederzeit wieder übernehmen und die digitalen Helfer ausschalten. Die Klimaanlage hält das Büro automatisch auf der gewünschten Temperatur, Bewegungsmelder lassen das Licht im Hausflur angehen – oder lösen Alarm beim Sicherheitsdienst aus, wenn wir sie nicht rechtzeitig abstellen. Aber bei diesem Stadium wird es nicht bleiben. Je häufiger sich die Maschinen bei einer Tätigkeit bewährt haben, desto wahrscheinlicher wird es, dass wir ihnen für diesen kleinen Ausschnitt der Welt die Entscheidungskompetenz geben. Wer muss schon das Einparken kontrollieren, wenn mit Sicherheit gesagt werden kann, dass der Einpark-Algorithmus keinen Kratzer ins Autoblech machen und kein spielendes Kind überfahren wird? So wie im Film die Reichen und Schönen beim Vorfahren zum Luxushotel einem Angestellten die Autoschlüssel überlassen und sich, ohne einen weiteren Gedanken daran zu verschwenden, ins Haus begeben, werden wir alle dann schon vor dem Einparken den Wagen verlassen können und den Rest der Maschine überlassen. Wir alle gewinnen Zeit und behalten Nerven; und der Hotelboy kann für andere Aufgaben eingesetzt werden. Das Ende des Managements? Sich bei komplexen Problemen in die Hand der Technik zu begeben, entwertet natürlich vorhandenes Expertenwissen und -können. Den Witzen über Frauen, die nicht einparken können, wird sicherlich niemand nachweinen, aber ob in einem Zeitalter der selbststeuernden Fahrzeuge der Motorsport seine ökonomische Bedeutung behält, wird schon mehr Menschen betreffen. Besonders gravierend werden die Auswirkungen im Wirtschaftssystem werden, wenn, wie von Patrick McAfee prognostiziert (siehe Grafik), die datengesteuerte Entscheidung in den Büro-Etagen an kommt. Denn dort gibt es eine Gruppe von Experten, die auf das Treffen von Entscheidungen spezialisiert sind – man nennt sie «Manager». Und je höher man in der Hierarchie steigt, desto höher wird der Anteil der Entscheidungsarbeit an der gesamten Tätigkeit. Wenn es nun dazu kommt, dass die Technik den Managern die Entscheidungen nicht erschwert oder erleichtert, sondern immer öfter abnimmt, dann verliert das Management seine Existenzberechtigung. Besser gesagt: Es verliert einen grossen Teil seiner heutigen Existenzberechtigung. Denn natürlich können sich auch die oberen Etagen in den Unternehmen an einen Strukturwandel ihrer Tätigkeit anpassen. So wie die Maschinen in den Fabriketagen die Art der Arbeit und die dafür benötigten Qualifikationen verändert haben, dürfte es auch mit den Maschinen auf den Büroetagen passieren. Führungsaufgaben beispielsweise werden eher selten an Algorithmen delegiert werden; auch Motivation und Kreation dürften fürs Erste menschliche Domänen bleiben – oder zumindest einen relevanten menschlichen Anteil an der Wertschöpfung behalten.Menschen sind merkwürdig. Eigentlich wäre es ja logisch, wenn sie materielle Figuren oder virtuelle Avatare umso mehr akzeptieren, je realistischer die Figur gestaltet ist. Aber so ticken wir nicht: Abstrakte, völlig künstlich aussehende Figuren wirken anziehender und akzeptabler als Figuren, die sehr realistisch aussehen. Dieser 1970 erstmals beschriebene Effekt des «Uncanny Valley» ist für alle Entwickler ein Problem, die menschenähnliche Figuren gestalten müssen, etwa für Filme, Computerspiele oder Roboter. Eine häufig gewählte Lösung ist es deshalb, auf allzu grosse Menschenähnlichkeit zu verzichten – «Shrek» oder «R2-D2» sind Beispiele für diesen Kunstgriff. Vertrauens-Kriterien Das Mass an Vertrauen, das wir aufwenden, um uns auf ein technisches System zu verlassen, hängt vom persönlichen Risiko ab, das mit dem jeweiligen Entscheid verbunden ist. Bei kleineren Risiken – falsche Farbe, falsche Grösse, schlechtes Restaurant – werden wir uns auf einfachere Prinzipien wie beispielsweise Kundenratings verlassen. Wenn es um Entscheide mit potenziell schwerwiegenden Folgen geht, wie die Behandlung einer ernsthaften Erkrankung, braucht es höhere Autoritäten, wie beispielsweise staatliche Zulassungen. So wie Mediziner eine Prüfung ablegen müssen, um praktizieren zu können, müssen dann vielleicht auch Algorithmen Zulassungstests bestehen.Eines der eher überraschenderen Elemente der Vertrauensbildung ist das Aussehen. Hier spielt offenbar ein Effekt eine Rolle, der erstmals bereits 1970 von dem Japaner Masahiro Mori beschrieben wurde: der «Uncanny-Valley-Effekt» (siehe Grafik). Wie Maschinen aussehende Maschinen oder abstrakte Avatare werden vom Beobachter als Dinge eingestuft, die nach nicht menschlichen Regeln funktionieren; wenn sie menschenähnliche Eigenschaften zeigen, wirkt sich das eher vorteilhaft aus. Je menschenähnlicher ein Roboter hingegen aussieht, desto unheimlicher wird er uns.Wem vertrauen wir in der Algokratie? Wie entsteht Vertrauen in einer digitalisierten, immer mehr von Algorithmen gesteuerten Welt, in der wir immer öfter mit Maschinen interagieren und immer weniger zwischen Menschen und Maschinen unterscheiden können? Diese Welt, unsere Welt von morgen, braucht neue Mechanismen zur Vertrauensbildung. Eine ganze Reihe von neuen Ansätzen und Strategien entwickeln sich derzeit – die wichtigsten von ihnen werden im Folgenden aufgeführt.
  • Transparenz/Wikisierung/Open Source: Nur wenn Datensätze offen zugänglich sind, kann ein Markt für Algorithmen entstehen, die Leistungsfähigkeit von Algorithmen kann getestet und miteinander verglichen werden. Durch Open Source und Open Data können Informationen zurückverfolgt und von jedermann verändert werden. Dabei bleibt sichtbar, welche Person oder Institution (oder Maschine) welche Daten beigetragen hat und welche Aussagen umstritten sind. Sicherheit für Nutzer und Gesellschaft entsteht durch soziale Kontrolle und Rückverfolgbarkeit.
  • Dekommerzialisierung: Je stärker sich im Bewusstsein festsetzt, dass Daten ein potenziell hochprofitables Wirtschaftsgut sind (das Öl des 21.Jahrhunderts), desto populärer werden Ansätze werden, die das Beste für die Allgemeinheit herausholen wollen – und eben nicht das Beste für ein privates Unternehmen. Offene Datenbibliotheken, Datengenossenschaften oder Datenspenden können eine solche Aufgabe übernehmen – öffentlich finanziert oder mit NGO- oder Stiftungsgeldern. Wenn Segmente des Daten-Geschäfts nicht der Geschäftslogik folgen, lässt sich dort auch mit Manipulationen kaum Gewinn erzielen.
  • Distributed Trust: Technologie wird so designt, dass keine zentrale Autorität entstehen kann, die Macht missbraucht. Das derzeit bekannteste Beispiel für einen solchen Ansatz ist die digitale Währung Bitcoin. An die Stelle von einzelnen (mehr oder weniger) vertrauenswürdigen Institutionen wie Regierungen, Noten- oder Privatbanken tritt ein System, in dem alle Beteiligten ihren Beitrag zum Gesamtvertrauen leisten. «Eine Algo-Lösung für ein politisches Problem» nennt das der niederländische Politologe Geert Lovink: «Dahinter steht die Überzeugung, dass technische Lösungen und die Schönheit der puren Mathematik immer sauberer und besser sein werden als die immer etwas unordentlichen sozialen oder politischen Lösungen.»
Einen ganz anderen Weg, um mit Technologie Machtmissbrauch zu verhindern, geht der ETH-Professor Adrian Perrig mit seinem Unternehmen Scion. Er modifiziert den Routing-Prozess und damit eine der Grundfunktionen des Internets. Nutzer sollen die Möglichkeit bekommen, selbst zu entscheiden, welchen Weg ihre Datenpakete nehmen – beziehungsweise vor allem, welche Wege sie eben gerade nicht nehmen sollen. Sensible Daten können so davor geschützt werden, zu unerwünschten Mitlesern in unerwünschten Ländern (ob in den USA oder China) abgezweigt zu werden. Insbesondere Telekom-Unternehmen sind daran interessiert, ihren Kunden Produkte anbieten zu können, die eine aussergewöhnlich hohe Datensicherheit versprechen.
  • Wettbewerb: Zum besten Algorithmus für eine definierte Anwendung gelangt man am schnellsten, wenn es für Entwickler aus aller Welt attraktiv ist, sich an der Lösung zu beteiligen. Wettbewerbe können dafür sowohl im sportlichen als auch im marktlichen Modus veranstaltet werden. Für den sportlichen Modus ist die Entwicklung der Automobilbranche ein gutes Beispiel. Dort spielten Wettbewerbe, in diesem Fall Autorennen und Rallyes, schon seit mehr als einem Jahrhundert eine herausragende Rolle für den technischen Fortschritt. Im Bereich künstlicher Intelligenz oder Kreativität folgt die seit 1996 jährlich ausgetragene Weltmeisterschaft im Roboterfussball diesem Vorbild. Marktliche Wettbewerbslösungen könnten ähnlich designt sein wie Architekturwettbewerbe oder Pitches um einen Werbeetat. Ein Beispiel hierfür aus der Datenbranche ist die US-Website kaggle.com. Dort stellen Forschungseinrichtungen und Unternehmen Aufgaben, die sie selbst nicht lösen können. So stellten sich beispielsweise in diesem Frühjahr mehr als 3000 Entwickler der Herausforderung, einen Algorithmus für die Vorhersage der Nachfrage im Bike-Sharing-System von Washington D.C. zu entwerfen.
  • Autorität, Zertifizierung: Gerade bei mit hohem Risiko verbundenen Anwendungen wird an staatlichen Zulassungsverfahren für Algorithmen kein Weg vorbeiführen. Wo es um ein geringeres Risiko geht, kann diese Aufgabe auch von Konsumentenorganisationen übernommen werden. Statt des Schutzfaktors von Sonnencreme wird dann der Verzerrungsfaktor von Suchmaschinen miteinander verglichen. Sowohl im soften als auch im harten Bereich könnten Prüfungsgesellschaften tätig werden. Wie bei den Bilanzprüfern würden sie einerseits die Einhaltung der gesetzlichen Bestimmungen bescheinigen und sich andererseits bei technischen oder ökonomischen Neuentwicklungen darum bemühen, die Prüfungsstandards ebenfalls anzupassen.
  • Controlling-Algorithmen: Algorithmen, die Algorithmen kontrollieren, kennen wir bislang eher von Institutionen wie dem US-Datengeheimdienst NSA. Sie können, und sollten, allerdings demokratisch legitimiert werden. Denn in dem Mass, in dem Algorithmen und künstliche Intelligenzen Experten ersetzen und ergänzen, müssen sie auch mehr öffentlich-rechtlichen Kontrollen unterworfen werden. Die Kontrolleure müssen aber keine Menschen sein – in komplexen Systemen sind auch neue Kontrollautomatismen vorstellbar, die sich quasi selber steuern. Einen heute schon existierenden Ansatz hierfür hat Google kürzlich angekündigt: In Zukunft soll die Suchmaschine auch die Vertrauenswürdigkeit einer Website messen. Eine Site mit falschen Facts bekommt einen schlechteren Page-Rank. Je nachdem, wer die jeweilige Website befüllt, spricht der Google-Algorithmus also Menschen, Maschinen oder Kombinationen von beidem sein Vertrauen beziehungsweise Misstrauen aus.
Ohnehin geht es schon längst nicht mehr darum, Menschen gegen Maschinen antreten zu lassen. In der Industriegesellschaft haben sich diejenigen Verfahren durchgesetzt, die menschliche und technische Stärken kombinieren. In der Digitalgesellschaft wird sich ein ähnliches Ergebnis zeigen. Gerade bei hoher Komplexität hängt Erfolg davon ab, wie die Prozesse gestaltet werden, wie Menschen mit Maschinen zusammenarbeiten.Wie sehr die Kooperation anderen Arbeitsformen überlegen ist, zeigte sich ausgerechnet in jener Disziplin, die den Sieg der Maschine über den Menschen symbolisiert: dem Schach. 1997 hatte erstmals ein amtierender Weltmeister (Garri Kasparow) unter regulären Wettkampfbedingungen gegen einen Computer (Deep Blue) verloren, danach wurden verschiedene Methoden der Zusammenarbeit zwischen Schachmeistern und Schachcomputern ausprobiert. Da brachte im Jahr 2005 ein «Freistil»-Turnier der Website playchess.com ein überraschendes Ergebnis. Das Turnier, bei dem Menschen mit Computern in beliebiger Kombination antreten konnten, wurde nicht von einem der vielen teilnehmenden Schachgrossmeister mit Computerunterstützung gewonnen – sondern von zwei Amateur-Spielern, die gleichzeitig drei verschiedene Schachcomputer konsultierten. Dabei war es ihnen gelungen, einen Prozess zu organisieren, in dem die Computer so «gecoacht» wurden, dass aus der Zusammenarbeit eine tiefere Einsicht in die jeweilige Stellung entstand, als sie anderen Computern möglich war, die als Einzelkämpfer durchaus besser abgeschnitten hätten.Die besseren Ergebnisse, so die Lehre aus diesem Turnier, entstehen nicht unbedingt aus dem besseren Intellekt. Und sie entstehen auch nicht unbedingt aus der besseren Rechenleistung – sie können genauso gut aus dem besseren Prozess entstehen. Und dafür sollten Menschen und Maschinen möglichst vertrauensvoll miteinander agieren.Vom Vertrauen zur Vertrautheit Vertrauen ist nicht plötzlich da, sondern wird aufgebaut, verstärkt, gefestigt. Je mehr wir mit Technik interagieren und umso zuverlässiger sie funktioniert, umso vertrauter wird sie uns. Roboter und künstliche Intelligenzen lernen, Menschen und ihre Gefühle immer besser zu verstehen, besser als wir selbst, unsere Familien und Freunde. Die ersten Ansätze in dieser Richtung, etwa Apples «Siri», sind noch eher putzig als nützlich – von Vertrautheit ganz zu schweigen. Aber sie registrieren auch nur, was wir sagen, nicht in welchem Tonfall wir es sagen, und sie haben ja auch nur die Daten aus dem Handy verfügbar, nicht die aus unserem Körper. Geräte hingegen, die unseren Pulsschlag, unseren Blutdruck, unsere Reaktionsgeschwindigkeit oder die Feuchtigkeit der Handflächen messen, und alle Veränderungen solcher Parameter sofort erkennen, können unsere Emotionen geradezu fühlen, auch ohne dass wir noch etwas sagen müssten. Die künstlichen Intelligenzen auf den künftigen Smartgeräten, ob Phone oder Watch oder Headset, werden schon bald ihren Job so gut machen, dass viele Menschen ihnen mehr vertrauen und sie mehr lieben werden als ihre Partner, Familie und Freunde. Es geht dabei nicht nur um Trost für einsame Herzen wie im Film «Her», die Liebesbeziehung zwischen Mensch und Maschine ist subtiler und geht weiter, wie dies der amerikanische Schriftsteller Jonathan Franzen sehr treffend analysiert hat: «Die Technik hat ein extremes Geschick darin bewiesen, Produkte zu entwickeln, die unserem fantasierten Ideal einer erotischen Beziehung entsprechen, in der das Objekt des Begehrens nichts nimmt und sofort alles gibt und keine fürchterlichen Szenen macht, wenn man es durch ein noch begehrenswerteres Objekt ersetzt und der Schublade überantwortet.»Bald werden wir uns in natürlicher Sprache mit ihnen unterhalten können. Ob sie auch optisch menschenähnlich werden, ist noch offen, in jedem Fall aber werden wir sie längerfristig wie echte Menschen behandeln – und ihnen vielleicht sogar eines Tages Menschenrechte zugestehen.