Risikoanalyse AI und ChatGPT

Was wird ihr nicht alles zugesprochen, der künstlichen Intelligenz, kurz KI. Doch was steckt eigentlich dahinter? Eine Antwort: Es wird viel über KI geschrieben – ohne methodischen Zugang. So sieht es Frank Romeike. Wir sprachen mit dem Experten für Risikomanagement über die vermeintliche KI sowie den Abhängigkeiten und gefährlichen Schlussfolgerungen.

Herr Romeike, die künstliche Intelligenz wird vielfach als vermeintliche Alleskönnerin im Umgang mit Daten, Analysen und Vorhersagen gepriesen. Zu Recht?

Romeike: Diese These kommt in der Regel von Journalisten und selbst ernannten Experten, die noch nie einen Algorithmus im Bereich Artificial Intelligence, kurz AI, geschrieben haben. Und diesen "Experten" fehlt oft der methodische Zugang, denn ohne fundierte Kenntnisse in Stochastik, Mathematik und neuronalen Netzen werde ich AI nur an der Oberfläche verstehen.

Seit meiner Zeit bei der IBM und damit seit mehr als 25 Jahren beschäftige ich mich mit AI und Stochastik, etwa bei der Analyse zukünftiger Risikopotenziale. Ich bin allerdings noch nie auf die Idee gekommen, hier von "Intelligenz" zu sprechen. Denn am Ende handelt es sich um Algorithmen und stochastische Simulationsverfahren. 

Der englische Begriff "Artificial Intelligence" wird häufig mit "künstlicher Intelligenz" übersetzt. Dabei bedeutet "Intelligence" viel mehr Informationsverarbeitung. "Die Central Intelligence Agency heißt ja auch nicht so, weil die so gescheit sind", sagte einmal der österreichische Kybernetiker und AI-Experte Robert Trappl. AI beschäftigt sich im Kern mit der Nachbildung menschenähnlicher Entscheidungsstrukturen durch Algorithmen.

Das heißt, ein Computer wird so programmiert, dass er eigenständig Probleme bearbeiten kann, beispielsweise Auto fahren, Texte übersetzen oder Go spielen. Von einem Alleskönner sind wir meilenweit entfernt! Kleiner Test zum Ausprobieren: Frage mal ChatGPT nach der zukünftigen Risikolandkarte oder nach der Entwicklung der Kupferpreise für die nächsten sechs Monate.

Wenn Sie die KI-Möglichkeiten im Risikomanagement betrachten, wo sehen Sie die größten Chancen im Einsatz der Technologie auch für die öffentliche Verwaltung?

Romeike: Wir sollten vielleicht ein paar Schritte zurücktreten und zunächst erst mal überhaupt ein wirksames und präventives Risikomanagement im Bereich der öffentlichen Verwaltung umsetzen. Aktuell sehe ich vor allem reaktives Krisenmanagement und wenig präventives Risikomanagement. Welche Organisation in der öffentlichen Verwaltung verfügt beispielsweise über ein Risikotragfähigkeitskonzept? 

Seit vielen Jahren mahnt auch der Bundesrechnungshof ein wirksames Risikomanagement an. Dies war bereits Gegenstand einer Querschnittsprüfung des Bundesrechnungshofs im Jahr 2006. Dessen Nachschau im Jahr 2015 ergab keine nennenswerten Fortschritte bei der Etablierung systematischer und umfassender Risikobefassungen. Und bis heute gibt es keine wirklichen Verbesserungen, obwohl es doch gerade im Interesse eines jeden Staatsbürgers sein dürfte, dass die öffentliche Hand sorgsam mit den ihr anvertrauten Haushaltsmitteln umgeht.

Selbstverständlich sollten hierbei auch Verfahren aus der Welt der Stochastik und AI zum Einsatz kommen, etwa bei der Bewertung geopolitischer Risikoszenarien oder bei der Bewertung von Cyberrisiken.

Haben Sie hierzu ein konkretes Beispiel aus der Praxis?

Romeike: Cyberrisiken oder auch geopolitische Szenarien können mit Unterstützung von AI-Methoden analysiert und früher erkannt werden. Ich denke hier beispielsweise an "Digital Listening", um geopolitische Frühwarnindikatoren oder neue Angriffsvektoren zu monitoren oder auch die Aktivitäten von Klimaaktivisten. Doch leider dominiert in der Praxis oft noch eine verstaubte Checklistenwelt, man siehe sich nur den IT-Grundschutz des BSI an, während die "böse Seite" schon längst mit polymorpher und selbstlernender Malware unterwegs ist.

Und wo lauern Risiken im Umgang mit KI?

Romeike: Die größten Risiken lauern darin, dass wir die Aussagen der AI-Systeme für die Wahrheit halten und dabei vergessen, dass derartige Systeme immer nur sinnvolle Ergebnisse in einer "stabilen Welt" liefern. In einer instabilen Welt versagt AI. Und in einer solchen Welt leben wir Menschen.

Außerdem kann und wird AI bereits heute von Staaten gezielt zur Desinformation verwendet. Ich würde mir von einem AI-System vor allem "Factfulness" wünschen – doch die Mehrzahl der Systeme, die ich kenne, sind nicht faktenbasiert. Bei ChatGPT bzw. OpenAI wird massiv auf "Political Correctness" geachtet und zum Teil denkt sich ChatGPT kompletten Unsinn aus, der aber auf den ersten Blick absolut plausibel klingt. Das widerspricht "Factfulness" und einer Suche nach der Wahrheit, was auch immer das ist. Dies erkennt man auch daran, dass ChatGPT Quellennachweise teils komplett erfindet.

Ich habe das mit vielen Begriffen getestet, beispielsweise mit "Post-Quantum Cryptography" oder Buchempfehlungen zum Thema Risikomanagement. ChatGPT hat völlig versagt. Kurzum: Das größte Risiko sehe ich darin, dass wir uns von Halbwahrheiten und Falschinformationen blenden lassen. Und das passiert dann, wenn wir unsere menschliche Intelligenz durch eine scheinbar "künstliche" ersetzen.

Bringen wir uns mithilfe der KI nicht auch in Abhängigkeit von Maschinen und Algorithmen, die am Ende vielleicht über unserer Ratio steht?

Romeike: In dieser Abhängigkeit befinden wir uns bereits heute. Daher sollten wir als Menschen stärker in unsere digitale Kompetenz investieren und weniger euphorisch alles glauben, was wir unter der Überschrift "künstliche Intelligenz" lesen. Außerdem sollten wir trennscharf zwischen starker und schwacher AI unterscheiden.

Für eine Objektivierung der Diskussion ist dies von höchster Relevanz. Zwischen einer bösartigen Nutzung "künstlicher Intelligenz" und einer sinnvollen AI-Unterstützung im täglichen Leben besteht ein riesiger Unterschied. Sowohl der "übermenschliche Cyborg" als auch die intelligente Einparkhilfe und die Diagnose von Krankheiten basieren auf Methoden aus der Werkzeugkiste "Artificial Intelligence".

Daher benötigen wir vor allem eine gesellschaftliche Diskussion der Sonnen- und Schattenseiten von AI und der schönen Datenwelt.

Hieran schließt sich die Frage an: Ist es nicht auch gefährlich, sich bei Entscheidungsfindungen rein auf die "Schlussfolgerungen" einer künstlichen Intelligenz zu verlassen?

Romeike: Absolut. Insbesondere in einer instabilen Welt sollte man sich nicht auf die AI verlassen oder von Halbwahrheiten und Falschinformationen blenden lassen. Es gibt hierzu ein schönes Beispiel aus der Praxis. Nämlich die Notwasserung des US-Airways-Flug 1549 auf dem Hudson River am 15. Januar 2009. Ein AI-System wäre hier völlig überfordert gewesen, da es in dieser instabilen Situation Mehrdeutigkeiten gab. Etwa drei Minuten nach dem Start führten in die Triebwerke gesogene Kanadagänse zu einem Ausfall beider Triebwerke. Dem erfahrenen Piloten Chesley B. Sullenberger und seiner Erfahrung und menschlichen Intelligenz ist es zu verdanken, dass alle 155 Menschen an Bord überlebten. Ein AI-System hätte hier völlig versagt, da es mit Ambiguitäten nicht umgehen kann. Umgekehrt kann AI ein Flugzeug in einer stabilen Welt völlig autonom starten und landen, solange keine Störungen und Mehrdeutigkeiten auftreten.

Aktuell wird das Thema ChatGPT durch alle Medien getrieben. Was bedeutet die technologische Entwicklung für Unternehmen in puncto neuer Geschäftsmodelle? Das heißt, ergeben sich daraus neue Chancen oder haben wir es nur mit einem neuen Marketing-Hype ohne wirklichen Mehrwert zu tun?

Romeike: Aus ChatGPT resultieren neue Geschäftsmodelle, die heute auch bereits genutzt werden. So kann ChatGPT journalistische Texte schreiben und das kostengünstiger als ein Journalist. Oder ChatGPT kann Texte übersetzen und das kostengünstiger als ein Übersetzer. Und der Chatbot kann für Betrug, Falschinformationen und andere kriminelle Aktivitäten eingesetzt werden, beispielsweise für Phishing-Attacken.

Und ja, hinter ChatGPT steckt auch eine Menge an Hype. Dies wird vor allem von den "Experten" nicht erkannt, die sich noch nie mit den Methoden eines Chatbots beziehungsweise Machine Learning beschäftigt haben. Bevor wir uns nur von den möglichen Chancen blenden lassen, sollten wir uns erst mal über die oben angesprochenen Risiken unterhalten, nämlich die Verbreitung von Lügen und Desinformationen.

Welche Rolle müssen Städte und Kommunen zukünftig im KI-Umfeld einnehmen, um die Risiken des KI-Einsatzes zu minimieren und trotzdem eine zukunftsgerichtete Sichtweise zu bewahren, sprich Chancensicht?

Romeike: Städte und Kommunen sollten sich zunächst erst mal mit den wirklichen greifbaren Digitalisierungsthemen beschäftigen und nicht gleich nach den Sternen greifen.

Solange ich weiterhin mein Kraftfahrzeug physisch bei der Zulassungsstelle anmelden muss und ich für einen neuen Personalausweis oder die Anmeldung des Wohnsitzes weiterhin persönlich aufs Amt muss, sollten zunächst mal diese Themen angegangen werden. Wenn das umgesetzt ist, sollten wir noch einmal über AI sprechen.

Wo bleibt der Mensch bei all dem? Wird er in vielen Fällen sogar überflüssig oder gar zum reinen Zuschauer? AI ist gleichzeitig Fluch und Segen. Wichtig ist, dass AI mit unseren gesellschaftlich definierten Zielen übereinstimmt. Auf diesen Umstand hatten vor einiger Zeit Wissenschaftler u. a. der Universitäten Stanford, Yale, Oxford und Tohoku hingewiesen. In der Studie "The Malicious Use of Artificial Intelligence" werden verschiedene Szenarien skizziert, wie AI-Technologien von Terroristen, Kriminellen und despotischen Regierungen missbraucht werden könnten und wir uns dagegen schützen können.

AI-Algorithmen sollten dort zum Einsatz kommen, wo ihre Fähigkeiten besser als die der Menschen sind und umgekehrt. Wir müssen uns als Menschen und Gesellschaft mit der Frage beschäftigen, wie viel vermeintliche Sicherheit und Vorhersehbarkeit auf der einen Seite sowie Freiheit und Risiko auf der anderen Seite gewünscht ist. Eine wichtige Kernfrage in diesem Zusammenhang: Wollen wir uns einer Diktatur der Daten ausliefern und in einer Welt leben, in der Big Data mehr über unsere Risiken, unsere Vergangenheit, Gegenwart und Zukunft weiß, als wir uns selbst erinnern können? Ich hoffe daher, dass das dystopische Szenario des israelischen Autors Yuval Noah Harari nicht Realität wird: "Biologisches Wissen multipliziert mit Rechenleistung multipliziert mit Daten ergibt die Fähigkeit, den Menschen zu hacken."

Herr Romeike, herzlichen Dank für das Gespräch!