Gleichzeitig sieht der Ethikrat aber Gefahren, die nicht ignoriert werden dürften: Bei der Entwicklung und Nutzung von KI-Produkten müsse ein ärztlicher Kompetenzverlust vermieden werden. Die Privatsphäre von Patientinnen und Patienten müsse mit intensiver Datennutzung in der medizinischen Forschung in Einklang gebracht werden. Eine vollständige Ersetzung von Ärztinnen und Ärzten durch ein KI-System gefährde das Patientenwohl und sei auch nicht durch den Personalmangel zu rechtfertigen.
Diskussion um Einsatz in der Schule
Im Bereich Bildung diskutierten die Mitglieder des Ethikrates durchaus kontrovers, ob ein KI-Einsatz in der Schule ganz generell verboten werden sollte oder nicht. Konkret ging es um die Frage, ob man das Geschehen im Klassenzimmer per Video aufzeichnen darf, um mit Hilfe von KI zu analysieren, wie der Lernprozess bei einzelnen Schülern abläuft.
Während Teile des Ethikrates diese Form von "Classroom Analytics" ganz grundsätzlich ablehnten, sahen andere durchaus Chancen, weil damit die Lehrkräfte ein kontinuierliches Feedback erhalten könnten und die Unterrichtsergebnisse erheblich verbessert werden könnten. Als Kompromiss einigte man sich auf die Position, dass die Datenerfassung und -bereitstellung dem Lernprozess dienen sollte. "Sie darf nicht zur Überwachung und Stigmatisierung von Lernenden missbraucht werden", sagte Julian Nida-Rümelin, der stellvertretende Vorsitzende des Deutschen Ethikrats.
Vorwiegend kritisch sieht der Ethikrat auch die Rolle der KI in der öffentlichen Kommunikation und Meinungsbildung. In den Sozialen Medien habe die Polarisierung und die Verrohung des Diskurses zugenommen, beklagte Nida-Rümelin. Man könne aus dem "weißen Rauschen" der Netze oft nur mit besonders extremen Auffassungen herausragen.
Facebook und Twitter
Der ehemalige Kulturstaatsminister machte dafür auch das kommerzielle Interesse der Plattformen wie Facebook und Twitter an einem möglichst langen Verbleib der Nutzerinnen und Nutzer verantwortlich. Dies werde mit personalisierten Angeboten erreicht, die mit Hilfe von KI auf die Empfänger zugeschnitten würden.
KI werde aber auch bei der Moderation von problematischen oder gar strafbaren Inhalten verwendet. Damit entstehe ein Spannungsverhältnis zwischen Meinungsfreiheit und Zivilkultur der Kommunikation, das in den Händen privater Digitalunternehmen nach eigenen Regeln aufgelöst werde, sagte Nida-Rümelin.
Der Ethikrat bringt an dieser Stelle eine öffentlich-rechtliche Alternative ins Gespräch, um dieses Thema nicht alleine privaten kommerziellen Konzernen zu überlassen. "Wir meinen damit nicht die öffentlichen Rundfunkanstalten", sagte Nida-Rümelin. Denkbar seien öffentlich-rechtliche Stiftungsmodelle ohne großen Staatseinfluss.
In der öffentlichen Verwaltung werde KI immer häufiger eingesetzt, um Entscheidungen zu unterstützen und für höhere Effizienz zu sorgen, berichtete Judith Simon, Professorin für Ethik in der Informationstechnologie an der Universität Hamburg. Es sei aber nicht erwiesen, dass die Verwendung zwangsläufig zu besseren Entscheidungen führe. Der Ethikrat setzt sich dafür ein, dass die Bürgerinnen und Bürger vor Diskriminierung geschützt werden. Maschinellen Empfehlungen dürfe man nicht blind folgen. Weiterhin müssten Einzelfallbetrachtungen sowie die Einsichts- und Einspruchsrechte von Betroffenen gewährleistet werden.
Das gelte auch für den Einsatz der KI zur Verbesserung der Inneren Sicherheit. "Wenn eine Software vorhersagt, dass eine Person zu 99 Prozent straffällig wird, so können wir eben niemals wissen, ob die Person vor uns nicht genau das eine Prozent ist."
Forschungsministerin Bettina Stark-Watzinger (FDP) erklärte, der Ethikrat verdeutliche "die vielfältigen Potenziale und Chancen", die mit dem Einsatz von Künstlicher Intelligenz in zentralen gesellschaftlichen Anwendungsbereichen verbunden seien. "Diese müssen wir unbedingt nutzen." Gleichzeitig gebe der Bericht Orientierung, wie möglichen Risiken wie etwa Diskriminierung bei der Anwendung von KI begegnet werden könne.
Kritischer nahm der KI-Verband den Bericht auf: Er gehe zu wenig auf die positiven Auswirkungen von KI ein, erklärte Verbandsgeschäftsführer Daniel Abbou. Die Möglichkeiten, die KI im wirtschaftlichen Kontext haben werde, insbesondere in Bezug auf den Fachkräftemangel, würden ignoriert.