Aufbau und Funktionsweise des menschlichen Gehirns

Moritz Helmstädter über neuronale Netzwerke und die Grenzen von KI

• Neuronale Netze: abgeleitet von den frühen Erkenntnissen (1960er Jahre) zur menschlichen Wahrnehmung, 2 Eigenschaften: Vorwärtsverarbeitung, d. h. eine Verarbeitungsebene beeinflusst die folgende, aber keine früheren; Schwellwertgetriggerte Knoten bzw. Nicht-Linearität der Antwort, d. h. ein Knoten feuert erst dann, wenn er sein Input einen bestimmten Wert überschreitet.
• neuere Ansätze verwenden auch rückwärtsgerichtete Verarbeitung, sprich Lernen zum Anpassen der Knoten, wann diese schalten – rekurrente Netzwerke
• echte Nervenzellen bilden wahrscheinlich auch Kreise
• Lernalgorithmus gegenwärtiger KI-Systeme ist im Vergleich mit dem Gehirn sehr ineffizient, sowohl in Bezug auf die eingesetzte Energie, als auch in der Schnelligkeit zu Lernen. Der Mensch braucht wenige Beispiel, um ein Objekt zu erkennen, KI braucht Millionen Beispiele (Trainingsdaten)
• struktureller Unterschied zwischen Computern und Gehirn: Computer trennt Speicher und CPU (von-Neumann-Architektur), im Gehirn ist Nervenzelle zugleich eine Speicher- und Prozessoreinheit. Ähnliches gibt es auch bei FPGAs. Gehirn arbeitet dezentral und wahrscheinlich nicht synchron getaktet.
• Nervenzellen sind hochverzweigt und haben viele (ca. 1000) Verbindungspartner quer durch das gesamte Gehirn. Es gibt etwa 85 Millionen Nervenzellen.
• Bei den Nervenzellen gibt es auch Hemmer, die, wenn sie aktiv sind, die Aktivität anderer Nervenzellen senken oder blockieren.
• Es gibt bereits Bauteile Memristoren, die eine solche Kombination aus Rechen- und Speichereinheit sind.

Neuronale Netzwerke erklärt

• But what is a Neural Network? YT-Video
• Gradient descent, how neural networks learn YT-Video
• Analyzing our neural network
• What is backpropagation really doing? YT-Video
• Backpropagation calculus YT-Video
• YT-Liste Neural networks:

• Quelltext bei Github

• Neuronale Netzwerke arbeiten in Schichten/Schritten, dies soll den Verarbeitungsebenen des menschlichen Gehirns entsprechen: Sehzellen, Gehirnregion; Idee der Informationsverdichtung

• Vollverdrahtung der Elemente einer Ebene mit der nächsten Ebene und Gewichte dieser Kanten simulieren die Stärke der Verbindung zwischen den Nervenzellen; Gewicht 0 entspricht keiner Synapse zwischen zwei Zellen
• Die inneren Schichten zwischen Eingabe- und Ausgabeschicht heißen hidden layer; wenn es viele davon gibt, heißt es deep network
• Mit den Gewichten wird das Netzwerk als riesige, n-dimensionale Funktion aufgefasst, die mithilfe von Beispieldaten optimiert wird. Dieses Lernen ist nichts anderes als eine Minimumsuche im n-dimensionalen Raum. Die Funktion muss (sollte) dabei so konstruiert werden, dass sie konvex ist und somit ein schrittweiser Abstieg zum Minimum hin möglich ist. Diese Form des Lernens deckt sich nicht mehr mit dem natürlichen Lernprozess.
• Die Analyse zeigt auch, dass die inneren Ebene keine Informationsverdichtung vornehmen. Daher ist die Arbeitsweise dieser Netzwerke auch nicht analysierbar, also zu erklären, warum sie eine Entscheidung treffen.

• Das Trainieren nach dem Prinzip Versuch und Irrtum entspricht auch nicht vollständig dem menschlichen Lernen. Menschen lernen effizienter durch die Vermittlung von Mustern: Ein Wein ist charakterisiert durch die Eigenschaften …; Ein Baum sieht so und so aus.

• Neural Networks Demystified:

  • 1. Data and Architecture
  • 2. Forward Propagation
  • 3. Gradient Descent
  • 4. Backpropagation
  • 5. Numerical Gradient Checking
  • 6. Training

Maschinelles Lernen und Geschichte der KI

• Learning To See: gut an der Serie ist, dass sich der Autor immer wieder kritisch und konstruktiv mit dem Thema auseinandersetzt

  • 1. Introduction: Einstieg
  • 2. Rules on Rules on Rules: Regelbasierter Algorithmus
  • 3. Now I R1: Geschichte von KI
  • 4. Machine Learning: Bewertung von Ergebnissen, Genauigkeit (Accuracy), Wiederholbarkeit (Recall), Exaktheit (Precision)
  • 5. To Learn is to Generalize: Unterschied Verallgemeinern und Auswendiglernen
  • 6. It's Definitely Time to Play with Legos: Probleme des Auswendiglernens
  • 7. There is no f: Regeln finden ist nicht einfach bzw. gibt es nicht die eine Regel – Problem der Unschärfe und Unsicherheit; Menschen ignorieren gewisse Teile und leben mit Fehlern
  • 8. More Assumptions...Fewer Problems?

• Menschliches Lernen passiert auf zwei Wegen:

  • Auswendiglernen: Fakten werden gespeichert und später ein Abgleich damit gemacht, um Entscheidungen zu treffen; Wiedererkennen von Kunstwerken, Gebäuden, Personen; Schreibweise von Wörtern
  • Verallgemeinerung/Generalisierung: der Mensch bildet Regeln anhand von Beispielen und merkt sich diese, um später anhand derer eine Entscheidung treffen zu können

Deep Learning und Nachhaltigkeit

• Der Deep Learning Hype
• maschinelles Lernen gleicht nicht mehr dem menschlichen Lernen, sondern ist mehr eine Suche nach Mustern in einem riesigen Haufen von Daten mithilfe von Statistik
• Was die angelernten Algorithmen tun, ist zum Teil nicht nachvollziehbar (Blackbox) und zum Teil nicht verständlich/sinnvoll (wer weiße Socken trägt, wird seltener krank; finden von Korreltationen und keinen Kausalitäten)
• Veröffentlichungen zu KI-Anwendungen sind teilweise nicht reproduzierbar, bieten keinen Neuheutswert, sind zu eingeengt/nicht verallgemeinbar oder allgemein anwendbar/bieten keinen Mehrwert.
• KI-Systeme sind sehr chaotisch und fragil/nicht robust, d. h. kleine Änderungen an Parametern führen dazu, dass völlig andere (falsche) Ergebnisse herauskommen ⇒ keine Reproduzierbarkeit
• KI und Deep Learning ist ein Hype, der eher negativ ist.

• KI-Systeme sind heute nur in sehr eingeschränkten Bereichen erfolgreich, aber keine allgemeine Intelligenz

• The deepest problem with deep learning: Deep Learning hat seine Grenzen und ist im Grunde nur ein besseres Auswendiglernen, aber kein Generalisieren. Eine richtige KI wird nur in einer Mischung aus verschiedenen Techniken (Regelbasiert + Auswendiglernen (Deep learning) + ???) entstehen.

• Deep Neural Networks (DNNs) haben Probleme die Objekte zu erkennen, wenn diese in ungewöhnlichen Positionen vom Trainingset stehen.
• DNNs sind nur ein Mittelwert über das Trainingset. Somit sind selbst Ausreißer im Trainingset ein Problem bei der Wiedererkennung, was aber beim Menschen nicht der Fall ist. Es braucht eine Mischung aus Mittelwert als Generalisierung und Memorisation für Ausreißer.

Künstliche Intelligenz

Der wesentliche Punkt bei künstlicher Intelligenz ist die Frage, wie man Intelligenz definiert. Ich glaube nicht, dass man zu einer scharfen Definition kommen wird, denn selbst beim Menschen macht man bereits eine graduelle Differenzierung zwischen intelligent und weniger intelligent. Am Ende wird das Ringen um die Definition von Intelligenz uns wesentlich intensiver mit unserem Verständnis vom Denken des Menschen beschäftigen, aber eine Festlegung wird mehr axiomatischer Natur sein.

Dennoch können wir unsere Art zu denken und zu handeln ja gut von Tieren oder (bisherigen) Maschinen unterscheiden. Ich sehe daher für Intelligenz folgende Fähigkeiten als Voraussetzung:

• Die Fähigkeit zu lernen und sich und sein Handeln selbst zu verändern, sprich das eigene Wissen für Entscheidungsgrundlagen zu erweitern. Gegenüber einfachen Programmen ohne Datenbanken ist dies ein wesentlicher Unterschied, da sie immer wieder die gleichen Ergebnisse produzieren. Mit einer Datenbank, die ein Programm selbständig (ohne externen Anstoß des Benutzers) verändert, verändert sich auch die Verhaltensweise des Programms und verbessert sich im besten Fall.

• Eine weitere Fähigkeit ist es, abstrakt zu denken, das heißt, über Fragen nachdenken zu können, die nicht real bzw. ort- oder zeitversetzt sind. Insbesondere ermöglicht uns diese Fähigkeit über Dinge in der Zukunft nachzudenken und zu planen. Es soll zum Beispiel Krähen geben, die Nüsse auf die Straße legen, damit Autos sie überfahren und sie dabei knacken. Dieses Planen und vorstellen eines zukünftigen Zustands (»Auto fährt über die Nuss, nachdem die Krähe weg ist und daraufhin ist der Kern zugänglich«) sehe ich als wesentliche Eigenschaft für Intelligenz an.

• Als weitere notwendige Fähigkeit sehe ich die Selbsterkenntnis an. Ein System muss in der Lage sein, sich als eigenständigen Teil der Umwelt zu erkennen. Systeme, die nicht ihre Autonomie und Handlungsfähig erkennen, können sich nicht selbst weiterentwickeln, weil sie immer nur als festes Element des Gesamtsystems aggieren – also nicht mit einem freien Willen.

• Aus dieser Fähigkeit folgt noch die Fähigkeit der Selbstreflektion, also dem Hinterfragen seinerselbst und dem Willen, sich selbst zu verändern. Wer nur erkennt, dass er existiert, aber seine Fähigkeit zur Planung nicht nutzt, um sein Verhalten zu verändern, der lebt nicht, sondern existiert nur – wie Oscar Wild schrieb.

Von der Fähigkeit der Selbsterkenntnis ist künstliche Intelligenz meines Wissens nach noch weit entfernt. Aber dieser Schritt – bei Kindern der Spiegeltest – ist wesentlich für die Wahrnehmung eines Systems (Programm oder Tier) als menschenähnliche Intelligenz. Diese Fähigkeit auch irgendwie Programmen beizubringen halte ich für möglich, aber nicht für realisitisch in den nächsten Jahrzehnten.

Künstliche Intelligenz wird uns hingegen in den nächsten Jahren unsere eigenen Fähigkeiten verbessern lassen. So nutzte zum Beispiel ein Schachspieler bei einem Turnier einen »ungewöhnlichen« Zug, der aber zuvor mehrfach bei Schachturnieren von Computerprogrammen untereinander beobachtet wurde – sprich der Mensch hat vom Computer gelernt.

Ähnlich war es bereits beim siegreichen Spiel von Alpha-Go mit dem Go-Weltmeister: Das Programm hat im Spiel neue, siegreiche und damit intelligente Züge gemacht, die zuvor in der Go-Welt noch nicht bekannt waren. Ein weiteres Beispiel ist eine KI für physikalische Gesetze, die Schwingungen ordnungsgemäß reproduzieren kann, aber die Physiker nicht verstehen, welche Gesetze die KI nutzt:

“We tried correlating the other variables with anything and everything we could think of: angular and linear velocities, kinetic and potential energy, and various combinations of known quantities, but nothing seemed to match perfectly.” The team was confident that the AI had found a valid set of four variables, since it was making good predictions, “but we don't yet understand the mathematical language it is speaking.”

“I always wondered, if we ever met an intelligent alien race, would they have discovered the same physics laws as we have, or might they describe the universe in a different way?” said Lipson. “Perhaps some phenomena seem enigmatically complex because we are trying to understand them using the wrong set of variables. In the experiments, the number of variables was the same each time the AI restarted, but the specific variables were different each time. So yes, there are alternative ways to describe the universe and it is quite possible that our choices aren't perfect.”

Der letzte Gedanke erinnert sehr an das menschliche Ringen um die »richtige« Sicht auf die Welt in den Naturwissenschaften. Auch dabei gab es über gewisse Zeiträume hinweg immer wieder unterschiedliche Modelle zur Beschreibung der Welt, die sich immer wieder durch neue Ansätze zur Betrachtung der Welt abgelöst haben.

Wir Menschen haben uns über die Jahrhunderte hin bei der Optimierung in ein lokales Optimum begeben, das sehr wahrscheinlich nicht das globale Optimum ist, in dem wir aber auch sehr festsitzen. Mithilfe der Technik und künstlicher Intelligenz können wir unseren Blick wiederum weiten und neue Optima entdecken und uns selbst verbessern.

Künstliche Intelligenz wirkt vielleicht auch daher so beeindruckend, weil sie uns aus unserem Denkloch/Optimumtal herausholt und neue Teile der Welt zeigt. Aber KI wird – bis zum Erreichen der Selbsterkenntnis – »nur« eine andere Form von Algorithmus (neben OOP, funktionaler Prg., evolutionärer Prg. u. s. w.) im Werkzeugkoffer des Menschen bleiben.

Viel wird auch immer um die Funktionsweise von künstlichen neuronalen Netzwerken diskutiert und es wird hinterfragt, warum eine Entscheidung so und nicht anders gefallen ist. Wenn wir aber das Programm als unser Werkzeug und uns in Interaktion mit ihm begreifen, können wir von ihm auch lernen, ohne seine Funktionsweise verstehen zu müssen. Ähnlich wie wir auch nicht die Funktionsweise unseres eigenen Gehirns entziffern oder in die Köpfe anderer Menschen schauen können, so können wir doch von deren Handeln und den entstandenen Ergebnissen lernen und uns anhand ihres (guten oder schlechten) Vorbilds verändern.

Die Rechenkraft der Computersysteme bietet also für die nahe Zukunft uns große Möglichkeiten, dass wir KI-Systeme nicht zum Treffen von Entscheidungen einsetzen, sondern als Werkzeug zur Erstellung von Entscheidungsstrategien; Computer liefern also nicht das Ergebnis, sondern den Weg zum Ergebnis, der dann vom Menschen vollzogen werden kann.

Philosophie der (künstlichen) Intelligenz – was ist der Mensch

• Lehrstuhl für Strafrecht, Strafprozessrecht, Rechtsphilosophie und Rechtsvergleichung: Gründungsveranstaltung Forschungsstelle bzw. Das Denken und seine Modelle - Für eine kritische Philosophie der K.I.

• Intelligenz können nur Lebewesen besitzen (wenn auch nicht alle), weil sie einen aktiven Selbsterhaltungstrieb besitzen. (Bisherige) Geräte besitzen keine Mechanismen, um sich selbst zu reparieren oder sich selbstzuversorgen, um am Leben zu bleiben.

  Bei einem Lebewesen heilt eine Wunde, während der Schaden bei einem Gerät bleibt. Ein Gerät kann sich ähnlich einem Baby nicht selbstversorgen, sondern nur durch akustische und optische Signale auf sein Bedürfnis nach Nahrung (Strom) aufmerksam machen; Babys spricht man auch keine Intelligenz zu.

• These aus einem Bereich der Neurowissenschaft: Computer können kein Bewusstsein erlangen. (25:50)
• Intelligenz ist die Fähigkeit ein gegebenes Problem in einem bestimmten Zeitraum zu lösen. (5:30) Menschen werden mithilfe von Maschinen (die Informationen verarbeiten) intelligenter, weil sie Aufgaben schneller lösen können, aber die Intelligenz steckt nicht in der Maschine – Maschinen sind Werkzeuge des Menschen. In diesem Sinne kann also eine Maschine M1 förderlicher für die Intelligenz sein als eine Maschine M2, wenn sie schneller rechnet als M2.
• Evolution führt zu Intelligenz, weil sie den Druck herstellt, das Problem des Überlebens zu lösen. (18:15)
• Lernen ist die Fähigkeit aufgrund von Wissen neue Fragen zu formulieren oder zu lösen. (7:00)
• Denken ist die Fähigkeit Gedanken zu haben, ein Gedanke ist eine Aussage, der ein Wahrheitswert zugeordnet werden kann. (31:30)
• Platon hat das Internet erfunden, die Verwebung von Ideen (35:05)
• Menschen sind diejenigen Lebenwesen, die sich die Frage stellen, was Menschen sind – Selbstreflexion (42:10)
• höhere Intelligenz führt nicht dazu, dass die Ergebnisse besser werden, sie entstehen nur schneller (47:45)
• »Unsere digitale Infrastruktur – weil sie von Menschen programmiert wird, die nicht über ihre eigenen Vorurteile aufgeklärt sind – perpetuiert Vorurteile, die wir abbauen müssen, auf dem Weg zu einer gerechten Gesellschaft.« (56:30)

Leistungen künstlicher Intelligenz

• Ein neuronales Netzwerk kann Textaufgaben für Mathematik an Universitäten in Programmcode übersetzen und auch Aufgaben generieren: A Neural Network Solves, Grades & Generates University-Level Mathematics Problems by Program Synthesis | Synced, A Neural Network Solves and Generates Mathematics Problems by Program Synthesis: Calculus, Differential Equations, Linear Algebra, and More
• KI-generierte Bilder
• Google-Tochter Deepmind: KI-Anwendung sorgt für mathematischen Durchbruch, Google Deepmind: Schach-KI findet besseren Rechenweg für Matrixmultiplikation
• Eine KI löst Programmieraufgaben (gegeben als englischer Text) auf dem Niveau eines Durchschnittprogrammierers: Deepmind: Coding-KI Alphacode programmiert besser als viele Menschen
• Generierung von Texten: »ChatGPT von OpenAI: Künstliche Intelligenz, schreibe einen Text zu künstlicher Intelligenz | ZEIT ONLINE« und »Kolumne einer künstlichen Intelligenz: Die Zukunft gehört den Maschinen - taz.de« und Open AI: Ein KI-System für Krimis und ökonomische Theorien
• KI hilft Hackern: "ChatGPT, schreib mir einen Virus!" - computerwoche.de
• Microsoft: Drei-Sekunden-Aufnahme soll reichen, um Stimme zu imitieren - Golem.de mit einem solchen System könnte man wunderbar Filme synchronisieren; die Stimme des Schauspielers hat man und die Texte in für andere Sprachen liegen meist für die Untertitel vor.
• Audiopalm: Google fusioniert KI-Modelle und übersetzt Texte mit Originalstimme und AudioPaLM

Weiteres

• Es gibt Ansätze, für KI mit anderen Materialien und Technologien zu arbeiten, ähnlich wie es schon mal den Tesafilm zum Speichern oder DNA-Computer gab: Analoge KI: MIT-Team entwickelt Synapsen, die millionenfach schneller sind als das menschliche Gehirn