Intelligente Allmende

Die Pflanzenbilder auf der Außenseite sind das spekulative Ergebnis einer Künstlichen Intelligenz. Sie verarbeitet botanische Zeichnungen von Pflanzen aus der Zeit Annette von Droste-Hülshoffs. Ihnen gegenübergestellt erzählen Poesien von der Begegnung zwischen Technologie und Natur. Sie sind eine Weiterentwicklung des Gedichts “Im Moose” der Lyrikerin Droste-Hülshoff. Die Orangerie als Ort der Kultivierung und Repräsentation von Pflanzen beherbergt einen künstlichen Garten. Er ist ein begehbares neuronales Netzwerk, das auf die Präsenz des Publikums reagiert und die Produktion der Bilder der Künstlichen Intelligenz beeinflusst.

  • Poesien

     

    Ausgehend von dem Gedicht »Im Moose« von Annette von Droste-Hülshoff...

    ...haben die Tauben Performer*innen Rafael-Evitan Grombelka & Kassandra Wedel und die hörenden Lyriker*innen Anna Hetzer & Tim Holland neue Poesien entworfen und in Lyrik und Gebärdensprachpoesie übersetzt. Dabei erzählen die Poesien von Begegnungen zwischen Natur und Technologie, von Verschmelzung zwischen Gebärden und Wort, hin zu einer eigenen Formsprache. Die “Glühwürmchen”-Poesien greifen das Innere der Orangerie auf, in der ein künstlicher Garten kultiviert wurde. Sie lassen das künstliche Objekt zum Teil der Poesie werden, das auf die Bewegungen reagiert.

     

    Morsche Gegenwart

    von Anna Hetzer & Kassandra Wedel

     

    im moos - Rafael

    von Rafael-Evitan Grombelka & Tim Holland

     

    im moos - Tim

    von Rafael-Evitan Grombelka & Tim Holland

     

    Glühwürmchen 1

    von Rafael-Evitan Grombelka & Anna Hetzer

     

    Glühwürmchen 2

    von Rafael-Evitan Grombelka & Anna Hetzer

  • KI

     

     

    Künstliche Natur- Zur Verwendung der „künstlichen Intelligenz“ im Projekt Intelligente Allmende

    Das Projekt „Intelligente Allmende“ versuchte, drei Ideen zu vereinen:

     

    Poesie von Tauben und hörenden Künstler:innen, sinnliche, interaktive Objekte und einen bilderzeugenden Algorithmus, der Bilder von Lexikoneinträgen über Pflanzen produzieren sollte. Hier soll es um den zweiten Teil gehen und insbesondere der Trainingsprozess erklärt werden.

    Das Projekt startete im Frühjahr 2022 und für uns stand die Frage im Raum, wie wir künstliche, neuronale Netze und Machine Learning in unserem Projekt einsetzen.

    Ein kurzer Einschub: Eine wichtige Frage im Umgang mit künstlicher Intelligenz ist die Frage nach dem Umgang mit dem Begriff „künstlichen Intelligenz“, denn er ist populärwissenschaftlich, vermenschlicht technologische Vorgänge in dem er Begriffe gleichsetzt, die nicht gleich sind („Künstliche Intelligenz“ hat bspw. wenig mit Problemlösung zu tun), knüpft eher an Popkultur und SciFi als an Technologiediskurse an und ist ein Sammelbegriff, der viele Definitionen unter sich vereint. Es ist also nie klar, was der Begriff eigentlich meint. Durch diese Unklarheit verbreitet er auch Angst vor zukünftigen Entwicklungen. Gleichzeitig ist der Begriff als Phänomen in der Öffentlichkeit, Leute wollen wissen, was es damit auf sich hat, und suchen Orte, an denen sie sich über das Phänomen austauschen können.

    Wir haben uns daher entschieden, den Begriff trotz seiner widersprüchlichen Bedeutungen in der öffentlichen Kommunikation zu verwenden.

    Zu Projektbeginn legten wir einige Komponenten fest, die uns als ästhetische Grundpfeiler dienen sollten, einer davon war, möglichst wenig mit gesprochener und geschriebener Sprache zu arbeiten. Wir verwendeten daher einen zu dem Zeitpunkt populären bilderzeugenden Algorithmus StyleGAN3. StyleGAN3 ist ein General Adverserial Network, kurz GAN, der besonders gut den Stil, also den Style, von Bildern, auf die er vorher trainiert wurde, nachahmen kann. Daher der Name StyleGAN. Die verschiedenen Modelle und der benutzte Code sind unter dem Text verlinkt.

    Die Bildwelt, die wir erzeugen wollten, knüpft an Bildwelten von Pflanzenillustrationen aus dem 18. und 19. Jahrhundert an. Diese haben wir aus der Biodiversity Library kuratiert. Die Biodiversity Library geht auf die Smithsonian Institution zurück, eine us-amerikanische Dachinstitution der wichtigsten öffentlichen Museen des Landes, die ihre Sammlung nach und nach digitalisieren und auf verschiedenen Plattformen öffentlich und gemeinfrei, also als eine Form von Allmende, zugänglich machen. Über eine Million Illustrationen wurden hier bereits publiziert, Link siehe unten. Unsere Arbeit war hier die Kuration der Illustrationen und die Auswahl der Bilder für das Trainingsset des Algorithmus. Am Ende bestand unser Datensatz aus etwa 12.500 Bildern, für die wir uns anhand der Kriterien Alter (Entstanden sie zu Anette von Droste zu Hülshoffs Lebzeiten?) sowie ob es Verbindungen zur Bibliothek der Droste gibt (bspw. Illustratoren, die auch für Linné arbeiteten oder im selben Gebiet unterwegs waren). Diese 12.500 Bilder bildeten die Datenbank für das Training unseres StyleGan-Modells.

    Bei einem GAN treten zwei künstliche neuronale Netzwerke gegeneinander an. Das eine, der Generator, generiert neue Bilder, das andere, der Diskriminator, überprüft Bilder und schätzt, ob es sich um generierte Bilder oder um Bilder aus der Trainingsdatenbank, also Originale handelt. Am Ende wird der Diskriminator meist verworfen, der Generator bleibt übrig. Auch Modelle wie GPT arbeiten mit einem ähnlichen Vorgehen- nur auf einem erhöhten Schwierigkeitsgrad. Um eine für den Algorithmus verarbeitbare Datenbank zu erstellen, mussten die Bilder jedoch noch einmal bearbeitet und in das Format 1024x1024 gebracht werden- bilderzeugende Algorithmen können nur mit quadratischen Bildern umgehen.

    Diese Datenbank war dann Grundlage für das Training des bilderzeugenden Generators, der für uns neue, verschrobene Lexikaeinträge von Pflanzen erstellte. Das Training fand dabei auf zwei Nvidia A100 Grafikprozessoren statt. Diese Prozessoren sind besonders gut darin, Vektor- und Matrixmultiplikationen durchzuführen und somit Verbindungen verschiedener künstlicher Neuronen, die die Grundlage eines neuronalen Netzwerks bilden, zu knüpfen. Dabei gibt es enorme Unterschiede in der Leistungsfähigkeit der Chips, das Training, das mit den Prozessoren, die wir genutzt haben, eine Woche gedauert hat, hätte mit gängigen Grafikprozessoren aus dem Heimanwendungsbereich mehrere Monate gedauert.

    Eine Woche Training ist immer noch eine Menge, die Ergebnisse, die wir dann auch in die Ausstellung übernahmen, sind hier sichtbar:

Was wir hier von unseren Besucher:innen gespiegelt bekamen, war, dass die Bilder an ihre Vorbilder erinnern, aber sie nicht ansatzweise so detailreich sind und gängigen Vorstellungen von Pflanzen sogar widersprechen. Die Bilder stießen hier also eine Auseinandersetzung mit gängigen Vorstellungen von Natur an und unterscheiden sich trotzdem stark von ihren Vorbildern in der Datenbank.
Dies liegt zum einen an mangelnden Möglichkeiten, in die einzelnen Parameter des Modells noch genauer einzugreifen. Die Modelle sind so komplex und bestehen aus so vielen Datenpunkten, dass es für uns unmöglich gewesen wäre, das Modell zielführend zu verändern. Zum anderen wollten wir hier auch ein Gefühl entstehen lassen, dass in der Beobachtung der Lexika Einträge, welche Pflanzen außerhalb Europas abbildeten, zu ihrer Entstehungszeit auch entstanden sein muss: Ein Gefühl der Befremdung, der Ungläubigkeit ob dieser neuen Formen und Farben und die Notwendigkeit des Erlernens und Erweiterns des bisherigen Verständnisses von Natur. Diese Erfahrung passiert nun auch mit KI-Modellen, und wir stehen vor einem Lernprozess, bei dem wir aus dem Umgang mit Naturillustrationen durchaus etwas abgucken könnten.

 

 

Eine Repo von StyleGAN3 kann hier heruntergeladen werden. https://github.com/NVlabs/stylegan3

Hier sind die Fotos der Smithsonian Libraries & Archives zu finden: https://www.flickr.com/photos/biodivlibrary/albums/

Der Code zu dem in der Ausstellung verwendeten Modell kann hier heruntergeladen werden: https://github.com/derfabs/stylegan3

  • Objekte / Sensorik

     

    Mini-Tutorial für die praktische Verwendung der Elektronischen Komponenten

     

     

     

    Assemblage

    Im Inneren der Orangerie wurde ein künstlicher Garten kultiviert, der die Pflanzenwelt der KI weiter denkt, der Annette von Droste-Hülshoffs Naturalia-Sammlungen folgt und spekulative Natur repräsentiert. In Zusammenarbeit haben Sebastian Altermatt und Leoni Voegelin Objekte aus Porzellan, Silikon und Elektronik entstehen lassen, die die Bewegung der Besucher:innen vernehmen und den träumenden Algorithmus steuert.

     

    In einem praktischen Tutorial werden hier die einzelnen elektronischen Komponenten der Objekte beschrieben. Diese Komponenten wurden in Poesie-Workshops mit hörenden Lyriker:innen und Tauben Performer:innen entwickelt, um eine gemeinsame Sprache zu finden.

     

    Piezoelekrtonische Scheiben

    Piezoelektronische Scheiben können als Berührungs- und Erschütterungssensoren genutzt werden. Sie funktionieren auf zwei Arten, entweder als Aktuator, als Piezobuzzers die durch einen Elektronischen Impuls in Schwingung geraten und diesen in einen Sound umwandeln oder als Sensor um Druck und Vibration wahrzunehmen. Wenn die Scheibe Vibration oder Druck wahrnimmt, generiert sie einen elektronischen Impuls. Das macht das Bauteil besonders interessant, da es sowohl als Kontaktmikrofon als auch als Sonargerät für Ultraschall verwendet werden kann.

    1

    2

    Hier ist die Schaltung zum Anschluss der piezoelektrischen Scheibe an einen Arduino Nano und das Layout auf einem Stripbord. Wie viele Ampere benötigt werden, hängt davon ab, wie viele Leds der verwendete Led-Strip hat(!).

    3

    4

    5

    6

    7

     

    Video Piezodisks

     

    Um den Arduino-Code zum Laufen zu bringen, muss die FastLED-Bibliothek installiert werden. Wenn du einen RingBuffer verwenden möchtest, musst du auch die RingBuffer -Bibliothek installieren…

     

    Zum Code: Code_PiezoLEDs

     

     

    Distanzsensoren

     

    Um die Entfernung zwischen einem Objekt und einer Person zu messen, wird hier ein VL53L1X Sensor verwendet. Es gibt eine günstigere Version, der VL53L0X, der bis zu 200 cm messen kann (je näher, desto genauer). Der VL53L1X ist teurer, hat dafür aber eine grössere Reichweite, die bis zu einer Entfernung von 400 cm misst. Er arbeitet mit einem IR Laser. Der Sensor sendet einen Infrarot Laserstrahl aus, das von der Oberfläche, die es erreicht, abprallt und zum Sensor zurückkehrt, der den Laserstrahl empfängt und die Zeit berechnet, die er braucht, um sich fortzubewegen, wodurch die Entfernung berechnet wird (Time of Flight). Es gibt auch andere Entfernungssensoren wie den HC-SR04, die nach demselben Prinzip arbeiten, aber anstelle eines Infrarotlicht wird ein Ultraschall ausgesendet. Sie sind viel günstiger, jedoch kann es vorkommen, dass eine textile Oberfläche den Ultraschall so ablenkt oder verschluckt, dass er nicht zum Sensor zurückkommt.

    9

    Hier ist die Schaltung zum Anschluss des Abstandssensors an einen Arduino Nano und das Layout auf einem Stripbord. Wenn nur ein Abstandssensor verwendet wird, braucht es den XSHUT Pin (dient zum Ausschalten des Moduls) und den GPIO (Clock Pin) nicht. Wie viele Ampere benötigt werden, hängt davon ab, wie viele Leds der verwendete ledStrip hat(!).

    10

    VL53L1X (links), HC-SR04 (rechts)

    11

    12

    13

    14

    15

    Video Distance Sensor

     

    Um den Arduino-Code zum Laufen zu bringen, muss die FastLED-Bibliothek und die VL53X0L-Bibliothek installiert werden. Zeno Gries hat eine wirklich nette Funktion zur Berechnung des gleitenden Durchschnitts der Sensorwerte geschrieben, wenn mehrere Sensoren im Einsatz sind!

     

    Zum Code: Code_DistanceSensor

     

    Atemsensor

    Um eine direkte Reaktion auf einen Körper im Raum zu erhalten, verwenden wir einen Atemsensor nach dem Entwurf und der Idee von Hannah Perner Wilson. Dieser gehäkelte Dehnungssensor ist eine einfache Lösung, um die Bewegung der Brust- oder Bauchatmung zu erfassen. Dieser Sensor ist aus Edelstahl- und Polyestergarn, dem "Sensorgarn" gestrickt. Eine detaillierte Anleitung zum Bau dieses Sensors gibt es hier: https://www.kobakant.at/DIY/?p=8171
    Auf der Website "How to get what you want" von KOBAKANT gibt es noch viele weitere Sensoren zu entdecken.

     

    17

     

    Ich habe eine Taste hinzugefügt, mit der ein Software-Reset aufgerufen werden kann, um den Sensor auf den eigenen Atem zu kalibrieren. Hier ist die Schaltung zum Anschluss des Atemsensors an einen Arduino Nano und das Layout auf einem Stripbord.

     

    18

    19

    20

     

    grünes Kabel = pushbutton
    gelbes Kabel = led (+)
    blaues Kabel = sensor

     

    21

    22

     

    Breathingbelt Video

     

    Um den Arduino-Code zum Laufen zu bringen, muss hier nur die FastLED-Bibliothek installiert werden. Die Software-Reset Funktion kann ebenfalls verwendet werden, ist im Code jedoch auskommentiert.

     

    Zum Code: Code_BB_withCalibrationFunction