Über die KI hinter DrawLa

Überblick: von der Geste zur Vorhersage

Wenn du malst, entsteht keine fertige Bilddatei, sondern eine Folge von Strichen (engl. strokes) – jeweils eine Liste von Bildschirm-Koordinaten. DrawLa verarbeitet diese Striche in drei Schritten:

1. Rastern: Die Striche werden in ein kleines Graustufenbild gezeichnet.
2. Erkennen: Ein faltendes neuronales Netz (CNN) ordnet dem Bild Wahrscheinlichkeiten für 345 Begriffe zu.
3. Anzeigen: Die wahrscheinlichsten Begriffe erscheinen live als Balken neben deiner Zeichnung.

Entscheidend ist: Die Erkennung läuft fortlaufend. Mit jedem neuen Strich wird das Bild neu ausgewertet, deshalb verändern sich die Vermutungen, während du zeichnest.

Schritt 1 – Striche werden zu einem Bild (Rasterung)

Bevor das Netz rechnen kann, werden die Vektor-Striche in ein festes Format gebracht. DrawLa rastert sie in ein quadratisches Graustufenbild von 96 × 96 Pixeln. Dabei wird die Zeichnung so skaliert und zentriert, dass sie mit einem kleinen Rand (rund 8 %) die Fläche ausfüllt – unabhängig davon, ob du groß oder klein, oben oder unten gemalt hast. Die Linien werden mit fester Breite gezeichnet, und die Pixelwerte werden auf den Bereich [0, 1] normiert.

Diese Normalisierung ist wichtig: Sie macht die Erkennung robust gegen Position und Größe und sorgt dafür, dass das Netz immer dieselbe Art von Eingabe sieht – einen Tensor der Form (1, 96, 96) (ein Kanal, weil Graustufen).

Schritt 2 – Das Modell: ein faltendes neuronales Netz (CNN)

DrawLa verwendet ein kompaktes, ResNet-artiges CNN (Convolutional Neural Network) mit rund 2 Millionen Parametern. „Faltend“ heißt: Das Netz schiebt kleine Filter (3 × 3 Pixel) über das Bild und lernt dabei selbst, welche Muster wichtig sind – erst einfache Kanten, dann Ecken und Bögen, schließlich ganze Formteile wie Räder, Dächer oder Ohren.

Der Aufbau im Detail:

• Stem: eine erste Faltung 1 → 32 Kanäle (3 × 3, Schrittweite 2), gefolgt von Batch-Normalisierung und einer SiLU-Aktivierung.
• Vier Stufen aus je zwei Residual-Blöcken mit wachsender Kanalzahl: 32 → 64 → 128 → 192. Zu Beginn jeder Stufe halbiert sich die Bildauflösung.
• Kopf: ein globales Durchschnitts-Pooling fasst jede Merkmalskarte zu einer Zahl zusammen, danach Dropout (20 %) und eine lineare Schicht 192 → 345, die für jeden Begriff einen Rohwert (ein „Logit“) liefert.

Ein Residual-Block rechnet nicht nur y = f(x), sondern y = f(x) + x – das Eingangssignal wird also zusätzlich „durchgereicht“. Diese Abkürzungen (Skip-Connections) erlauben es, tiefe Netze stabil zu trainieren, ohne dass das Lernsignal verschwindet. Die Idee stammt aus der ResNet-Arbeit von He et al. (2016).

Schritt 3 – Die Mathematik dahinter

Drei Bausteine genügen, um das Grundprinzip zu verstehen:

Faltung (Convolution)

Ein Filter ist eine kleine Gewichtsmatrix. Er wird über das Bild geschoben und berechnet an jeder Stelle eine gewichtete Summe der darunterliegenden Pixel. Verschiedene Filter reagieren auf verschiedene Muster (z. B. eine senkrechte Kante). Weil derselbe Filter überall angewandt wird, braucht das Netz wenige Parameter und erkennt ein Muster unabhängig davon, wo es im Bild auftaucht.

Aktivierung (SiLU) und Normalisierung

Nach jeder Faltung sorgt eine nichtlineare Funktion dafür, dass das Netz auch nicht-lineare Zusammenhänge lernen kann. DrawLa nutzt SiLU (auch „Swish“), definiert als f(x) = x · σ(x) mit der Sigmoid-Funktion σ. Die Batch-Normalisierung hält die Zwischenwerte in einem stabilen Bereich und beschleunigt das Training (Ioffe & Szegedy, 2015).

Softmax: aus Logits werden Wahrscheinlichkeiten

Die 345 Rohwerte am Ausgang werden mit der Softmax-Funktion in Wahrscheinlichkeiten umgerechnet, die sich zu 100 % addieren:

p_i = e^z_i / Σ_j e^z_j

Der höchste Wert p_i ist die Top-Vermutung, die du im Spiel als Prozentzahl siehst.

Wie das Netz gelernt hat (Training)

Das Modell wurde auf Skizzen aus dem öffentlichen „Quick, Draw!“-Datensatz von Google trainiert – einer Sammlung von über 50 Millionen Strichzeichnungen aus 345 Kategorien, die Menschen weltweit im gleichnamigen Browserspiel gezeichnet haben. Jede Zeichnung wird wie oben beschrieben gerastert und dem Netz zusammen mit ihrem korrekten Label gezeigt.

Beim Training vergleicht eine Verlustfunktion (Cross-Entropy) die Vorhersage mit dem richtigen Begriff. Über das Verfahren der Backpropagation werden die Millionen Gewichte schrittweise so angepasst, dass der Fehler kleiner wird. Nach vielen Durchläufen über die Daten erkennt das Netz typische Merkmale jedes Begriffs zuverlässig – ohne dass jemand ihm je explizit gesagt hätte, „wie eine Katze aussieht“.

Warum ein CNN auf Bildern – und nicht ein RNN auf Strichen?

Für Quick-Draw-Skizzen gibt es zwei verbreitete Herangehensweisen, und beide sind in der Forschung gut untersucht:

• Bild-basiert (unser Ansatz): Die Striche werden zu einem Bild gerastert und mit einem CNN klassifiziert. Vorteile: sehr robust, schnell, und es nutzt die ausgereifte Bilderkennungs-Forschung.
• Sequenz-basiert: Man behandelt die Striche als zeitliche Folge von Punkten und verarbeitet sie mit einem rekurrenten Netz (RNN, z. B. LSTM). Bekanntestes Beispiel ist Sketch-RNN von Ha & Eck (2017), das Skizzen sogar selbst erzeugen kann. Solche Modelle nutzen zusätzlich die Reihenfolge und Richtung der Striche.

DrawLa setzt bewusst auf den bild-basierten CNN-Weg: Er ist klein genug für Antwortzeiten im Millisekunden-Bereich, kommt ohne Annahmen über die Strich-Reihenfolge aus und liefert für ein Echtzeit-Spiel die beste Mischung aus Genauigkeit und Geschwindigkeit.

Echtzeit: warum sich die Vermutung laufend ändert

Statt zu warten, bis du fertig bist, schickt DrawLa deine Zeichnung wiederholt ans Modell – nach neuen Strichen erneut. Weil das Netz klein ist und nur ein 96 × 96-Bild verarbeiten muss, dauert ein Durchlauf nur wenige Millisekunden. Anfangs ist die KI unsicher und schlägt mehrere Begriffe vor; mit jedem zusätzlichen Detail wird die Verteilung schärfer. Die im Spiel angezeigte Latenz (z. B. „inf 6 ms“) ist genau diese Rechenzeit des Modells.

Grenzen – warum die KI manchmal danebenliegt

Das Modell kennt nur die 345 trainierten Begriffe und beurteilt ausschließlich die Form. Sehr abstrakte, untypische oder überladene Skizzen können es verwirren, und ähnliche Begriffe (etwa „Katze“ und „Tiger“) sind leicht zu verwechseln. Wer die typischen Merkmale eines Begriffs betont, wird schneller erkannt – konkrete Tipps dazu stehen in den Spielregeln. Die vollständige Liste der erkennbaren Begriffe findest du unter Alle Begriffe.

Datenschutz: was mit deinen Zeichnungen passiert

Deine Skizzen werden nur für den Spielablauf verarbeitet – also zur Auswertung durch das Modell und zur Anzeige bei Mitspielern im selben Raum. Details dazu stehen in der Datenschutzerklärung.

Mehr Hintergrundwissen auf DrawLa.app

Für technische Vertiefungen gibt es den eigenständigen Wissensauftritt DrawLa.app. Dort werden RNN- und CNN-basierte Skizzenerkennung, Googles Quick-Draw-Datensatz, PyTorch-Training, mobile Edge-AI und plattformübergreifendes Deployment auf iPhone und Android ausführlicher erklärt.

Quellen & weiterführende Literatur

Wer tiefer einsteigen möchte, findet hier die wissenschaftlichen Grundlagen der eingesetzten Bausteine:

• Ha, D. & Eck, D. (2017). A Neural Representation of Sketch Drawings (Sketch-RNN). arXiv:1704.03477
• Google Creative Lab. The Quick, Draw! Dataset. github.com/googlecreativelab/quickdraw-dataset
• He, K., Zhang, X., Ren, S. & Sun, J. (2016). Deep Residual Learning for Image Recognition (ResNet). arXiv:1512.03385
• Ioffe, S. & Szegedy, C. (2015). Batch Normalization. arXiv:1502.03167
• Elfwing, S., Uchibe, E. & Doya, K. (2017). Sigmoid-Weighted Linear Units (SiLU). arXiv:1702.03118
• Ramachandran, P., Zoph, B. & Le, Q. (2017). Searching for Activation Functions (Swish). arXiv:1710.05941

Hinweis: DrawLa ist ein unabhängiges Projekt und steht in keiner Verbindung zu Google. „Quick, Draw!“ und der zugehörige Datensatz sind Werke von Google Creative Lab und werden hier lediglich als Datenquelle bzw. zur Einordnung genannt.

KI gegen deinen Stift – Let’s Play