Tag: Neural Doodle

Predictive Art – Kunst und Machine Learning

So kann jeder ein K├╝nstler werden. Fr├╝her ben├Âtigte man viel Training und viel Zeit, um ein Bild zu malen, Musik zu komponieren und andere k├╝nstlerische Neigungen auszuleben. Mit Deep Learning kann nun theoretisch jeder zum “K├╝nstler” werden und Kunstwerke erstellen lassen. Mit diesen Tools werdet ihr zum K├╝nstler.

Von der Bitmap zum Kunstwerk

Darstellung wie NeuralDoodle das Bild erstellt

Credits: github/alexjc

Mit Neural Doodle ist es m├Âglich aus einer einfachen Bitmap ein komplexes Kunstwerk zu machen. Das funktioniert mit semantischen Transfer-Learning. Das spannende ist, dass die Maschine die Bedeutung im Bild einsch├Ątzen kann und das Bild dann so komponiert, wie es passen sollte. Diese Parameter k├Ânnen noch einem Tuning unterzogen werden, wodurch die abstraktesten Bilder entstehen k├Ânnen.

Das schwarzwei├če Farbbild

Bild eines schwarzwei├čen Leuchtturms sowie eines colorierten.

Credits: github/pavelgonchar

ColorNet hilft dabei, Schwarzwei├č-Bildern wieder Leben einzuhauchen. Auch hier kommt semantisches Transfer-Learning zum Einsatz. Mit einer selbstgemalten Bleistiftskizze k├Ânnte man somit schnell ein sch├Ânes coloriertes Bild erhalten.

 

Semantisches Bildverst├Ąndnis

Das der Algorithmus nicht nur nach einem Regelset arbeitet, sondern semantische Beziehungen lernt, ist hier besonders wichtig. Damit kann man in Zukunft durchaus spielen. Bilder k├Ânnten dann merkw├╝rdige, surreale oder anst├Â├čige Situationen komponieren. Apropos komponieren, auch f├╝r Texte sowie Musik gibt es spannende Modelle.

Der Geschichtenerz├Ąhler

Bild das neural Storyteller nutzt, um eine Geschichte zu erz├Ąhlen.

Credits: github/ryankiros

Ein einfaches Bild gen├╝gt als Input und der Neural-Storyteller erz├Ąhlt dir eine Geschichte zu dem Bild. Ein gut dokumentierter Urlaub w├╝rde ausreichen, um eine spannende Geschichte zu erz├Ąhlen. Vielleicht kann man dabei sogar seinen Urlaub noch einmal durch eine Maschine reflektieren. Was aber viel wichtiger ist: man kann erlebtes oder eben nicht erlebtes in Bildern ausdr├╝cken und so den Zugang zu einer Story finden.

Klingt das nicht spannend? Filme k├Ânnten wie B├╝cher wahrgenommen werden, sogar f├╝r blinde Menschen ist das spannend.

Predictive Music

Logo Deepjazz

Credits: github/jisungk

Ein Blick in die Zukunft der Musik gibt Biaxial-RNN-Music und DeepJazz. Musik kann aus verschiedenen kleinen Patches von Musikst├╝cken komponiert werden. Weiche ├ťberg├Ąnge, harte ├ťberg├Ąnge, dramatisch oder entspannt. Das alles kann der Algorithmus leisten. So k├Ânnte in Zukunft Musik komponiert werden. Musik k├Ânnte somit vom linearen Medium zum personalisierten Erleben werden. Spannend, wenn man bedenkt, dass viele Medien aktuell von linear zu personalisiert wechseln und somit immer mehr Menschen und Zielgruppen ansprechen.



Was bleibt?

F├╝r K├╝nstler entstehen in diesen Tagen viele Tools, die ihnen helfen k├Ânnen, ├╝ber ihre Kunst zu reflektieren. Was sieht der Algorithmus in meiner Kunst? Wie interpretiert er sie? Au├čerdem k├Ânnen diese Algorithmen helfen, denn richtig eingesetzt, f├Ârdern sie die Kreativit├Ąt der K├╝nstler. Kunst und K├╝nstliche Intelligenz kann Hand in Hand gehen. Kunst k├Ânnte sich vom linearen Medium zum personalisierten Erleben verschieben und somit f├╝r verschiedene Zielgruppen viel interessanter werden. Auch in der Werbung k├Ânnten diese Algorithmen Anwendung finden: personalisierte Sounds, Bilder und Texte, die sich je nach Person und deren Einstellung sowie Emotionen ver├Ąndert.
K├╝nstliche Intelligenz ist f├╝r die Kunst ein interessantes Reflektionsmedium!

5 coole Anwendungen f├╝r Deep Learning

Viele halten es f├╝r einen Hype, aber es gibt auch Anwendungen, in denen Deep Learning uns schon ernsthaft helfen kann. Egal ob im Bereich Computer Vision, Natural Language Processing oder Creation, Deep Learning Anwendungen werden in den n├Ąchsten Jahren immer h├Ąufiger auftreten. Hier ein paar Anwendungen, die aktuell schon m├Âglich sind.

1. Bring deinem Auto bei, wie ein Mensch zu lenken

Es ist kein Problem mehr, ein eigenes Auto dazu zu bringen, zu lenken wie ein Mensch. Das einzige, was man dazu braucht, ist etwas Technik, ein Auto, ein paar Kameras und dieses Paper als Bauanleitung. Damit kann jeder ein selbstfahrendes Auto nachbauen. Das ganze l├Ąuft mit Torch 7. Eine gute Simulationsumgebung hierf├╝r ist dann wohl Grand Theft Auto.

2. Bau dir ein intelligentes Tagging-System f├╝r deine Bilder

Resultate von Projekt deepimagesent. Credits: Stanford.edu

Resultate von Projekt deepimagesent. Credits: Stanford.edu

Bilder zu beschreiben, haben Deep Learning Netze ebenfalls gelernt. Besonders spannend wird es, wenn man eine gro├če Bildersammlung hat und nun herausfinden will, was in diesen Bildern enthalten ist. Dazu bieten sich verschiedene Programme u.a. NeuralTalk von Andrej Karpathy an. Wie das Ganze funktioniert, lernt man hier┬á(sogar mit passender Demo).

 

3. Male wie ein richtiger Künstler

neural-doodle

Beispiel von Neural Doodle. Credits: alexjc

Neural Doodle hei├čt das Tool. Man┬ákann mit den, f├╝r eine Landschaftszeichnung ├╝blichen, Farben ein Bild malen. Danach transformiert ein Netz das simple Bild in ein Kunstwerk. Dabei nutzt das Netz die Farbkombinationen als Annotation und versucht aus diesen Annotationen das urspr├╝ngliche Kunstwerk wieder herzustellen. Dabei kann man zwischen verschiedenen Stilen w├Ąhlen. Es h├Ąngt ganz davon ab, was man dem Netzwerk zeigt.

 

4. Entwickle deinen eigenen Font

Eigene Fonts entwickeln mit deep-fonts. Credits: erikbern

Eigene Fonts entwickeln mit deep-fonts. Credits: erikbern

Jeder Designer hat schonmal eine Schrift ben├Âtigt, die genau nach seinen W├╝nschen aussieht. Wie w├Ąre es mit einer grafischen Oberfl├Ąche, auf der man verschiedene Regler nach links und rechts schieben kann. Was man erh├Ąlt sind verschiedene Fonts, die das Neuronale Netz passend zu den┬áEingaben anpasst.

50.000 Schriftarten hat der Autor von deep-fonts benutzt, um das Netzwerk zu trainieren. Hier erh├Ąlt man den Code und das trainierte Netz f├╝r die eigenen Spielereien.

5. H├Âre und komponiere klassische Musik

Neuronale Netze komponieren sogar Musik. Sie klingt bereits so, als w├╝rde jemand am Klavier sitzen und nur pers├Ânlich f├╝r uns spielen. Damit k├Ânnen in der Zukunft auch professionelle Komponisten und Interpreten ihre Musik von einer KI ├╝berarbeiten lassen oder sogar einem Mastering unterziehen. Das ist besonders spannend f├╝r Musiker, die noch kein Plattenlabel haben und trotzdem ein Platte in ordentlicher Qualit├Ąt produzieren wollen. Vielleicht ist das sogar noch eine Marktl├╝cke. ­čśë Nachfolgend k├Ânnt ihr h├Âren, wie das klingen kann. Mehr Infos dazu findet ihr hier.

5 weitere Anwendungen f├╝r Deep Learning lest ihr in unserem zweiten Teil der Serie.