Tag: Neural Doodle

Predictive Art – Kunst und Machine Learning

So kann jeder ein Künstler werden. Früher benötigte man viel Training und viel Zeit, um ein Bild zu malen, Musik zu komponieren und andere künstlerische Neigungen auszuleben. Mit Deep Learning kann nun theoretisch jeder zum “Künstler” werden und Kunstwerke erstellen lassen. Mit diesen Tools werdet ihr zum Künstler.

Von der Bitmap zum Kunstwerk

Darstellung wie NeuralDoodle das Bild erstellt

Credits: github/alexjc

Mit Neural Doodle ist es möglich aus einer einfachen Bitmap ein komplexes Kunstwerk zu machen. Das funktioniert mit semantischen Transfer-Learning. Das spannende ist, dass die Maschine die Bedeutung im Bild einschätzen kann und das Bild dann so komponiert, wie es passen sollte. Diese Parameter können noch einem Tuning unterzogen werden, wodurch die abstraktesten Bilder entstehen können.

Das schwarzweiße Farbbild

Bild eines schwarzweißen Leuchtturms sowie eines colorierten.

Credits: github/pavelgonchar

ColorNet hilft dabei, Schwarzweiß-Bildern wieder Leben einzuhauchen. Auch hier kommt semantisches Transfer-Learning zum Einsatz. Mit einer selbstgemalten Bleistiftskizze könnte man somit schnell ein schönes coloriertes Bild erhalten.

 

Semantisches Bildverständnis

Das der Algorithmus nicht nur nach einem Regelset arbeitet, sondern semantische Beziehungen lernt, ist hier besonders wichtig. Damit kann man in Zukunft durchaus spielen. Bilder könnten dann merkwürdige, surreale oder anstößige Situationen komponieren. Apropos komponieren, auch für Texte sowie Musik gibt es spannende Modelle.

Der Geschichtenerzähler

Bild das neural Storyteller nutzt, um eine Geschichte zu erzählen.

Credits: github/ryankiros

Ein einfaches Bild genügt als Input und der Neural-Storyteller erzählt dir eine Geschichte zu dem Bild. Ein gut dokumentierter Urlaub würde ausreichen, um eine spannende Geschichte zu erzählen. Vielleicht kann man dabei sogar seinen Urlaub noch einmal durch eine Maschine reflektieren. Was aber viel wichtiger ist: man kann erlebtes oder eben nicht erlebtes in Bildern ausdrücken und so den Zugang zu einer Story finden.

Klingt das nicht spannend? Filme könnten wie Bücher wahrgenommen werden, sogar für blinde Menschen ist das spannend.

Predictive Music

Logo Deepjazz

Credits: github/jisungk

Ein Blick in die Zukunft der Musik gibt Biaxial-RNN-Music und DeepJazz. Musik kann aus verschiedenen kleinen Patches von Musikstücken komponiert werden. Weiche Übergänge, harte Übergänge, dramatisch oder entspannt. Das alles kann der Algorithmus leisten. So könnte in Zukunft Musik komponiert werden. Musik könnte somit vom linearen Medium zum personalisierten Erleben werden. Spannend, wenn man bedenkt, dass viele Medien aktuell von linear zu personalisiert wechseln und somit immer mehr Menschen und Zielgruppen ansprechen.



Was bleibt?

Für Künstler entstehen in diesen Tagen viele Tools, die ihnen helfen können, über ihre Kunst zu reflektieren. Was sieht der Algorithmus in meiner Kunst? Wie interpretiert er sie? Außerdem können diese Algorithmen helfen, denn richtig eingesetzt, fördern sie die Kreativität der Künstler. Kunst und Künstliche Intelligenz kann Hand in Hand gehen. Kunst könnte sich vom linearen Medium zum personalisierten Erleben verschieben und somit für verschiedene Zielgruppen viel interessanter werden. Auch in der Werbung könnten diese Algorithmen Anwendung finden: personalisierte Sounds, Bilder und Texte, die sich je nach Person und deren Einstellung sowie Emotionen verändert.
Künstliche Intelligenz ist für die Kunst ein interessantes Reflektionsmedium!

5 coole Anwendungen für Deep Learning

Viele halten es für einen Hype, aber es gibt auch Anwendungen, in denen Deep Learning uns schon ernsthaft helfen kann. Egal ob im Bereich Computer Vision, Natural Language Processing oder Creation, Deep Learning Anwendungen werden in den nächsten Jahren immer häufiger auftreten. Hier ein paar Anwendungen, die aktuell schon möglich sind.

1. Bring deinem Auto bei, wie ein Mensch zu lenken

Es ist kein Problem mehr, ein eigenes Auto dazu zu bringen, zu lenken wie ein Mensch. Das einzige, was man dazu braucht, ist etwas Technik, ein Auto, ein paar Kameras und dieses Paper als Bauanleitung. Damit kann jeder ein selbstfahrendes Auto nachbauen. Das ganze läuft mit Torch 7. Eine gute Simulationsumgebung hierfür ist dann wohl Grand Theft Auto.

2. Bau dir ein intelligentes Tagging-System für deine Bilder

Resultate von Projekt deepimagesent. Credits: Stanford.edu

Resultate von Projekt deepimagesent. Credits: Stanford.edu

Bilder zu beschreiben, haben Deep Learning Netze ebenfalls gelernt. Besonders spannend wird es, wenn man eine große Bildersammlung hat und nun herausfinden will, was in diesen Bildern enthalten ist. Dazu bieten sich verschiedene Programme u.a. NeuralTalk von Andrej Karpathy an. Wie das Ganze funktioniert, lernt man hier (sogar mit passender Demo).

 

3. Male wie ein richtiger Künstler

neural-doodle

Beispiel von Neural Doodle. Credits: alexjc

Neural Doodle heißt das Tool. Man kann mit den, für eine Landschaftszeichnung üblichen, Farben ein Bild malen. Danach transformiert ein Netz das simple Bild in ein Kunstwerk. Dabei nutzt das Netz die Farbkombinationen als Annotation und versucht aus diesen Annotationen das ursprüngliche Kunstwerk wieder herzustellen. Dabei kann man zwischen verschiedenen Stilen wählen. Es hängt ganz davon ab, was man dem Netzwerk zeigt.

 

4. Entwickle deinen eigenen Font

Eigene Fonts entwickeln mit deep-fonts. Credits: erikbern

Eigene Fonts entwickeln mit deep-fonts. Credits: erikbern

Jeder Designer hat schonmal eine Schrift benötigt, die genau nach seinen Wünschen aussieht. Wie wäre es mit einer grafischen Oberfläche, auf der man verschiedene Regler nach links und rechts schieben kann. Was man erhält sind verschiedene Fonts, die das Neuronale Netz passend zu den Eingaben anpasst.

50.000 Schriftarten hat der Autor von deep-fonts benutzt, um das Netzwerk zu trainieren. Hier erhält man den Code und das trainierte Netz für die eigenen Spielereien.

5. Höre und komponiere klassische Musik

Neuronale Netze komponieren sogar Musik. Sie klingt bereits so, als würde jemand am Klavier sitzen und nur persönlich für uns spielen. Damit können in der Zukunft auch professionelle Komponisten und Interpreten ihre Musik von einer KI überarbeiten lassen oder sogar einem Mastering unterziehen. Das ist besonders spannend für Musiker, die noch kein Plattenlabel haben und trotzdem ein Platte in ordentlicher Qualität produzieren wollen. Vielleicht ist das sogar noch eine Marktlücke. 😉 Nachfolgend könnt ihr hören, wie das klingen kann. Mehr Infos dazu findet ihr hier.

5 weitere Anwendungen für Deep Learning lest ihr in unserem zweiten Teil der Serie.