Tag: Deep Learning

6 Mythen zum Thema Deep Fakes

Das Center for Data Ethics and Innovation hat einen Report über das Thema Desinformation und DeepFakes veröffentlicht. Der Report bietet vieles! U.a. wird gezeigt, wie Deep Fakes enstehen und wie sich falsche Informationen verbreiten. Darauf werde ich in anderen Beiträgen zurückkommen. Hier geht es um die 6 Mythen zum Thema Deep Fakes.

(Extrahiert aus dem Report: Snapshot Paper – Deepfakes and Audiovisual Disinformation)

Deep Fakes treten vorwiegend in Form von Gesichtsaustausch in Videos auf. 

Realität: Es gibt vier Typen von Deep Fakes: Gesichtsersatz, Gesichtsnachstellung, Gesichtserzeugung und Audiosynthese.

Deepfakes tauchen auf Social-Media-Plattformen in großer Zahl auf

Realität: Auf Social-Media-Plattformen sind nur wenige politische Deepfakes aufgetaucht. Die Anzahl der gefälschten pornografischen Videos gibt jedoch Anlass zur Sorge.

Jeder kann ausgefeilte Deepfakes erstellen, die die Messlatte der Glaubwürdigkeit sprengen. 

Realität: Während unterstützende Software wie FakeApp es mehr Menschen ermöglicht hat, sich mit Deepfakes zu beschäftigen, erfordert die hochqualitative Audio- und Bildsynthese immer noch beträchtliches Fachwissen.

Die beste Methode zum Erkennen von Deepfakes besteht in physiologischen Tests (dem “Eye Blinking”-Test).

Realität: Die physiologische Untersuchung von Videos kann langsam und unzuverlässig sein. Für ein systematisches Screening von Deepfakes sind AI-basierte Tools erforderlich, mit denen die Erkennung gefälschter Inhalte teilweise automatisiert werden kann. Die Tools müssen außerdem regelmäßig aktualisiert werden.

Neue Gesetze sind eine schnelle Lösung für den Umgang mit Deepfakes. 

Realität: Versuche, Gesetze gegen Deepfakes zu erlassen, können sich als wirkungslos erweisen, da es sehr schwierig ist, die Herkunft der behandelten Inhalte zu bestimmen. Die Gesetzgebung könnte auch den nützlichen Einsatz visueller und akustischer Manipulationen gefährden.

Deepfakes sind wie mit Photoshop erstellte Bilder. Die Menschen werden sich an sie gewöhnen. 

Realität: Dies ist eine Annahme, keine Tatsache. Es gibt nur unzureichende Untersuchungen darüber, wie Deepfakes das Verhalten und die Überzeugungen der Zuschauer beeinflussen.

Deep Learning mit Python und Keras

Python ist für viele Einsteiger die Sprache der Wahl, wenn sie mit neuartigen Frameworks etwas aufbauen wollen. Im Bereich des Deep-Learnings ist das ähnlich. Hier bietet sich Python in Kombination mit Keras an. Das Buch Deep Learning mit Python und Keras von François Chollet beschäftigt sich genau mit diesem Thema.

Die Beispiele sind sehr vielfältig, was auch ein sehr großes Plus dieses Buches ist.

Das Buch startet mit einer kurzen Einleitung zum Thema Deep Learning. Was bedeutet das “Deep” in Deep Learning, was kann Deep Learning leisten und welche Versprechen bringt die Künstliche Intelligenz im Generellen mit sich. Bevor das Buch sich mit Keras und Deep Learning Verfahren beschäftigt, gibt es erstmal einen Ausflug in die Welt der probabilistischen Modellierung. Was sind Kernel? Welche Verfahren wurden vor dem Deep Learning eingesetzt?

Hier liefert das Buch auch die nötigen technischen und mathematischen Grundlagen zum Verstehen des Sachverhaltes. Der Autor geht davon aus, dass sogar mathematische Anfänger die Materie durchdringen können, auch wenn sie keine tiefergreifende Ausbildung haben. Das Verständnis darüber, wie bestimmte Medien (Bilder, Video, Audio, Text) codiert sind, ist essenziell beim Deep Learning. Deshalb werden diese anfänglich erklärt. Danach folgt eine Einführung in künstliche neuronale Netze, die sozusagen die Vorgänger des heutigen Deep Learnings sind.

Nachdem sich das Buch mit einfacheren Methoden beschäftigt hat, begibt sich der Autor zu den praktischen Problemen, die er mit Deep Learning Methoden löst. Dazu verwendet er das Framework Keras (der Autor selbst ist der führende Entwickler hinter diesem Framework). Die Beispiele sind sehr vielfältig, was auch ein sehr großes Plus dieses Buches ist. Hier werden Datenbanken wie IMDb und Reuters (Nachrichten) angezapft. Das Buch beschäftigt sich also mit der Klassifizierung von Texten und Bildern.

Ein weiterer spannender Punkt im Bezug auf Deep Learning ist das Generative Deep Learning. Anfänglich wurden Sequenzen aus Daten zur klassifiziert. Beim Generativen Deep Learning werden eben solche Texte, Bilder oder Audiostücke selbst erzeugt. Nachdem man sich also mit dem praktischen Thema des Deep Learnings beschäftigt hat, lernt man noch, wie man in Zukunft verschiedene Medien selbst generieren lassen kann.

Unser Fazit: Das Buch liefert ein gelungenen praktischen Exkurs in die Welt des Machine Learnings mit der Sprache Python. Wenn ihr einen schnellen Einstieg sucht und schnell mit Hilfe von Beispielen an ein Ziel kommt, dann ist dieses Buch genau die richtige Empfehlung für euch.

Hier geht es zum Buch!

Welche Deep Learning Frameworks gibt es?

Stand Deep Learning Frameworks 2017. Credits: Indra den Bakker

Stand Deep Learning Frameworks 2017. Credits: Indra den Bakker

Wie sah die Landschaft der Deep Learning Frameworks im abgelaufenen Jahr 2017 aus? Die 5 großen Player Google, Microsoft, Amazon und Facebook stecken hinter den bekanntesten und meist benutzten Frameworks.

Was wird das Jahr 2018 bringen? Einige Zeichen stehen auf Konsolidierung der Frameworks, Entwicklerteams von einigen Frameworks wollen sich sogar anderen Entwicklern anschließen, um ein neues Framework zu bauen.

Mehr dazu lest ihr im Artikel von Indra den Bakker

 

So funktioniert Recommendation bei Spotify

Rot markiert. Recommendation bei Spotify (Credit: Chris Johnson, Spotify)

Rot markiert. Recommendation bei Spotify (Credit: Chris Johnson, Spotify)

Empfehlungssystemen begegnet man überall im Internet. Auch bei Spotify arbeitet man mit State-of-the-Art Systemen im Bereich Recommendation.

Drei verschiedene Systeme werden bei Spotify dazu benutzt, um euch die Musik vorzuschlagen, die euch sehr wahrscheinlich gefallen könnte.

Dabei bedient sich Spotify an Metadaten der Tracks, liest die Logs der gespielten Musik und durchsucht sogar Blogs und News nach verschiedenen Artikeln. Diese Informationen werden dann benutzt, um euch einen neuen Track zu empfehlen.

Diese 3 Methoden benutzt Spotify

Kollaboratives Filtern – “Wer X gehört hat, hat auch Y gehört.” Amazon nutzt beispielsweise Kollaboratives Filtern, um euch zu zeigen, welche Produkte jemand noch gekauft hat, der ähnliche Produkte wie ihr kaufte. Das funktioniert zum Beispiel über Matrixfaktorisierung.

Natural Language Processing – Die Songtexte und Beschreibungen werden mit Natural Language Processing durchsucht und nach Schlüsselwörtern sortiert. Ähnliche Textpassagen und Phrasen sprechen für eine Ähnlichkeit. Schwierig wird es, wenn der Track sehr wenige bis garkeine Lyrics enthält. Dafür gibt es noch eine dritte Form der Recommendation.

Audio Material – Auf den reinen Audiosignalen wird ein neuronales Netz (Deep Learning) angewandt. Dieses Netz erkennt Ähnlichkeiten in den Frequenenzen. Es nutzt auch weitere Features, um die Ähnlichkeit eines Songs zu bestimmen. So kann man vor allem Songs bewerten, die über keine Lyrics verfügen und bisher selten gehört wurden (also keine Chance für Kollaboratives Filtern hätten).

Ihr findet das Thema spannend? Hier gibt es den längeren Artikel dazu.

Paper Review – Language Modeling, Deep vs. Diverse Architecture und Sentiment Analysis

Wir sind im Sommermodus. Aktuell basteln wir an einem Plan, wie wir euch ab Herbst weiter mit spannenden Artikeln aus der Machine Learning Szene begeistern können.

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

In Neural Networks Compression for Language Modeling werden RNNs komprimiert. Hier handelt es sich um RNNs, die verschiedene Text-Klassifizierungen durchführen. Das ist besonders wichtig für Mobile Devices, die dadurch mehrschichtige Netze effizienter abspeichern können. Bereits im Juli haben wir euch im Paper Reivew das Paper Towards Evolutional Compression vorgestellt – dort werden ähnliche Algorithmen verwendet. Hier gehts zum Paper.

Der Autor von Deep vs. Diverse Architectures for Classification Problems vergleicht verschiedene Netz-Architekturen für verschiedene Aufgaben. Es stellt sich heraus, dass sich für einige Aufgaben Deep-Learning-Architekturen besonders eignen. Allerdings lassen sich auch Aufgaben finden, die mit kleineren (unkomplexeren) Architekturen lösen lassen. Deep-Learning ist also nicht die sofort die Allzweckwaffe. Wofür ihr welche Algorithmen benutzen solltet, lest hier hier. Hier gehts zum Paper.

In Sentiment Analysis by Joint Learning of Word Embeddings and Classifier von Prathusha Kameswara Sarma und Bill Sethares wird Supervised Word Embeddings for Sentiment Analysis vorgestellt. Mit dieser Struktur erreichen sie auf verschiedenen Datenbanken in ihren Experiments den State-of-the-Art bezüglich AUC. In einigen Fällen sind sie damit sogar genauer als die aktuell bekannten Ergebnisse. SWESA ist dabei ein sehr flexibles Konstrukt. Hier gehts zum Paper.

 

Am Rand erwähnt

Semantic Analysis mit Rhetoric Structure Theory

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

Takeaways – Was ist neu

Bisherige Ansätze für Sentiment-Analyse nutzten entweder klassische Maschine-Learning-Verfahren oder aber Deep Learning mit regulären LSTM (Long Short Term Memory) Komponenten. Dieser Ansatz tauscht herkömmliche LSTMs mit, auf Rhetoric Structure Theory basierenden, RST-LSTM. Dadurch kann ein Uplift in der Genauigkeit erzielt werden. Hier gehts zum Paper.

Takeaways

  • Durch die Rhetoric Structure Theory ist es möglich, das Netz noch besser zu machen.
  • RST-LSTM werden anstatt linear in eine Baumstruktur geschalten. Dadurch können sie auch komplexere Texte verarbeiten.

Worum geht es

Der Aufbau der Experimentation-Pipeline. Auch die Optimierungsschritte "Leaf insertion" und "Node reordering" sind zu sehen. Quelle: Figure 3 of Sentiment analysis based on rhetorical structure theory: Learning deep neural networks from discourse trees

Der Aufbau der Experimentation-Pipeline. Auch die Optimierungsschritte “Leaf insertion” und “Node reordering” sind zu sehen. Quelle: Figure 3 of Sentiment analysis based on rhetorical structure theory: Learning deep neural networks from discourse trees

Im Gegensatz  zu vielen herkömmlichen Ansätzen wie N-Grams oder Bag-of-Words im Bereich der Sentiment Analysis (Stimmungsanalyse, Emotionsanalyse) benutzen die Autoren sogenannte “Discourse Trees”. Das bedeutet, es werden Phrasen nach semantischen Gesichtspunkten in einen Entscheidungsbaum gehangen und dann mit emotionalen Werten und Polarität versehen. Die Struktur nennen die Autoren RST-LSTM (Rhetoric Structure Theory – Long Short Term Memory). Dabei wird die natürliche Sprache in sogenannte EDUs (Elementary Discourse Units) hierarchisch eingeteilt.  Solche Strukturen haben sich bereits beim Zusammenfassen von Zeitungsartikeln bewährt.

rst-lstm-003

Links sieht man eine herkömmliche LSTM-Struktur. Rechts sieht man die hierachische Struktur wie sie in diesem Ansatz genutzt wird. Quelle: Figure 7 of Sentiment analysis based on rhetorical structure theory: Learning deep neural networks from discourse trees

Es wird ein neuronales Netz benutzt, das diese Abwandlung dieser LSTM-Struktur beherbergt und das somit mehr Kapazität für komplexe Discourse hat als herkömmliche Netze.

 

Experimente & Daten

Es wurden zur Evaluation zwei Datensets herangezogen:

Der vorgestellte Ansatz wurde mit den aktuellen State-of-the-Art-Methoden verglichen. Durch verschiedene Veränderungen an Parametern sowie der Struktur der Discourse Trees konnte ein besseres Ergebnis erzielt werden. Auf dem IMDb Datenset erreicht der Ansatz lt. F1-Score: 84.9 % sowie auf dem Rotten Tomato Set: 79,6 % F1-Score. Das bedeutet ein Uplift zur Baseline von 4.33 % und 3.16 %.

Fortführend

Aktuell werden die Trees noch manuell angepasst. Zukünftig könnte man die Autoencoder der EDUs viel spezifischer nach verschiedenen Trainingsepochen anpassen und somit eine bessere Codierung erreichen.

Lust zu lesen? Hier gehts zum Paper.

Ähnliche Arbeiten

  • K. Xu, S. S. Liao, J. Li, Y. Song, Mining comparative opinions from 32 customer reviews for competitive intelligence, Decision Support Systems 50 (2011) 743–754.
  • A. Bhattacherjee, An empirical analysis of the antecedents of electronic commerce service continuance, Decision Support Systems 32 (2001) 201– 214.
  • B. Pang, L. Lee, Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales, in: Proceedings of the 43rd Annual Meeting on Association for Computational Linguistics (ACL ’05), 2005, pp. 115–124.
  • X. Yu, Y. Liu, X. Huang, A. An, Mining online reviews for predicting sales performance: A case study in the movie domain, IEEE Transactions on Knowledge and Data Engineering 24 (2012) 720–734.
  • S. Tirunillai, G. J. Tellis, Does chatter really matter? Dynamics of usergenerated content and stock performance, Marketing Science 31 (2012) 198–215.
  • S. Feuerriegel, H. Prendinger, News-based trading strategies, Decision Support Systems 90 (2016) 65–74.
  • N. Pröllochs, S. Feuerriegel, D. Neumann, Negation scope detection in sentiment analysis: Decision support for news-driven trading, Decision Support Systems 88 (2016) 67–75.
  • H. Rui, Y. Liu, A. Whinston, Whose and what chatter matters? The effect of tweets on movie sales, Decision Support Systems 55 (2013) 863–870.

PatternNet & PatternLRP – UnBlackboxing von Neuronalen Netzen

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

Main Takeaway – Was ist neu

Neuronale Netze werden häufig als Black-Boxen gesehen. Man kann die Entscheidungen des Klassifikators nicht so einfach einsehen, wie man das gern möchte. Um diese Einschränkungen aufzuheben, stellen die Autoren in dem Paper die beiden Systeme PatternNet und PatternLRP vor. Hier gehts zum Paper.

Takeaways

  • Die Gewichte im ersten Layer zwischen Input Space und ersten Hiddenlayer sagen nicht aus, wie wichtig ein Feature ist.
  • Es gibt verschiedene Ansätze, um den Zusammenhang zwischen Input und Output in neuronalen Netzen sichtbar zu machen.

Worum geht es

patternnet-002

Verschiedene Ansätze, um Zusammenhänge von Input und Output zu visualisieren. Quelle: Figure 1 – PatternNet and PatternLRP Improving the interpretability of neural networks

Um dem Thema näher zu kommen, werden zuerst lineare Modelle beleuchtet und bereits existierende Explanation-Methoden vorgestellt. Danach wird eine Objective Function zur Messung der Qualität von Neuronweisen Explanation-Methoden eingeführt. Basierend darauf werden zwei neue Systeme eingeführt.

Um Klassifikatorentscheidungen sichtbar zu machen, werden Methoden benutzt, die eine Rückprojektion in den Input-Space möglich machen u.a. saliency maps (Aktivierungsmuster), DeConvNet, Guided BackProp (GBP), Layer-wise Relevance Propagation (LRP) und Deep Taylor Decomposition (DTD).

Dafür werden die beiden Systeme PatternNet und PatternLRP vorgeschlagen. Diese unterschieden sich in der Form der Ausgabe und benutzen jeweils verschiedene Methoden, um beispielsweise Rauschen zu minimieren.

Experimente & Daten

patternnet-001

Man sieht den Vergleich verschiedener Verfahren sowie deren Output (Experiment: Qualitative evaluation). Quelle: Figure 7 – PatternNet and PatternLRP Improving the interpretability of neural networks.

Die Autoren haben 3 verschiedene Experimente durchgeführt. Größtenteils beschränkt sich die Auswertung aber auf ein qualitative Auswertung der Daten.

 

  • Measuring the quality of signal estimators – Anhand einer Correlation-Metrik wird gemessen, wie gut die Muster wiedererkannt werden. Als Baseline dient dabei eine Zufallsschätzung.
  • Image degradation – Das Bild wird in 9×9 Pixel große Patches zerlegt. Danach wird die Aktivierung der der Heat-Map als Zahl gemessen und die Patches nach dem Grad der Aktivierung absteigend geordnet.
  • Qualitative evaluation – Existierende und die beiden vorgestellten Verfahren wurden an den selben Bildern getestet und durch Visual Inspection (Ansehen der Bilder) die Qualität entschieden.




Fortführend

Für fortführende Arbeiten und Experimente bietet das Paper keine Perspektive.

Lust zu lesen? Hier gehts zum Paper.

Ähnliche Arbeiten

  • Matthew D Zeiler and Rob Fergus. Visualizing and understanding convolutional networks. In European Conference on Computer Vision, pages 818–833. Springer, 2014.
  • Jost Tobias Springenberg, Alexey Dosovitskiy, Thomas Brox, and Martin Riedmiller. Striving for simplicity: The all convolutional net. In ICLR, 2015.
  • Luisa M Zintgraf, Taco S Cohen, Tameem Adel, and Max Welling. Visualizing deep neural network decisions: Prediction difference analysis. In ICLR, 2017
  • Karen Simonyan, Andrea Vedaldi, and Andrew Zisserman. Deep inside convolutional networks: Visualising image classification models and saliency maps. In ICLR, 2014.
  • Jason Yosinski, Jeff Clune, Thomas Fuchs, and Hod Lipson. Understanding neural networks through deep visualization. In ICML Workshop on Deep Learning, 2015.
  • Anh Nguyen, Alexey Dosovitskiy, Jason Yosinski, Thomas Brox, and Jeff Clune. Synthesizing the preferred inputs for neurons in neural networks via deep generator networks. In Advances in Neural Information Processing Systems, pages 3387–3395, 2016.
  • David Baehrens, Timon Schroeter, Stefan Harmeling, Motoaki Kawanabe, Katja Hansen, and Klaus-Robert Muller. How to explain individual classification decisions. ¨ Journal of Machine Learning Research, 11(Jun):1803–1831, 2010.
  • Sebastian Bach, Alexander Binder, Gregoire Montavon, Frederick Klauschen, Klaus-Robert ´ Muller, and Wojciech Samek. On pixel-wise explanations for non-linear classifier decisions by ¨ layer-wise relevance propagation. PloS one, 10(7):e0130140, 2015.
  • Gregoire Montavon, Sebastian Lapuschkin, Alexander Binder, Wojciech Samek, and Klaus- ´ Robert Muller. Explaining nonlinear classification decisions with deep taylor decomposition. ¨ Pattern Recognition, 65:211–222, 2017.

NeuroNER – Named Entity Recognition

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

Was ist neu

Die Autoren präsentieren einen Ansatz, der Deep Learning für den klassischen Named Entity Task benutzt. Dabei geht es darum, Orte, Personen und andere Entitäten in Texten zu finden. Außerdem stellen sie mit BRAT einen visuellen Annotator vor. Hier gehts zum Paper.

Worum geht es

training-neuroner

Trainingsprozess von NeuroNER. Figure 1 aus NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

Named Entity Recognition ist eine Aufgabe, die meist auf Corpora beruht, die mühevoll annotiert wurden. Diese Corpora werden in Modelle umgewandelt und meist nicht mitgeliefert. Das macht eine erneute Annotation beziehungsweise eine erweiterte Annotation sowie ein darauf folgendes Re-Training der Modelle unmöglich. NeuroNER bietet diese Möglichkeit. Es besteht aus 2 Komponenten:

  • NeuroNER Modell – Ein Deep Learning Netz, basierend auf einer bestimmten Variante von RNNs (Recurrent Neural Networks) die sogenannten LSTM (Long Short Term Memory) mit 3 Ebenen: Character-enhanced token-embedding layer, Label prediction layer & Label sequence optimization layer.
  • BRAT – Ein webbasiertes Annotations-Tool für Trainingsdaten. Das Tool ermöglicht es, sehr schnell neue Annotationen zum Korpus hinzuzufügen.
prediction-neuroner

Prediction und Evaluation. Figure 1 von NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

Bei NeuroNER liegt der Fokus auf Usability. Durch ihr Annotationstool und die enge Verzahnung zum Modelltraining gelingt das den Autoren auch besser als den bisherigen Ansätzen.. Es existieren schon einige vortrainierte Modelle, die man nutzen kann. Die Visualisierung des Trainings kann Live eingesehen werden. Dafür bringt das Tool eigene Graphen mit. Außerdem kann TensorBoard benutzt werden – eine webbasierte Software von Tensorflow, um das Training zu kontrollieren und Insights zu erlangen.

Experimente & Daten

Die Experimente sind nicht sehr umfangreich. Es existiert ein Vergleich mit dem aktuellen State-of-the-Art Ansatz:

  • State of the Art [Passos et al.] –  CoNLL 2003: 90.9%, i2b2: 97.9%
  • NeuroNER – CoNLL: 90.5%, i2b2: 97.7%

auf den zwei Datensätzen CoNLL und i2b2. Dabei schneidet NeuroNER nicht signifikant besser oder schlechter ab. Im Vergleich zu dem State of the Art von Passos et al. bietet NeuroNER allerdings eine durchsichtigere Architektur sowie das visuelle Annotations- und Trainings-Tool.




Fortführend

Für fortführende Arbeiten und Experimente bietet das Paper keine Perspektive.

Lust zu lesen? Hier gehts zum Paper.

Ähnliche Arbeiten

  • Guergana K Savova, James J Masanz, Philip V Ogren, Jiaping Zheng, Sunghwan Sohn, Karin C KipperSchuler, and Christopher G Chute. 2010. Mayo clinical text analysis and knowledge extraction system (ctakes): architecture, component evaluation and applications. Journal of the American Medical Informatics Association 17(5):507–513.
  • HC Cho, N Okazaki, M Miwa, and J Tsujii. 2010. Nersuite: a named entity recognition toolkit. Tsujii Laboratory, Department of Information Science, University of Tokyo, Tokyo, Japan .
  • William Boag, Kevin Wacome, Tristan Naumann, and Anna Rumshisky. 2015. Cliner: A lightweight tool for clinical named entity recognition. American Medical Informatics Association (AMIA) Joint Summits on Clinical Research Informatics (poster) .
  • Robert Leaman, Graciela Gonzalez, et al. 2008. Banner: an executable survey of advances in biomedical named entity recognition. In Pacific symposium on biocomputing. volume 13, pages 652–663.

Predictive Art – Kunst und Machine Learning

So kann jeder ein Künstler werden. Früher benötigte man viel Training und viel Zeit, um ein Bild zu malen, Musik zu komponieren und andere künstlerische Neigungen auszuleben. Mit Deep Learning kann nun theoretisch jeder zum “Künstler” werden und Kunstwerke erstellen lassen. Mit diesen Tools werdet ihr zum Künstler.

Von der Bitmap zum Kunstwerk

Darstellung wie NeuralDoodle das Bild erstellt

Credits: github/alexjc

Mit Neural Doodle ist es möglich aus einer einfachen Bitmap ein komplexes Kunstwerk zu machen. Das funktioniert mit semantischen Transfer-Learning. Das spannende ist, dass die Maschine die Bedeutung im Bild einschätzen kann und das Bild dann so komponiert, wie es passen sollte. Diese Parameter können noch einem Tuning unterzogen werden, wodurch die abstraktesten Bilder entstehen können.

Das schwarzweiße Farbbild

Bild eines schwarzweißen Leuchtturms sowie eines colorierten.

Credits: github/pavelgonchar

ColorNet hilft dabei, Schwarzweiß-Bildern wieder Leben einzuhauchen. Auch hier kommt semantisches Transfer-Learning zum Einsatz. Mit einer selbstgemalten Bleistiftskizze könnte man somit schnell ein schönes coloriertes Bild erhalten.

 

Semantisches Bildverständnis

Das der Algorithmus nicht nur nach einem Regelset arbeitet, sondern semantische Beziehungen lernt, ist hier besonders wichtig. Damit kann man in Zukunft durchaus spielen. Bilder könnten dann merkwürdige, surreale oder anstößige Situationen komponieren. Apropos komponieren, auch für Texte sowie Musik gibt es spannende Modelle.

Der Geschichtenerzähler

Bild das neural Storyteller nutzt, um eine Geschichte zu erzählen.

Credits: github/ryankiros

Ein einfaches Bild genügt als Input und der Neural-Storyteller erzählt dir eine Geschichte zu dem Bild. Ein gut dokumentierter Urlaub würde ausreichen, um eine spannende Geschichte zu erzählen. Vielleicht kann man dabei sogar seinen Urlaub noch einmal durch eine Maschine reflektieren. Was aber viel wichtiger ist: man kann erlebtes oder eben nicht erlebtes in Bildern ausdrücken und so den Zugang zu einer Story finden.

Klingt das nicht spannend? Filme könnten wie Bücher wahrgenommen werden, sogar für blinde Menschen ist das spannend.

Predictive Music

Logo Deepjazz

Credits: github/jisungk

Ein Blick in die Zukunft der Musik gibt Biaxial-RNN-Music und DeepJazz. Musik kann aus verschiedenen kleinen Patches von Musikstücken komponiert werden. Weiche Übergänge, harte Übergänge, dramatisch oder entspannt. Das alles kann der Algorithmus leisten. So könnte in Zukunft Musik komponiert werden. Musik könnte somit vom linearen Medium zum personalisierten Erleben werden. Spannend, wenn man bedenkt, dass viele Medien aktuell von linear zu personalisiert wechseln und somit immer mehr Menschen und Zielgruppen ansprechen.



Was bleibt?

Für Künstler entstehen in diesen Tagen viele Tools, die ihnen helfen können, über ihre Kunst zu reflektieren. Was sieht der Algorithmus in meiner Kunst? Wie interpretiert er sie? Außerdem können diese Algorithmen helfen, denn richtig eingesetzt, fördern sie die Kreativität der Künstler. Kunst und Künstliche Intelligenz kann Hand in Hand gehen. Kunst könnte sich vom linearen Medium zum personalisierten Erleben verschieben und somit für verschiedene Zielgruppen viel interessanter werden. Auch in der Werbung könnten diese Algorithmen Anwendung finden: personalisierte Sounds, Bilder und Texte, die sich je nach Person und deren Einstellung sowie Emotionen verändert.
Künstliche Intelligenz ist für die Kunst ein interessantes Reflektionsmedium!

Na, wer ist ein guter Junge? – DeepDoggo

DeepDoggo beantwortet die Frage: “Na, wer ist ein guter Junge?” mit Deep Learning. Ben Lengerich von der Carnegie Mellon University hat DeepDoggo gebaut und ein Paper dazu veröffentlicht.

deepdoggo2Er nutzt das Inception-v3 Modell [Szegedy et al., 2016]. Dabei wurde der Output vom letzten Pooling-Layer benutzt, um zwischen good dog und bad dog zu separieren.

Dafür wurde ein Datenset von Google benutzt. Nach einer Google Suche wurden 360 Bilder für bad dogs und 585 Bilder für good dogs benutzt.

Mit seinem Modell erreichte er eine Accuracy von 73.0%. Damit ist er 11.1% besser als eine Baseline, bei der jeder Hund als guter Junge klassifiziert wird. Bei dieser Form von Baseline handelt es sich um einen ZeroR-Klassifikator, der sich in allen Fällen für die Klasse entscheidet, die am meisten Samples im Training-Set bereitstellt.

Lengerich sieht die Anwendung für DeepDoggo vor allem im Hundetraining, argumentiert das aber eher scherzhaft. Im Allgemeinen ist die Anwendung DeepDoggo scherzhafter Natur und das bereitgestellte Paper dazu auch.




Hier gehts zum Paper von Ben Lengerich.

Referenzen

[Szegedy et al., 2016] Szegedy, Christian, Vanhoucke, Vincent, Ioffe, Sergey, Shlens, Jon, and Wojna, Zbigniew. Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818–2826, 2016.