Tag: Bitmap

Semantic Style Transfer – Von der Bitmap zum Kunstwerk

In unserer Rubrik Paper Review┬ástellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen f├╝r euch das┬áWesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht.┬áViel Spa├č!

Was ist neu

Das Paper stellt einen Ansatz vor, wie man generative Neuronale Netze und semantische Annotationen zusammen benutzen kann. Dabei k├Ânnen die Labels auf Pixelebene gesetzt werden.┬áHier gehts zum Paper.

Worum geht es

semantic-map

Quelle: Figure 3 von Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artwork

Das Paper “Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artwork” von┬áAlex J. Champandard┬ábesch├Ąftigt sich mit dem pixelbasierten Labeln f├╝r die Image-Synthese. Der Anwendungsfall ist der semantische Transfer von Wissen aus einem Gem├Ąlde (oder Portrait) zu einem sehr simplen Bitmap. Dabei werden CNNs (Convolutional Neural Networks) – also mehrschichtige Netze genutzt. Die Motivation f├╝r die Ver├Âffentlichung waren folgende┬áProbleme:

  • Die bisherigen Modelle waren urspr├╝nglich f├╝r die Klassifikation gebaut und nicht f├╝r den Zweck des Style Transfer.
  • Die bisherigen Ans├Ątze, wie zusammenh├Ąngende Layer die Informationen von anderen Layern nutzen, ist nicht optimal.

Der Autor stellt ein Verfahren vor, das die L├╝cke zwischen generativen Modellen und dem Labeln auf Pixelebene schlie├čt. Dabei wird auch gezeigt, wie sich diese Methode in verschiedene bereits bestehende Algorithmen eingliedern l├Ąsst.

 

Experimente & Daten

Die Experimente sind nicht sehr umfangreich. Es wurden 4 semantische Labels für Hintergrund, Kleidung, Gesicht und Haare benutzt. Die Genauigkeit wurde mit Visual Inspection festgestellt und durch die Änderung verschiedener Parameter optimiert.




 

Fortf├╝hrend

Der Algorithmus in diesem Paper kann f├╝r verschiedene Typen von Bildern angepasst werden. Damit sind vor allem verschiedene Kunststile gemeint, die man nutzen k├Ânnte. Ebenfalls k├Ânnte man die Anzahl der Annotationen resp. Labels erweitern, um komplexere Bilder zu synthetisieren.

Lust zu lesen? Hier gehts zum Paper.

Ähnliche Arbeiten

  • Hertzmann, A.; Jacobs, C.; Oliver, N.; Curless, B.; and Salesin, D. 2001. Image analogies. SIGGRAPH Conference Proceedings.
  • Gatys, L. A.; Ecker, A. S.; and Bethge, M. 2015. A neural algorithm of artistic style. CoRR abs/1508.06576.
  • Li, C., and Wand, M. 2016. Combining markov random fields and convolutional neural networks for image synthesis. abs/1601.04589.
  • Thoma, M. 2016. A survey of semantic segmentation. CoRR abs/1602.06541.
  • Yang, Y.; Zhao, H.; You, L.; Tu, R.; Wu, X.; and Jin, X. 2015. Semantic portrait color transfer with internet images. Multimedia Tools and Applications 1ÔÇô19.