Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!
Was ist neu
Das Paper stellt einen Ansatz vor, wie man generative Neuronale Netze und semantische Annotationen zusammen benutzen kann. Dabei können die Labels auf Pixelebene gesetzt werden. Hier gehts zum Paper.Worum geht es
[caption id="attachment_266" align="alignright" width="501"]
Quelle: Figure 3 von Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artwork[/caption]
Das Paper „Semantic Style Transfer and Turning Two-Bit Doodles into Fine Artwork“ von Alex J. Champandard beschäftigt sich mit dem pixelbasierten Labeln für die Image-Synthese. Der Anwendungsfall ist der semantische Transfer von Wissen aus einem Gemälde (oder Portrait) zu einem sehr simplen Bitmap. Dabei werden CNNs (Convolutional Neural Networks) – also mehrschichtige Netze genutzt. Die Motivation für die Veröffentlichung waren folgende Probleme:
- Die bisherigen Modelle waren ursprünglich für die Klassifikation gebaut und nicht für den Zweck des Style Transfer.
- Die bisherigen Ansätze, wie zusammenhängende Layer die Informationen von anderen Layern nutzen, ist nicht optimal.
Experimente & Daten
Die Experimente sind nicht sehr umfangreich. Es wurden 4 semantische Labels für Hintergrund, Kleidung, Gesicht und Haare benutzt. Die Genauigkeit wurde mit Visual Inspection festgestellt und durch die Änderung verschiedener Parameter optimiert.Fortführend
Der Algorithmus in diesem Paper kann für verschiedene Typen von Bildern angepasst werden. Damit sind vor allem verschiedene Kunststile gemeint, die man nutzen könnte. Ebenfalls könnte man die Anzahl der Annotationen resp. Labels erweitern, um komplexere Bilder zu synthetisieren. Lust zu lesen? Hier gehts zum Paper.Ähnliche Arbeiten
- Hertzmann, A.; Jacobs, C.; Oliver, N.; Curless, B.; and Salesin, D. 2001. Image analogies. SIGGRAPH Conference Proceedings.
- Gatys, L. A.; Ecker, A. S.; and Bethge, M. 2015. A neural algorithm of artistic style. CoRR abs/1508.06576.
- Li, C., and Wand, M. 2016. Combining markov random fields and convolutional neural networks for image synthesis. abs/1601.04589.
- Thoma, M. 2016. A survey of semantic segmentation. CoRR abs/1602.06541.
- Yang, Y.; Zhao, H.; You, L.; Tu, R.; Wu, X.; and Jin, X. 2015. Semantic portrait color transfer with internet images. Multimedia Tools and Applications 1–19.