Tag: Neural Language Models

Paper Review – Language Modeling, Deep vs. Diverse Architecture und Sentiment Analysis

Wir sind im Sommermodus. Aktuell basteln wir an einem Plan, wie wir euch ab Herbst weiter mit spannenden Artikeln aus der Machine Learning Szene begeistern können.

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

In Neural Networks Compression for Language Modeling werden RNNs komprimiert. Hier handelt es sich um RNNs, die verschiedene Text-Klassifizierungen durchführen. Das ist besonders wichtig für Mobile Devices, die dadurch mehrschichtige Netze effizienter abspeichern können. Bereits im Juli haben wir euch im Paper Reivew das Paper Towards Evolutional Compression vorgestellt – dort werden ähnliche Algorithmen verwendet. Hier gehts zum Paper.

Der Autor von Deep vs. Diverse Architectures for Classification Problems vergleicht verschiedene Netz-Architekturen für verschiedene Aufgaben. Es stellt sich heraus, dass sich für einige Aufgaben Deep-Learning-Architekturen besonders eignen. Allerdings lassen sich auch Aufgaben finden, die mit kleineren (unkomplexeren) Architekturen lösen lassen. Deep-Learning ist also nicht die sofort die Allzweckwaffe. Wofür ihr welche Algorithmen benutzen solltet, lest hier hier. Hier gehts zum Paper.

In Sentiment Analysis by Joint Learning of Word Embeddings and Classifier von Prathusha Kameswara Sarma und Bill Sethares wird Supervised Word Embeddings for Sentiment Analysis vorgestellt. Mit dieser Struktur erreichen sie auf verschiedenen Datenbanken in ihren Experiments den State-of-the-Art bezüglich AUC. In einigen Fällen sind sie damit sogar genauer als die aktuell bekannten Ergebnisse. SWESA ist dabei ein sehr flexibles Konstrukt. Hier gehts zum Paper.

 

Am Rand erwähnt

Paper Review – Kreativität messen, Language Models und CNN Kompression

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

A Machine Learning Approach for Evaluating Creative Artifacts von IBM Research India versuchen anhand von Film-Datenbanken und deren Kritiken zu erkennen, woran man Kreativität messen kann. Sie kommen zu dem Schluss, dass der Grad von “Unexpectedness” (also Unerwartbarkeit) mit der Kreativität eines filmischen Werkes korreliert. Hier gehts zum Paper.

Syllable-aware Neural Language Models: A Failure to Beat Character-aware Ones. Das Paper beschäftigt sich mit NLM (Neural Language Modeling). Es wird gezeigt das silbenbasierte Modelle zwar keine bessere Genauigkeit gegenüber vergleichbaren State-of-the-Art Modellen haben, allerdings reduzieren sie die Anzahl der Parameter und sparsamer bezüglich der Computation Time. Hier gehts zum Paper.

In Towards Evolutional Compression stellen die Autoren einen Algorithmus vor, der sich benutzen lässt, um aufwändige mehrschichtige Architekturen Neuronaler Netze so zu verkleinern, dass sie an die Genauigkeit der ursprünglichen Netze heranreichen. Die Motivation für diese Arbeit sehen die Autoren in dem größer werdenden Interesse, komplexe CNNs auch auf Smartphones zu benutzen. Hier gehts zum Paper.

Am Rand erwähnt