Tag: Neural Language Models

Paper Review – Language Modeling, Deep vs. Diverse Architecture und Sentiment Analysis

Wir sind im Sommermodus. Aktuell basteln wir an einem Plan, wie wir euch ab Herbst weiter mit spannenden Artikeln aus der Machine Learning Szene begeistern können.

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen fĂŒr euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

In Neural Networks Compression for Language Modeling werden RNNs komprimiert. Hier handelt es sich um RNNs, die verschiedene Text-Klassifizierungen durchfĂŒhren. Das ist besonders wichtig fĂŒr Mobile Devices, die dadurch mehrschichtige Netze effizienter abspeichern können. Bereits im Juli haben wir euch im Paper Reivew das Paper Towards Evolutional Compression vorgestellt – dort werden Ă€hnliche Algorithmen verwendet. Hier gehts zum Paper.

Der Autor von Deep vs. Diverse Architectures for Classification Problems vergleicht verschiedene Netz-Architekturen fĂŒr verschiedene Aufgaben. Es stellt sich heraus, dass sich fĂŒr einige Aufgaben Deep-Learning-Architekturen besonders eignen. Allerdings lassen sich auch Aufgaben finden, die mit kleineren (unkomplexeren) Architekturen lösen lassen. Deep-Learning ist also nicht die sofort die Allzweckwaffe. WofĂŒr ihr welche Algorithmen benutzen solltet, lest hier hier. Hier gehts zum Paper.

In Sentiment Analysis by Joint Learning of Word Embeddings and Classifier von Prathusha Kameswara Sarma und Bill Sethares wird Supervised Word Embeddings for Sentiment Analysis vorgestellt. Mit dieser Struktur erreichen sie auf verschiedenen Datenbanken in ihren Experiments den State-of-the-Art bezĂŒglich AUC. In einigen FĂ€llen sind sie damit sogar genauer als die aktuell bekannten Ergebnisse. SWESA ist dabei ein sehr flexibles Konstrukt. Hier gehts zum Paper.

 

Am Rand erwÀhnt

Paper Review – KreativitĂ€t messen, Language Models und CNN Kompression

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen fĂŒr euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

A Machine Learning Approach for Evaluating Creative Artifacts von IBM Research India versuchen anhand von Film-Datenbanken und deren Kritiken zu erkennen, woran man KreativitĂ€t messen kann. Sie kommen zu dem Schluss, dass der Grad von “Unexpectedness” (also Unerwartbarkeit) mit der KreativitĂ€t eines filmischen Werkes korreliert. Hier gehts zum Paper.

Syllable-aware Neural Language Models: A Failure to Beat Character-aware Ones. Das Paper beschĂ€ftigt sich mit NLM (Neural Language Modeling). Es wird gezeigt das silbenbasierte Modelle zwar keine bessere Genauigkeit gegenĂŒber vergleichbaren State-of-the-Art Modellen haben, allerdings reduzieren sie die Anzahl der Parameter und sparsamer bezĂŒglich der Computation Time. Hier gehts zum Paper.

In Towards Evolutional Compression stellen die Autoren einen Algorithmus vor, der sich benutzen lĂ€sst, um aufwĂ€ndige mehrschichtige Architekturen Neuronaler Netze so zu verkleinern, dass sie an die Genauigkeit der ursprĂŒnglichen Netze heranreichen. Die Motivation fĂŒr diese Arbeit sehen die Autoren in dem grĂ¶ĂŸer werdenden Interesse, komplexe CNNs auch auf Smartphones zu benutzen. Hier gehts zum Paper.

Am Rand erwÀhnt