Tag: Neural Language Models

Paper Review – Language Modeling, Deep vs. Diverse Architecture und Sentiment Analysis

Wir sind im Sommermodus. Aktuell basteln wir an einem Plan, wie wir euch ab Herbst weiter mit spannenden Artikeln aus der Machine Learning Szene begeistern k├Ânnen.

In unserer Rubrik┬áPaper Review┬ástellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen f├╝r euch das┬áWesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht.┬áViel Spa├č!

In┬áNeural Networks Compression for Language Modeling werden RNNs komprimiert. Hier handelt es sich um RNNs, die verschiedene Text-Klassifizierungen durchf├╝hren. Das ist besonders wichtig f├╝r Mobile Devices, die dadurch mehrschichtige Netze effizienter abspeichern k├Ânnen. Bereits im Juli haben wir euch im Paper Reivew das Paper Towards Evolutional Compression vorgestellt – dort werden ├Ąhnliche Algorithmen verwendet.┬áHier gehts zum Paper.

Der┬áAutor von Deep vs. Diverse Architectures for Classification Problems vergleicht verschiedene Netz-Architekturen f├╝r verschiedene Aufgaben. Es stellt sich heraus, dass sich f├╝r einige Aufgaben Deep-Learning-Architekturen besonders eignen. Allerdings lassen sich auch Aufgaben finden, die mit kleineren (unkomplexeren) Architekturen l├Âsen lassen. Deep-Learning ist also nicht die sofort die Allzweckwaffe. Wof├╝r ihr welche Algorithmen benutzen solltet, lest hier hier.┬áHier gehts zum Paper.

In Sentiment Analysis by Joint Learning of Word Embeddings and Classifier┬ávon┬áPrathusha Kameswara Sarma und Bill Sethares wird┬áSupervised Word Embeddings for Sentiment Analysis┬ávorgestellt. Mit dieser Struktur erreichen sie auf verschiedenen Datenbanken in ihren Experiments den State-of-the-Art bez├╝glich AUC. In einigen F├Ąllen sind sie damit sogar genauer als die aktuell bekannten Ergebnisse. SWESA ist dabei ein sehr flexibles Konstrukt. Hier gehts zum Paper.

 

Am Rand erw├Ąhnt

Paper Review – Kreativit├Ąt messen, Language Models und CNN Kompression

In unserer Rubrik Paper Review┬ástellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen f├╝r euch das┬áWesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht.┬áViel Spa├č!

A Machine Learning Approach for Evaluating Creative Artifacts von IBM Research India versuchen anhand von Film-Datenbanken und deren Kritiken zu erkennen, woran man Kreativit├Ąt messen kann. Sie kommen zu dem Schluss, dass der Grad von “Unexpectedness” (also Unerwartbarkeit) mit der Kreativit├Ąt eines filmischen Werkes korreliert. Hier gehts zum Paper.

Syllable-aware Neural Language Models: A Failure to Beat Character-aware Ones. Das Paper besch├Ąftigt sich mit NLM (Neural Language Modeling). Es wird gezeigt das silbenbasierte Modelle zwar keine bessere Genauigkeit┬ágegen├╝ber vergleichbaren State-of-the-Art Modellen haben, allerdings reduzieren sie die Anzahl der Parameter und sparsamer bez├╝glich der Computation Time. Hier gehts zum Paper.

In Towards Evolutional Compression stellen die Autoren einen Algorithmus vor, der sich benutzen l├Ąsst, um aufw├Ąndige mehrschichtige Architekturen Neuronaler Netze so zu verkleinern, dass sie an die Genauigkeit der urspr├╝nglichen Netze heranreichen. Die Motivation f├╝r diese Arbeit sehen die Autoren in dem gr├Â├čer werdenden Interesse, komplexe CNNs auch auf Smartphones zu benutzen. Hier gehts zum Paper.

Am Rand erw├Ąhnt