Autonomes Fahren

Aug 24, 2017 Autonomes Fahren, Deep Learning, Deep Reinforcement Learning, Diverse Architectures, Joint Learning, Neural Language Models, Paper Review, Recurrent Neural Networks, Self-driving Cars, Sentiment Analysis, Word Embeddings

Paper Review – Language Modeling, Deep vs. Diverse Architecture und Sentiment Analysis

Wir sind im Sommermodus. Aktuell basteln wir an einem Plan, wie wir euch ab Herbst weiter mit spannenden Artikeln aus der Machine Learning Szene begeistern können.

In unserer Rubrik Paper Review stellen wir euch aktuelle Paper aus dem Bereich Machine Learning vor. Wir fassen für euch das Wesentliche zusammen und ihr entscheidet selbst, ob ihr das Paper lesen wollt oder nicht. Viel Spaß!

In Neural Networks Compression for Language Modeling werden RNNs komprimiert. Hier handelt es sich um RNNs, die verschiedene Text-Klassifizierungen durchführen. Das ist besonders wichtig für Mobile Devices, die dadurch mehrschichtige Netze effizienter abspeichern können. Bereits im Juli haben wir euch im Paper Reivew das Paper Towards Evolutional Compression vorgestellt – dort werden ähnliche Algorithmen verwendet. Hier gehts zum Paper.

Der Autor von Deep vs. Diverse Architectures for Classification Problems vergleicht verschiedene Netz-Architekturen für verschiedene Aufgaben. Es stellt sich heraus, dass sich für einige Aufgaben Deep-Learning-Architekturen besonders eignen. Allerdings lassen sich auch Aufgaben finden, die mit kleineren (unkomplexeren) Architekturen lösen lassen. Deep-Learning ist also nicht die sofort die Allzweckwaffe. Wofür ihr welche Algorithmen benutzen solltet, lest hier hier. Hier gehts zum Paper.

In Sentiment Analysis by Joint Learning of Word Embeddings and Classifier von Prathusha Kameswara Sarma und Bill Sethares wird Supervised Word Embeddings for Sentiment Analysis vorgestellt. Mit dieser Struktur erreichen sie auf verschiedenen Datenbanken in ihren Experiments den State-of-the-Art bezüglich AUC. In einigen Fällen sind sie damit sogar genauer als die aktuell bekannten Ergebnisse. SWESA ist dabei ein sehr flexibles Konstrukt. Hier gehts zum Paper.

Am Rand erwähnt

On a Formal Model of Safe and Scalable Self-driving Cars – Was sind die wichtigsten Messgrößen für eine Welt mit autonomen Fahrzeugen.
A Brief Survey of Deep Reinforcement Learning – Ein Survey zum Thema Deep Reinforcement Learning mit einigen Bespielen und Kategorisierungen

Aug 2, 2017 Arbeit, Autonomes Fahren, Bandarbeit, Erde, Faulheit, Gesundheit, Jobs, Medizin, Menschheit, Planet, Sensoren, Umwelt, Verkehr, Vorhersage, Zukunft

5 Dinge die Machine Learning für die Menschheit tun kann

In unserer Rubrik High Five stellen wir euch unsere Top-Liste zu einer bestimmten Machine Learning relevanten Kategorie vor. Diesmal haben wir uns angeschaut, was Machine Learning für die Menschheit tun kann. Wie wir das ganze sehen, lest ihr hier!

1. Uns von sinnlosen Jobs befreien

Viele von uns kennen diesen Moment im Job! Man wünscht sich einen Roboter, der einen monotone Arbeit abnimmt. Sowas kann gelingen. Monotone Arbeiten wie Bandarbeit sind meist nicht nur für unsere Psyche sehr anstrengend, sondern auch für unseren unseren Körper. Abnutzungserscheinungen an Knochen und anderen Körperteilen sind die Folge.

2. Unsere Faulheit kompensieren

Ähnlich zu der monotonen Arbeit im Job, kann uns Machine Learning auch von monotonen Arbeiten im privaten Bereich befreien. Dabei sind die Vorlieben diverser als im Arbeitsleben. Während ein passionierter Gärtner lieber selbst gießt, kann der nicht vorhandene grüne Daumen von anderen Personen durch Sensoren und Sensormodelle kompensiert werden. Dabei ist Gärtnern nur ein Beispiel für viele Anwendungsbereiche.

3. Vorhersagen über unsere Gesundheit machen

Durch statistische Verfahren können wir eine bestimmte Anfälligkeit für Krankheiten ermitteln. Das bedeutet, man kann Krankheiten behandeln, bevor sie auftreten. Damit wird unser Leben auch vorhersagbarer – dafür aber sicherer.

4. Unser Leben sicherer machen

Autonomes Fahren und vernetzte Verkehrssysteme werden es uns ermöglichen, sicherer ans Ziel zu kommen. Schon heut ist viel Machine Learning in Verkehrsleitsystemen und sogar Autos verbaut. Nicht nur auf der Straße gibt es dafür Anwendungen. Auch im Luft- und Wasserverkehrt werden smarte Systeme eingesetzt.

5. Die Umwelt schonen

Wieviel Müll wird wann und wo produziert? Wieviel Energie wird verbraucht, wieviel Energie muss zeit-/ortsbezogen erzeugt werden? Diese Fragen können uns smarte Netze beantworten, die sehr viele Daten gesammelt haben und somit die Umwelt schonen können. Es wird nur so viel Energie produziert, wie tatsächlich gebraucht wird und der Müll wird ebenfalls smarter entsorgt.

Natürlich gibt es noch weitere Anwendungsfälle. Machine Learning kann uns helfen, den Fokus auf wichtigere und komplexere Fragestellungen zu legen, die uns als Menschheit helfen und uns weiter bringen.

Mar 29, 2017 Autonomes Fahren, Bilderkennung, Bildverarbeitung, Deep Fonts, Deep Learning, Image Generation, Neural Doodle, Neural Talk, Sound Generation, Stanford University, Torch, WaveNet

5 coole Anwendungen für Deep Learning

Viele halten es für einen Hype, aber es gibt auch Anwendungen, in denen Deep Learning uns schon ernsthaft helfen kann. Egal ob im Bereich Computer Vision, Natural Language Processing oder Creation, Deep Learning Anwendungen werden in den nächsten Jahren immer häufiger auftreten. Hier ein paar Anwendungen, die aktuell schon möglich sind.

1. Bring deinem Auto bei, wie ein Mensch zu lenken

Es ist kein Problem mehr, ein eigenes Auto dazu zu bringen, zu lenken wie ein Mensch. Das einzige, was man dazu braucht, ist etwas Technik, ein Auto, ein paar Kameras und dieses Paper als Bauanleitung. Damit kann jeder ein selbstfahrendes Auto nachbauen. Das ganze läuft mit Torch 7. Eine gute Simulationsumgebung hierfür ist dann wohl Grand Theft Auto.

2. Bau dir ein intelligentes Tagging-System für deine Bilder

Resultate von Projekt deepimagesent. Credits: Stanford.edu

Bilder zu beschreiben, haben Deep Learning Netze ebenfalls gelernt. Besonders spannend wird es, wenn man eine große Bildersammlung hat und nun herausfinden will, was in diesen Bildern enthalten ist. Dazu bieten sich verschiedene Programme u.a. NeuralTalk von Andrej Karpathy an. Wie das Ganze funktioniert, lernt man hier (sogar mit passender Demo).

3. Male wie ein richtiger Künstler

Beispiel von Neural Doodle. Credits: alexjc

Neural Doodle heißt das Tool. Man kann mit den, für eine Landschaftszeichnung üblichen, Farben ein Bild malen. Danach transformiert ein Netz das simple Bild in ein Kunstwerk. Dabei nutzt das Netz die Farbkombinationen als Annotation und versucht aus diesen Annotationen das ursprüngliche Kunstwerk wieder herzustellen. Dabei kann man zwischen verschiedenen Stilen wählen. Es hängt ganz davon ab, was man dem Netzwerk zeigt.

4. Entwickle deinen eigenen Font

Eigene Fonts entwickeln mit deep-fonts. Credits: erikbern

Jeder Designer hat schonmal eine Schrift benötigt, die genau nach seinen Wünschen aussieht. Wie wäre es mit einer grafischen Oberfläche, auf der man verschiedene Regler nach links und rechts schieben kann. Was man erhält sind verschiedene Fonts, die das Neuronale Netz passend zu den Eingaben anpasst.

50.000 Schriftarten hat der Autor von deep-fonts benutzt, um das Netzwerk zu trainieren. Hier erhält man den Code und das trainierte Netz für die eigenen Spielereien.

5. Höre und komponiere klassische Musik

Neuronale Netze komponieren sogar Musik. Sie klingt bereits so, als würde jemand am Klavier sitzen und nur persönlich für uns spielen. Damit können in der Zukunft auch professionelle Komponisten und Interpreten ihre Musik von einer KI überarbeiten lassen oder sogar einem Mastering unterziehen. Das ist besonders spannend für Musiker, die noch kein Plattenlabel haben und trotzdem ein Platte in ordentlicher Qualität produzieren wollen. Vielleicht ist das sogar noch eine Marktlücke. 😉 Nachfolgend könnt ihr hören, wie das klingen kann. Mehr Infos dazu findet ihr hier.

5 weitere Anwendungen für Deep Learning lest ihr in unserem zweiten Teil der Serie.

Jan 26, 2017 Autonomes Fahren, Bildung, Claus Kleber, Dokumentation, Industrie 4.0, Industrielle Revolution, Nano Degrees, Philosophie, Robert Bosch GmbH, Sebastian Thrun, Sense Think Act, Silicon Valley, Uni Tübingen

Allmacht der Algorithmen – Eine Podiumsdiskussion an der Uni Tübingen

Im folgenden Video finden sich mehrere Experten auf dem Gebiet Künstliche Intelligenz, Machine Learning und weitgefasst auch Industrie 4.0 zusammen. Claus Kleber hatte mit seiner Dokumentation names “Schöne neue Welt” über das Silicon Valley viel Aufmerksamkeit erreget. In dieser Podiumsdiskussion geht es nun darum, wie der Stand bzgl. Industrie 4.0 in Dresden ist. Es wird am Anfang etwas über Sebastian Thrun und seine Sicht auf Technologie diskutiert. In Deutschland, einem sehr stark regulierten Land, wird diese Entwicklung nicht so schnell und avantgardistisch voran gehen, wie im Silicon Valley.

Es wird sehr viel über autonomes Fahren geredet, technische Modelle, wie das Sense-Think-Act Modell sind Thema. Dabei ist der Vertreter der Robert Bosch GmH sehr gut im Buzzwords verteilen. Sense-Think-Act bezeichnet hier ein Paradigma aus der Robotik, bei dem die Entscheidung des Roboters nach der Reizaufnahme und dem Zusammenführen sowie Beurteilung der Reize (think) erfolgt. Es werden menschliche Fehler diskutiert, die es zu minimieren gilt. 9 von 10 Autounfälle sind durch Menschen verursacht. Ego, Müdigkeit oder fehlende Erfahrungen, es gibt viele mögliche Ursachen. Außerdem wurden Nanodegrees (kleine nicht vollwertige aber spezielle Bildungsabschlüsse) diskutiert – sowie generell Bildung in der schnelleren und flexibleren Berufswelt.

An sich ist die es die Diskussion wert, angesehen zu werden – ebenso wie die oben verlinkte Dokumentation von Claus Kleber selbst.

Oct 31, 2016 Autonomes Fahren, Drohnem, Forschung, Geostrategie, Machine Learning, Politik, Präsident, Richtlinien, Strategie, U.S.A., UAS, USA, UV, Vereinigte Staaten von Amerika

Künstliche Intelligenz in den USA! Das Strategie-Papier dazu

Im Mai 2016 haben sich in den U.S.A. verschiedene KI-Spezialisten zusammengesetzt und versucht, ein Strategiepapier für die Zukunft mit der KI zu entwickeln. Das Papier wurde nun im Oktober vorgestellt. Es enthält neben einführenden Worten zum Thema Künstliche Intelligenz auch ein paar begriffliche Definitionen (darunter Autonomy, Automation, etc.).

Das Strategiepapier gibt Handlungsempfehlung für den Präsidenten der Vereinigten Staaten. Wer die ca. 50 Seiten des Reports nicht lesen will, bekommt hier die wichtigsten Handlungsempfehlungen zusammengefasst:

Datensätze der staatlichen Institutionen offenlegen, um die KI-Forschung in diesen Bereichen zu beschleunigen.
Institutionen und staatliche Agenturen sollten Standards festlegen, auf denen sie Informationen austauschen, gewinnen oder vorhersagen können.
Jedes Ministerium sollte Stellen für Machine Learning Engineers schaffen, damit spezifische Daten schnell ausgewertet werden können.
Executive Office of the President of the United States, Quelle: Report
Das Ministerium für Verkehr soll eng mit der Wirtschaft an der Erarbeitung von Richtlinien und Gesetzen arbeiten. Dabei geht es vor allem um den Einsatz von Drohnen (UAS, unmanned aircraft systems) und autonomen Fahrzeugen (UV, automated vehicles).
Das Ministerium für Verkehr sollte ein skalierbares System entwickeln, dass den Luftraum der Zukunft besser überwachen kann – insbesondere individueller Personenverkehr in der Luft sowie Drohnen.
Die Wirtschaft soll die Ministerien zeitiger über mögliche Entwicklungen informieren, damit zeitnah Regeln und Gesetze angepasst werden können.
Schüler sollen in den Schulen mehr über das Thema Ethik bzgl. Künstlicher Intelligenz lernen. Die Kinder sollen KI-affineren Unterricht bekommen und somit für den bewussten Umgang ausgebildet werden.
Der Präsident sollte Richtlinien aufstellen, die klären, wie die Verantwortlichkeiten bei automatischen und semi-automatischen Waffensystemen aussehen.
Welche Jobs und Arbeitsplätze potentiell gefährdet sind, wurde nicht untersucht, sollten aber in einem zweiten Report geklärt werden.

Der Report kann als als eine grobe Übersicht gesehen werden, die der Regierung helfen soll, sich initial mit dem Thema zu befassen. Aus dem Report geht auch hervor, dass weitere Untersuchungen notwendig sind. Während in den U.S.A. der KI-Ansatz eher einheitlich verstanden wird, beschränkt sich Deutschland dort meist auf die KI in der Wirtschaft.

Oct 30, 2016 Automatisierung, Autonomes Fahren, Azim Shariff, Experiment, Iyad Rahwan, Jean-Francois Bonnefon, MIT, Moral, Moral Machine

Die Moral des Autonomen Fahrens

Die drei MIT-Forscher Iyad Rahwan, Jean-Francois Bonnefon und Azim Shariff haben ein Online-Experiment gestartet, dass sich mit den Konsequenzen des autonomen Fahrens beschäftigt. In ihrem Experiment entwerfen sie ein Szenario, in dem die Bremsen des Autos versagen.

Moral Machine. Quelle: moralmachine.mit.edu

Die User können dabei immer aus zwei Szenarien wählen. Welches Übel wählen sie dabei? Ist ihnen das Leben der Insassen oder das Leben der Fußgänger mehr Wert? Wie verhält es sich, wenn die Fußgänger jünger bzw. älter sind?

Diese und weitere Fragen werden in diesem Experiment beantwortet. Am Ende des Experiments kann man seine eigenen Ergebnisse mit den Ergebnissen der bisherigen User (im Mittel) vergleichen.

Hier gehts zur Moral Machine.

Tag: Autonomes Fahren