Tag: Forschung

Deep Learning – So gelingt der Einstieg!

Deep Learning ist in vielen Bereichen der KI-Forschung und der praktischen wirtschaftlichen Anwendungen von maschinellem Lernen ┬ázum State-of-the-Art geworden – vor allem bei Aufgaben mit┬áBildern und Texten. Es klingt wie ein komplett neues und aufregendes Verfahren, entpuppt sich aber als┬áein Zusammensetzen von bereits vorhandenen Komponenten des Machine Learning. Je nachdem wie tief man in die Materie einsteigen will, muss man sich vorher mit Formen der Merkmalsextraktion sowie mit k├╝nstlichen neuronalen Netzen besch├Ąftigen. Deep Learning bedeutet n├Ąmlich im Grunde folgendes:

  • Ein mehrschichtiges k├╝nstliches neuronales Netz (multi layer)
  • Jede Schicht (Layer) hat eine bestimmte Funktion & f├╝hrt verschiedene Operationen aus
  • Man entwirft verschiedene Architekturen dieser Netze – verschiedene Verschaltungen von Layern





Diese Layer haben verschiedene Funktionen. Die meistbenutzten Konzepte werden nachfolgend dargestellt:

  • INPUT [32x32x3] Funktioniert im Grunde ├Ąhnlich┬áwie eine Retina. Die Matrix in diesem Layer besteht aus den RGB-Bildpunkten (3) und entspricht der Gr├Â├če des Bildes in diesem Beispiel: 32×32 Pixel.

    Quelle: Wikipedia

    Quelle: Wikipedia

  • CONV (Convolutional Layer) Dieser Layer berechnet Features f├╝r lokale Regionen im Input. Die meistgenutzte Funktion hier ist ein Skalarprodukt der Werte in den verschiedenen Regionen berechnet. Setzt man 12 verschiedene Filter ein, erh├Ąlt man 12 Ergebnismatrizen. Dieser Dieser Layer produziert also eine Matrix mit den Dimensionen: [32x32x12].
  • RELU (Rectified Linear Unit) In diesem Layer werden relativ simple Funktionen angewendet, ├Ąhnlich wie max(x, 0). Werte werden hier nicht ver├Ąndert, daf├╝r aber eventuell auf einen Threshold-Wert gesetzt. Wir erhalten also wieder eine Matrix mit den Dimensionen┬á[32x32x12].
  • POOL (Pooling) wird genutzt, um ein Downsampling auszuf├╝hren. F├╝r POOL gibt es verschiedene Operationen, eine davon ist┬áMax-Pooling- Dabei wird aus einer n x n Matrix der gr├Â├čte Wert gew├Ąhlt. Beispielsweise mit dem Output [16x16x12]. Das entspricht einem Faktor von 0.5.
  • FC (fully connected) In diesem Layer sind alle Neuronen einer Schicht miteinander verbunden. Hier passiert auch┬áder meiste Lernaufwand. F├╝r den Fall, dass ein Netz zwischen 10 Klassen entscheiden muss, w├Ąren die Dimensionen hier [1x1x10].

Eine Beispiel-Architektur w├Ąre eine serielle Verschaltung folgender Layer:┬á┬á[INPUT – CONV – RELU – POOL – FC]. Hier werden zuerst verschiedene gefaltete Features aus dem Bild extrahiert. Danach wird ein bestimmtes Muster aus den extrahierten Features herausgeschnitten (entschieden nach Thresholds). Mit diesen Features wird nur ein Downsampling durchgef├╝hrt. Nach dem Downsampling der gefilterten und gefalteten Features wird nun der Layer angesprochen, der aus den Repr├Ąsentationen die verschiedenen Klassen entscheidet. Im Vergleich zu einem Ein-Layer-Netzwerk (auch shallow genannt) wird hier viel mehr Aufwand betrieben, um Features zu extrahieren.

Mehr ├╝ber die┬áVergangenheit von Deep Learning und der Sch├Ânheit von lernenden Maschinen, erf├Ąhrt man in Ben Vigoras Talk mit dem Titel “When Machines Have Ideas”. Er redet dar├╝ber, was lernen wirklich bedeutet und was das Interessante┬áan lernenden Maschinen ist.

Hugo Larochelle redet in “The Deep End of Deep Learning” ├╝ber den langen Weg, den Deep Learning gehen musste, bis es zum Buzzword wurde. Sehr interessant ist dabei auch, dass es diverse Ans├Ątze zum Thema Deep Learning schon viel eher gab.

Um die 2 vorherigen Videos abzurunden, sollte man sich diesen Talk von Andrej Karpathy ansehen. Er ist Teil des Labs der Stanford University und war ma├čgeblich an der Weiterentwicklung des initialen Begriffs Deep Learning beteiligt.

Nach diesen Ausführungen zum Thema Deep Learning hat man eine Intuition für das aktuell am meisten gehypte Thema der KI-Forschung bekommen. Falls ihr euch fragt, wie es nun weiter geht oder gar Lust habt, ein Projekt mit Deep Learning Frameworks umzusetzen, dann werdet ihr hier fündig:




K├╝nstliche Intelligenz in den USA! Das Strategie-Papier dazu

Im Mai 2016 haben sich in den U.S.A. verschiedene KI-Spezialisten zusammengesetzt und versucht, ein Strategiepapier f├╝r die Zukunft mit der KI zu entwickeln. Das Papier wurde nun im Oktober vorgestellt. Es enth├Ąlt neben einf├╝hrenden Worten zum Thema K├╝nstliche Intelligenz┬áauch ein paar begriffliche Definitionen (darunter Autonomy, Automation, etc.).




Das Strategiepapier gibt Handlungsempfehlung f├╝r den Pr├Ąsidenten der Vereinigten Staaten. Wer die┬áca. 50 Seiten des Reports nicht lesen will, bekommt hier die wichtigsten┬áHandlungsempfehlungen zusammengefasst:

  • Datens├Ątze der staatlichen Institutionen offenlegen, um die KI-Forschung in diesen Bereichen zu beschleunigen.
  • Institutionen und staatliche Agenturen sollten Standards festlegen, auf denen sie Informationen austauschen, gewinnen oder vorhersagen k├Ânnen.
  • Jedes Ministerium sollte Stellen f├╝r Machine Learning Engineers schaffen, damit spezifische Daten schnell ausgewertet werden k├Ânnen.

    Executive Office of the President of the United States, Quelle: Report

    Executive Office of the President of the United States, Quelle: Report

  • Das Ministerium f├╝r Verkehr soll eng mit der Wirtschaft an der Erarbeitung von Richtlinien und Gesetzen arbeiten. Dabei geht es vor allem um den Einsatz von Drohnen (UAS, unmanned aircraft systems) und autonomen Fahrzeugen (UV, automated vehicles).
  • Das Ministerium f├╝r Verkehr sollte ein skalierbares System entwickeln, dass den Luftraum der Zukunft besser ├╝berwachen kann – insbesondere individueller Personenverkehr in der Luft sowie Drohnen.
  • Die Wirtschaft soll die Ministerien zeitiger ├╝ber m├Âgliche Entwicklungen informieren, damit zeitnah Regeln und Gesetze angepasst werden k├Ânnen.
  • Sch├╝ler sollen in den Schulen mehr ├╝ber das Thema Ethik bzgl. K├╝nstlicher Intelligenz lernen. Die Kinder sollen KI-affineren Unterricht bekommen und somit f├╝r den┬ábewussten Umgang ausgebildet werden.
  • Der Pr├Ąsident sollte┬áRichtlinien┬áaufstellen, die kl├Ąren, wie die Verantwortlichkeiten bei automatischen und semi-automatischen Waffensystemen aussehen.
  • Welche Jobs und Arbeitspl├Ątze potentiell gef├Ąhrdet sind, wurde nicht untersucht, sollten aber in einem zweiten Report gekl├Ąrt werden.

Der Report kann als als eine grobe ├ťbersicht gesehen werden, die der Regierung helfen soll, sich initial mit dem Thema zu befassen. Aus dem Report geht auch hervor, dass weitere Untersuchungen notwendig sind. W├Ąhrend in den U.S.A. der KI-Ansatz eher einheitlich verstanden wird, beschr├Ąnkt sich Deutschland dort meist auf die KI in der Wirtschaft.