Maschinelles Lernen

Maschinelles Lernen ist ein Oberbegriff für die „künstliche“ Generierung von Wissen aus Erfahrung: Ein künstliches System lernt aus Beispielen und kann nach Beendigung der Lernphase verallgemeinern. D. h. es lernt nicht einfach die Beispiele auswendig, sondern es „erkennt“ Gesetzmäßigkeiten in den Lerndaten. So kann das System auch unbekannte Daten beurteilen.

Aus dem weiten Spektrum möglicher Anwendungen seien hier genannt automatisierte Diagnoseverfahren, Erkennung von Kreditkartenbetrug, Aktienmarktanalysen, Klassifikation von DNA-Sequenzen, Sprach- und Schrifterkennung und autonome Systeme.

Die praktische Umsetzung geschieht meist mittels Algorithmen. Verschiedene Algorithmen aus dem Bereich des maschinellen Lernens lassen sich grob nach diesem Schema einteilen:

• Überwachtes Lernen: der Algorithmus lernt eine Funktion aus gegebenen Paaren von Ein- und Ausgaben. Dabei stellt während des Lernens ein "Lehrer" den korrekten Funktionswert zu einer Eingabe bereit. Ein Teilgebiet des überwachten Lernens ist die Maschinelle Klassifikation. Anwendungsbeispiel: Handschrifterkennung.
• Unüberwachtes Lernen: der Algorithmus erzeugt für eine gegebene Menge von Eingaben ein Modell, das die Eingaben beschreibt und Vorhersagen ermöglicht. Dabei gibt es Clustering-Verfahren, die die Daten in mehrere Kategorien einteilen, die sich durch charakteristische Muster voneinander unterscheiden. Ein wichtiger Algorithmus in diesem Zusammenhang ist der EM-Algorithmus, der iterativ die Parameter eines Modells so festlegt, dass es die gesehenen Daten optimal erklärt. Er legt dabei das Vorhandensein nicht beobachtbarer Kategorien zugrunde und schätzt abwechselnd die Zugehörigkeit der Daten zu einer der Kategorien und die Parameter, die die Kategorien ausmachen. Eine Anwendung des EM-Algorithmus findet sich beispielsweise in den Hidden Markov Models (HMMs). Andere Methoden des unüberwachten Lernens, z. B. Hauptkomponentenanalyse verzichten auf die Kategorisierung. Sie zielen darauf ab, die beobachteten Daten in eine einfachere Repräsentation zu übersetzen, die sie trotz drastisch reduzierter Information möglichst genau wiedergibt.
• Bekräftigungslernen: der Algorithmus lernt durch Belohnung und Bestrafung eine Taktik, wie in potenziell auftretenden Situationen zu handeln ist, um den Nutzen des Agenten (d. h. des Systemes, zu dem die Lernkomponente gehört) zu maximieren.

Weiteres empfehlenswertes Fachwissen

Richtiges Wägen mit Laborwaagen: Die Wägefibel

Was ist der richtige Weg, um die Wiederholbarkeit bei Waagen zu überprüfen?

Tägliche Sichtkontrolle der Laborwaagen

Symbolische und subsymbolische Systeme

Beim maschinellen Lernen spielt Art und Mächtigkeit der Wissensrepräsentation eine wichtige Rolle. Man unterscheidet zwischen symbolischen Systemen, in denen das Wissen – sowohl die Beispiele als auch die induzierten Regeln – explizit repräsentiert ist, und subsymbolischen Systemen wie Neuronale Netze, denen zwar ein berechenbares Verhalten „antrainiert“ wird, die jedoch keinen Einblick in die erlernten Lösungswege erlauben; hier ist Wissen implizit repräsentiert.

Bei den symbolischen Ansätzen unterscheidet man in aussagenlogische und prädikatenlogische Systeme. Vertreter der ersteren sind ID3 und sein Nachfolger C4.5. Letztere werden im Bereich der Induktiven logischen Programmierung entwickelt.

Erwähnt sei noch, dass neuronale Netze und Prädikatenlogik kombiniert werden können. Jedes Prädikat erhält einen Wahrheitswert[0..1]. Benannte Produktionsregeln sind benannte Neuronenmuster (Klassen), Regelanwendung sind Neuronen (Instanzen), die dem Netzwerk hinzugefügt werden. Der Wahrheitswert der Konsequenz wird wie beim neuronalen Netz aus den Wahrheitswerten der Prämissen berechnet. Beim Lernen werden zunächst mittels induktiver logischer Programmierung Hypothesen (Regeln) erzeugt, dann werden die Parameter zur Berechnung der Wahrheitswerte im Näherungsverfahren genau wie beim neuronalen Netz ermittelt.

Siehe auch

• Data-Mining, Entscheidungsbaum, Lerntheorie, Künstliche Intelligenz, Konzeptlernproblem, Neuroinformatik, Versionsraum

Literatur

• Christopher M. Bishop: Pattern Recognition And Machine Learning, 2006, ISBN 0387310738
• David Mackay: Information Theory, Inference, and Learning Algorithms , 2003. [1]
• Tom M. Mitchell: Machine Learning, McGraw Hill. 1997, ISBN 0071154671
• D. Michie, D.J. Spiegelhalter, C.C. Taylor: Machine Learning, neural and statistical Classification, Elis Horwood. 1994.
• A.P. Dempster, N.M. Laird, D.B. Rubin: Maximum Likelihood from Incomplete Data via the EM Algorithm Journal of the Royal Statistical Society, Vol. 39, No. 1, 1977

Software

• GNU R ist eine auf vielen Plattformen verfügbare, freie Statistik-Software mit Erweiterungen zum Maschinellen Lernen (z.B. rpart, randomForest) und Data-Mining
• Weka ist ein umfangreiches und erweiterbares Tool für Maschinelles Lernen und Data-Mining
• RapidMiner (früher YALE) ist ein einfach zu bedienendes und frei erhältliches Tool für Maschinelles Lernen und Data-Mining
• Shogun Toolbox ist eine Open-Source-Toolbox zum Berechnen von Kern-Methoden in grossem Stil, aber auch zum Lösen von Regressions- und Klassifikationsproblemen.