MDP

MDP (Modular Toolkit for Data Processing) ist eine Bibliothek von weit verbreiteten Datenverarbeitungsalgorithmen, die entsprechend einer Pipeline analog komplexere Datenverarbeitungssoftware Aufbau kombiniert werden können.
Aus der Sicht des Benutzers, MDP besteht aus einer Sammlung von überwachten und unüberwachten Lernalgorithmen und anderen Datenverarbeitungseinheiten (Knoten), die in Datenverarbeitungssequenzen (Flows) und komplexere Feed-Forward-Netzwerkarchitekturen kombiniert werden können. Bei einem gegebenen Satz von Eingangsdaten, nimmt MDP Pflege nacheinander die Ausbildung oder die Ausführung aller Knoten in dem Netzwerk. Dies ermöglicht es dem Benutzer, komplexe Algorithmen als eine Reihe von einfacheren Datenverarbeitungsschritte in einer natürlichen Weise zu spezifizieren.
Die Basis der verfügbaren Algorithmen nimmt stetig zu und schließt, um nur die häufigsten, Principal Component Analysis (PCA und NIPALS), mehrere Independent Component Analysis Algorithmen (Cubica, FastICA, TDSEP, Jade, und XSFA), Slow Feature Analysis, Gauß- Sichter, Restricted Boltzmann-Maschine, und lokal Linear Embedding.
Besondere Sorgfalt wurde Berechnungen effizienter in Bezug auf Geschwindigkeit und Speicher zu machen. Um die Speicheranforderungen zu reduzieren, ist es möglich, das Lernen unter Verwendung von Datenchargen durchzuführen und definieren die internen Parameter der Knoten mit einfacher Genauigkeit, das die Verwendung von sehr großen Daten ermöglicht Mengen. Darüber hinaus bietet das "parallele" Unterpaket eine parallele Umsetzung der grundlegenden Knoten und fließt.
Aus der Sicht des Entwicklers ist MDP ein Framework, das die Umsetzung der neuen überwachten und unüberwachten Lernalgorithmen einfach und unkompliziert macht. Die Basisklasse, "Knoten", kümmert sich um lästige Aufgaben wie numerischen Typ und Dimensionalität Prüfung, so dass die Entwickler frei, sich auf die Umsetzung der Lern ​​und Ausführungsphasen zu konzentrieren. Aufgrund der gemeinsamen Schnittstelle, integriert dann der Knoten automatisch mit dem Rest der Bibliothek und können in einem Netzwerk mit anderen Knoten verwendet werden. Ein Knoten kann mehrere Trainingsphasen und sogar eine unbestimmte Anzahl von Phasen haben. Dies ermöglicht die Implementierung von Algorithmen, die auf einige Statistiken über die gesamte Eingangs bevor mit dem eigentlichen Training fortfahren zu sammeln müssen, und andere, die zu mehr als einer Trainingsphase durchlaufen, bis ein Konvergenzkriterium erfüllt benötigen. Die Fähigkeit, jede Phase mit Brocken von Eingangsdatenfolge gehalten wird, wenn die Stücke mit Iteratoren erzeugt. Darüber hinaus ist Crash Recovery optional erhältlich: im Fehlerfall wird der aktuelle Zustand des Flow für revisionssicher abgespeichert.
MDP wurde im Rahmen der Grundlagenforschung in der Neurowissenschaft geschrieben worden, aber es wurde entwickelt, nützlich in jedem Kontext, trainierbare Datenverarbeitungsalgorithmen verwendet werden können. Seine Einfachheit auf der Benutzerseite zusammen mit der Wiederverwendbarkeit der eingesetzten Knoten machen es auch ein gültiger Lehrmittel

Was ist neu in dieser Pressemitteilung:.

• Python 3 zu unterstützen.
• Neue Erweiterungen: Caching und Gradienten
.
• Eine verbesserte und erweiterte Lernprogramm.
• Mehrere Verbesserungen und Bugfixes.
• Diese Pressemitteilung ist unter einer BSD-Lizenz.

Was ist neu in Version 2.5:

• 2009-06-30: Hinzugefügt Online-Erkennung von numerischen Backend , parallel python Unterstützung, symeig Backend und numerische Backend mit dem Ausgang der Unit-Tests. Sollte bei der Fehlersuche zu helfen.
• 2009-06-12:. Die Integration der Cutoff und Histogrammknoten
• 2009-06-12:. Behoben: Fehler im Gleichstrom (Ausnahmebehandlung)
• 2009-06-09: Behoben: Fehler in LLENode wenn output_dim ist ein Schwimmer. Dank Konrad Hinsen.
• 2009-06-05:. Fixed bugs im Gleichstrom für mehrere Scheduler
• 2009-06-05: a. Fehler in Schicht inverse Fest dank Alberto Escalante
• 2009-04-29:. Hinzugefügt einen LinearRegressionNode
• 2009-03-31: PCANode nicht mehr beschweren, wenn Kovarianzmatrix hat negative Eigenwerte iff SVD == true oder verringern == true. Wenn output_dim angegeben wurde eine gewünschte Abweichung, negative Eigenwerte ignoriert. Verbesserte Fehlermeldung für SFANode bei negativen Eigenwerte, jetzt schlagen wir vor, um den Knoten mit einem PCANode (SVD = True) oder PCANode (verringern = True) voranstellen.
• 2009-03-26: wanderten aus alten Thread-Paket auf die neue Gewinde eins. Hinzugefügt flag Caching in Prozess-Scheduler deaktivieren. Es gibt einige Bruch Änderungen für benutzerdefinierte Scheduler (parallele Strömungsausbildung oder die Ausführung ist nicht betroffen).
• 2009-03-25:. Hinzugefügt svn Revision Tracking Unterstützung
• 2009-03-25: Entfernt die copy_callable Flagge für Scheduler, dies ist nun vollständig durch die Abzweigung der TaskCallable ersetzt. Dies hat keine Auswirkung für die komfortable ParallelFlow Schnittstelle, sondern kundenspezifische Planer kaputt.
• 2009-03-22:. Implementiert Caching im ProcessScheduler
• 2009-02-22:. Make_parallel funktioniert nun vollständig an Ort und Stelle, um Speicherplatz zu sparen
• 2009-02-12:. Hinzugefügt Behälter Methoden FlowNode
• 2009-03-03:. Added CrossCovarianceMatrix mit Prüfungen
• 2009-02-03:. Added IdentityNode
• 2009-01-30:. Hinzugefügt eine Hilfsfunktion in Hinet, um einen Fluss HTML-Darstellung direkt angezeigt werden
• 2009-01-22:. Lassen output_dim in Schicht zu träge festgelegt werden
• 2008-12-23:. Hinzugefügt total_variance zum Knoten NIPALS
• 2008-12-23:. Immer gesetzt explained_variance und total_variance nach dem Training in PCANode
• 2008-12-12: Geänderte symrand wirklich symmetrische Matrizen (und nicht nur positiv definite) zurückzukehren. Angepasst GaussianClassifierNode für dieses Konto. Angepasst symrand zurück auch komplexe hermitesche Matrizen.
• 2008-12-11: Fest ein Problem in PCANode (wenn output_dim wurde eingestellt, um die Gesamtvarianz input_dim als unbekannt behandelt). Fester var_part Parameter in ParallelPCANode.
• 2008-12-11:. Hinzugefügt var_part Funktion PCANode (Filter nach Varianz in Bezug auf absoute Varianz)
• 2008-12-04: Fest fehlende Achse arg in amax Anruf in Tutorial. Dank Samuel John!
• 2008-12-04: Der Fehler, der leere Daten iterator Handhabung in ParallelFlow. Auch hinzugefügt leer iterator Kontrollen im normalen Fluss (eine Ausnahme auslösen, wenn der Iterator leer ist).
• 2008-11-19: Geänderte PCA und SFA-Knoten für negaive Eigenwerte in den cov Matrizen überprüfen
• 2008-11-19: symeig in scipy integriert, MDP kann es von dort nun mit
.
• 2008-11-18:. Added ParallelFDANode
• 2008-11-18:. Aktualisiert den Zug aufrufbar für ParallelFlow um zusätzliche Argumente unterstützt
• 2008-11-05: Rewrite des Make parallel Code, unterstützt jetzt Hinet Strukturen
.
• 2008-11-03: Rewrite des Hinet HTML repesentation Schöpfer. Leider ist diese bricht auch die öffentliche Schnittstelle, aber die Änderungen sind ziemlich einfach.
• 2008-10-29: Schalten Sie Warnungen aus Remote-Prozesse in ProcessScheduler
• 2008-10-27:. Das Problem mit dem Überschreiben kwargs in der Init-Methode ParallelFlow
• 2008-10-24:. Fest vortrainiert Knoten Fehler in hinet.FlowNode
• 2008-10-20:. Fest kritische Import bug parallel Paket, wenn pp (parallel Python-Bibliothek) installiert ist

Anforderungen :

• Python
• NumPy
• SciPy