DataCleaner

Datacleaner ist ein Open Source und völlig kostenlos Lösung für Organisationen und Unternehmen, die sich zu steigern und messen die Qualität ihrer Daten.
Mit Datacleaner, werden die Nutzer in der Lage, das Profil, zu vergleichen, zu validieren Daten gegen Geschäftsregeln und überwacht das Fortschreiten dieser Messungen über die Zeit.
Zu den Features, können wir Datenüberwachung, Data Profiling und DQ-Analyse, Datenbereinigung und Anreicherung, zu erkennen und zu verschmelzen Duplikate, Kundendatenqualität sowie die superschnelle ETLightweight (Extract-Transform-Load) zu erwähnen.
Um mehr über die Funktionen und Fähigkeiten Datacleaner ist, als auch, wie damit zu arbeiten lernen, finden Sie in http://eobjects.dk/docs

What beziehen ist neu in diesem Release :

• Verbesserungen und neue Funktionen:
• Wir haben es möglich gemacht, Erstellen und Löschen von Tabellen über die Desktop-UI von Datacleaner. Beachten Sie, dass der Begriff & rdquo; Tabelle & quot; hier tatsächlich deckt mehr als nur relationalen Datenbanktabellen. Es enthält auch Blätter in MS Excel-Datenspeicher, Sammlungen in MongoDB, Dokumenttypen in CouchDB und ElasticSearch und so weiter ... Grundsätzlich werden alle Datenspeicher-Typen, die Schreiboperationen, mit der Ausnahme, Single-Table-Datenspeicher wie CSV-Datenspeicher unterstützt, unterstützt diese Funktionalität! Die Funktionalität wird über freigelegt:
• & quot; Erstellen Tabelle & quot; über das Rechtsklick-Menü des Schemas in der Baumstruktur auf der linken Seite der Anwendung aktiviert.
• & quot; Erstellen Tabelle & quot; aktiviert auch über Tisch-Auswahleingänge in Komponenten, wie in Tabelle einfügen, Suche in einer Tabelle und aktualisieren Tabelle.
• & quot; Drop-Tabelle & quot; über das Rechtsklick-Menü der Tabellen in der Baumstruktur auf der linken Seite der Anwendung aktiviert.
• Wir haben das (optional) Fähigkeit der Angabe Ihrer Salesforce.com Web-Service-Endpunkt-URL hinzugefügt. Dies ermöglicht Ihnen, Datacleaner, um eigene Endpunkte verwenden, um den Sandbox-Umgebungen von Salesforce.com zu verbinden als auch.
• Die ElasticSearch Unterstützung wurde verbessert, so dass kundenspezifische Mappings sowie die Wiederverwendung der ElasticSearch Datenspeicher Definitionen nun auch für die Suche und Indizierung.
• Die Abtastung von Datensätzen und die Auswahl der potentiellen Duplikate in der Duplikaterkennung-Funktion wurde verbessert, was zu einer schnelleren Konfiguration, da die Entscheidungen während des Trainings gemacht sind repräsentativ.
• Die Duplikaterkennung-Modell Dateiformat wurde aktualisiert, die die Notwendigkeit einer separaten Datei "Referenz", um die letzten Trainingsentscheidungen sparen entfernt wurde. Kompatibilität mit dem alten Format wurde beibehalten, aber mit dem neuen Format fügt viele Vorteile für den Anwender.
• Bugfixes:
• Ein Thread Hunger Problem wurde in Datacleaner-Monitor feststehen. Die Auswirkungen dieser Ausgabe war großartig, aber es ist nur in seltenen und sehr kunden Fällen passiert. Wenn benutzerdefinierte Listener-Objekte auf dem Monitor Datacleaner würde einen Fehler aus, wäre es in einer Ressource zur Folge haben nie auf- und befreit Aufnahme eines Themas aus dem Quarz-Scheduling-Pool auf dem Server. Wenn dies viele Male geschehen konnte der Server schließlich aus Themen in diesem Pool laufen.
• Die vertikale Menü auf dem Ergebnisbild wird jetzt gerade einen richtigen Job zum Anzeigen der Etiketten der Komponenten, die Ergebnisse haben. Dies macht es leichter, die Menüpunkte auf welchem ​​Ergebnis Element erkennt.

Was ist neu in der Version 3.5.7:

• Die "Synonym Lookup 'Transformation hat jetzt eine Option nachschlagen jedes Token des Eingangs. Dies ist nützlich, wenn Sie Ersatz von Synonymen tust innerhalb der Werte einer langen Textfeld ein.
• Blocking Ausführung von Datacleaner Arbeitsplätze durch den Monitor Web-Service dafür könnte manchmal nicht mit einem Fehler durch die Blockierfaden verursacht.
Dieses Problem wurde behoben.
• Eine Verbesserung wurde in den Weg, Arbeitsplätze gemacht und die Reihenfolge der Komponenten sind geschlossen / bis nach der Ausführung gereinigt werden.
• Die JNLP / Java WebStart-Version von Datacleaner wurde durch einen Fehler in der Java-Laufzeit verursacht bestimmten JAR-Dateien nicht von der WebStart Werfer erkannt werden kann, unter bestimmten Umständen ausgesetzt werden. Dieses Problem hat, indem sie leichten Modifikationen auf diese JAR-Dateien behoben.
• Ein paar tote Links in der Dokumentation wurden behoben.

Was ist neu in der Version 3.5.4:

• Es ist nun möglich, Ausgabespalten der Transformation zu verstecken . Versteck hat keinen Einfluss auf den Verarbeitungsablauf überhaupt, sondern nur verstecken sie von der Benutzerschnittstelle und damit möglicherweise macht das Erlebnis noch sauber, bei der Interaktion mit anderen Komponenten.
• Eine neue Web-Service hat sich auf die Überwachung Web-Anwendung, die einen Weg, um den Status der Ausführung eines bestimmten Job abfragen bietet aufgenommen.
• Ein Fehler wurde behoben, so dass die HTML-Bericht, die für bestimmte Analysetypen fehlschlagen, wenn keine Datensätze verarbeitet worden war.
• und 6 andere kleinere Fehler wurde angesprochen.

Was ist neu in der Version 3.5.1:

• Aufnahme verändert Datensätze:
• Ein neuer Filter wurde hinzugefügt, um die inkrementelle Verarbeitung der Datensätze, die vorher noch nicht bearbeitet wurden, zB aktivieren für die Profilerstellung oder Kopieren nur geänderte Datensätze. Benennen Sie den neuen Filter ist Erfassung geändert Aufzeichnungen, die sich auf das Konzept der Datenerfassung ändern.
• In Warteschlange Ausführung von Jobs:
• Der Datacleaner Monitor wird nun Warteschlange die Ausführung des gleichen Job, wenn sie mehrfach ausgelöst. Dies stellt sicher, dass Sie nicht versehentlich Server denselben Auftrag gleichzeitig die zu allen möglichen Problemen führen kann, je nachdem, was der Job tut.
• Kleinere Bugfixes:
• Diverse Bugfixes implementiert.

Was ist neu in Version 3.5:

• Mehrere Assistenten sind nun für die Registrierung von Datenspeichern zur Verfügung; einschließlich Datei-Upload auf den Server für CSV-Dateien, Datenbank-Verbindungseintrag, geführte Registrierung von Salesforce.com Anmeldeinformationen und vieles mehr.
• Die Job Gebäude Zauberer haben auch mit einigen erweiterten Funktionen erweitert worden; Auswahl der Werteverteilung und Muster finden, Felder in der Schnellanalyse-Assistenten, eine völlig neue Assistenten für die Erstellung EasyDQ basierte Kundenreinigung Arbeitsplätze und einen neuen Job Assistenten zum Brennen von Pentaho Data Integration Arbeitsplätze (mehr dazu weiter unten).
• Sie können nun Ad-hoc-Abfrage beliebige Datenspeicher direkt in der Web-Benutzerschnittstelle. Dies macht es einfach, schnell oder sporadische Einblicke in die Daten, ohne die Einrichtung von Jobs oder andere verwaltete Ansätze der Verarbeitung der Daten zu erhalten.
• Sobald Jobs oder Datenspeicher erstellt werden, wird der Benutzer geführt, Maßnahmen mit dem neu gebauten Objekt nehmen. Zum Beispiel, können Sie sehr schnell eine Stelle nach rechts laufen, nachdem es gebaut oder Abfrage einen Datenspeicher, nachdem es registriert ist.
• Administratoren können jetzt direkt Arbeitsplätze in das Repository, die besonders praktisch ist, laden Sie, wenn Sie von Hand bearbeiten Sie die XML-Inhalt der Job-Dateien möchten.
• Ein großer Teil der technischen cruft ist nun weg zugunsten von einfachen Dialogen, die versteckt. Zum Beispiel, wenn ein Auftrag ausgelöst wird eine große Ladeanzeige gezeigt wird, und wenn Sie fertig sind das Ergebnis wird angezeigt. Die erweiterte Protokollierung Bildschirm, die bisher dort noch auf einen Link für weitere Informationen angezeigt wurde.

Was ist neu in der Version 3.1.2:

• Wir haben eine Web-Service in die Überwachung aufgenommen Anwendung für die Zeugung eines (Liste) Metrikwerte. Dies macht die Überwachung noch verwendbar als zentrale Infrastrukturkomponente, als eine Möglichkeit, Daten (Qualität) zu überwachen und setzen die Ergebnisse in Anwendungen von Drittanbietern.
• Die "Table-Lookup 'Komponente durch Hinzufügen beitreten Semantik als konfigurierbare Eigenschaft verbessert. Mit Hilfe der Join-Semantik können Sie zwicken, wenn Sie die Referenz, um semantisch wie ein LEFT JOIN arbeiten möchten oder eine INNER JOIN.
• Die EasyDQ Komponenten wurden verbessert, indem weitere Konfigurationsoptionen und eine reichere Deduplizierung Ergebnis Schnittstelle.
• Leistungsverbesserungen waren ein besonderer Schwerpunkt dieser Pressemitteilung. Verbesserungen im Motor der Datacleaner, ein Streaming-Verarbeitungsansatz in bestimmten Fällen Ecke, die zuvor nicht bedeckt war Weiterhin einsetzbar gemacht worden.

Was ist neu in der Version 3.1.1:

• Das Datum und die Uhrzeit bezogen Analysemöglichkeiten wurden erweitert und fügte hinzu, Verteilung Analysatoren für Wochennummern, Monate und Jahre. Alle Analysatoren zu Datum und Zeit verwandt sind jetzt in einem Untermenü namens & quot gruppiert; Datum und Uhrzeit & quot; unter & quot; Analysieren & quot;.
• Ein optionaler & quot; deskriptive Statistik & quot; Option auf die Anzahl Analysator und der Datum / Uhrzeit-Analysator hinzugefügt. Diese Option fügt zusätzliche Metriken, um die Ergebnisse dieser Analysegeräte, wie zum Beispiel Median, Schiefe und Kurtosis Perzentile. Diese Kennzahlen sind optional, da ihr Speicherbedarf ist etwas größer als die vorhandenen Messdaten.
• Die Linien in der Timeline-Charts der Überwachung Web-Anwendung haben jetzt kleine Punkte in ihnen. Dies ist besonders nützlich für Diagramme mit wenigen (oder auch nur eine) Beobachtungen in ihnen -. Darauf hinweisen, genau dort, wo die Beobachtungspunkte sind
• Die Abfrage-Parser beim Aufruf von Ad-hoc-Abfragen, haben auch wesentlich verbessert worden. Jetzt Abfragen können DISTINCT-Klauseln, * -wildcards, Unterabfragen enthalten und fehlertolerant gegenüber text Fall Fragen.
• Zwei neue Transformatoren sind für die Erzeugung von UUIDs und zur Erzeugung von Zeitstempel hinzugefügt.

Was ist neu in Version 3.1:

• Metric Formeln - erarbeitet Data Quality KPIs:
• Es ist nun möglich, viel mehr zu bauen erarbeiten Data Quality KPIs in Datacleaner Monitoring Web-Anwendung. Die Benutzerschnittstelle ermöglicht es Ihnen, komplexe Formeln in einer Tabellenkalkulation wie Formel-Stil zu bauen; Verwendung von Variablen, die von Datacleaner Jobs gesammelt.
• Metrik Formeln können eine beliebige Anzahl von Metriken, Konstanten und Operationen zu kombinieren, solange sie in einer mathematischen Gleichung ausgedrückt werden.
• Zum Beispiel - messen die Geschwindigkeit von doppelten Datensätzen in Prozentsatz der gesamten Anzahl der Datensätze. Oder messen die Menge von Produkt-Codes, die auf eine Reihe von Mehrfachzeichenfolge-Muster entsprechen.
• Ad-hoc Abfragen - jeglicher Datenspeicher:
• Mit Datacleaner 3.1 können Sie jetzt Ad-hoc-Abfragen, um jedem Datenspeicher durchführen! Abfragen können im Klar SQL ausgedrückt und auf Datenbanken sowie Dateien, NoSQL-Datenbanken und mehr angewendet werden, die eine wirklich hilfreich Abfragemechanismus, um in Ihre Entdeckung und Data Profiling Erfahrung zu erweitern.
• Die Abfrage Option ist auch über einen Web-Service, um die Überwachung Benutzer mit der Admin-Rolle zur Verfügung. Die Abfrage wird als HTTP POST Parameter oder Körpers vorgesehen ist, und das Ergebnis wird als eine XHTML Tabelle.
• Wert Matcher - eine neue Analyse-Option:
• Oft haben Sie eine feste Vorstellung, auf denen Werte sollten zugelassen und für ein bestimmtes Feld zu erwarten. In Datacleaner es war schon immer die Analyse-Option Wertverteilung, die Ihnen helfen Ihre Annahmen zu behaupten. In Datacleaner 3.1 wenn, haben Sie eine genauere Angebot - der Wert Matcher. Diese Analyse Option ermöglicht es Ihnen, eine Reihe von erwarteten Werten angeben und führen Sie dann einen Wert Distribution wie Analyse, insbesondere zu validieren und zu identifizieren, unerwartete Werte.
• Kopieren, Löschen und Verwaltung von Jobs:
• Verwaltung der Arbeitsplätze und die Ergebnisse in der Datacleaner-Monitor-Anwendung hat sich stark verbessert. Sie können nun auf einen Auftrag in der Planungsseite des Monitors, und finden Sie Management-Optionen für Operationen wie Umbenennen, Kopieren, Löschen und mehr zur Verfügung. Jede Operation im Einklang mit den Verbindungen zu anderen Artefakten im Monitor, wie die Analyse-Ergebnisse, Spielplan und weitere. Dies bedeutet, dass das Management der Überwachungs Repository hat sich viel einfacher und reifen.
• Datenqualität Geschichte verwalten:
• Manchmal muss man mit Blick auf Situationen, in denen Sie wirklich wollen, um die Überwachung mit historischen Daten erleben können! Es könnte sein, dass Sie historische Deponien oder Sicherungen von Datenbanken, die Sie zu zeigen und erzählen die Geschichte der Wunsch zu haben. Sie haben nun die Analyse der historischen Daten, laden Sie sie auf dem Datacleaner Monitor und mit einem neuen Web-Service, stellen Sie einen historischen Daten des jeweiligen Analyseergebnis. Dies bedeutet, dass Ihre Timelines richtig zeichnen die Ergebnisse mit den vorgesehenen Termin, aber mit den Ergebnissen, die Sie vielleicht zu einem späteren Zeitpunkt habe gesammelt.
• Clustered-Scheduler-Unterstützung (nur EE):
• Der Scheduler von Datacleaner Monitor wurde ausgelagert, so daß sie mit den Mitteln der einfachen Konfiguration ersetzt werden kann. In der Enterprise Edition (EE) von Datacleaner, bieten wir einen Clustered-Scheduler, bietet die Möglichkeit, das Gleichgewicht über einen Cluster von Maschinen zu laden und verteilen Sie Ihre Hinrichtungen.
• Single-Signon (SSO) mit CAS (EE only):
• In der Enterprise Edition (EE) von Datacleaner wir jetzt eine Single-Signon-Option für den Monitor Anwendung. Jetzt Datacleaner kann ein integrierter Bestandteil der IT-Infrastruktur, auch in puncto Sicherheit zu sein.
• ... Und noch viel mehr:
• Das oben genannte ist nur eine Zusammenfassung. Mehr als dreißig Fragen wurden in dieser Version behoben. Wir haben mehrere Anfragen aus den Foren und Community gelöst, und wir ermutigen jeden, um dieses Medium als Vehikel für den Wandel zu nutzen. Wir sind sehr glücklich, um die Entwicklung von Datacleaner stark von den Strömen in der Gemeinschaft beeinflußt werden.

Was ist neu in der Version 3.0.3:

• Fügt ein Dienst für das Umbenennen von Arbeitsplätzen in der Monitoring-Repository .
• Sie können dies als eine RESTful Web Service in der Benutzeroberfläche zugreifen oder interaktiv.
• Ein Web-Service wurde für die Änderung der historischen Datum eines Analyseergebnis bei der Überwachung Repository hinzugefügt.
• Die Web-Anwendung wurde mit Legacy JSF Behältern kompatibel gemacht worden.
• Caching der Konfiguration in der Web-Anwendung wurde stark verbessert, was zu einer schnelleren Seite zu laden und Job Initialisierungszeiten.

Was ist neu in der Version 3.0.2:

• Beim Auslösen einen Job in der Überwachung Web-Anwendung, das Panel automatisch aktualisiert jede Sekunde, um den neuesten Stand der Ausführung zu erhalten.
• Datei-basierten Datenspeichern (wie CSV oder Excel-Tabellen) mit absoluten Pfaden werden jetzt korrekt in die Überwachung Web-Anwendung gelöst werden.
• Die & quot; Wählen Sie Schlüssel / Wert-Karte & quot; Trafo unterstützt nun verschachtelten select Ausdrücke wie & quot; Address.Street & quot; oder & quot; Orderlines [0] .product.name & quot;.
• Der Tabellensuchmechanismus haben für die Leistung optimiert, mit Prepared Statements beim Laufen gegen JDBC-Datenbanken.
• Administratoren können jetzt Herunterladen der Datei-basierten Datenspeicher direkt aus dem & quot; Datenspeicher & quot; Seite.
• Ausnahmebehandlung bei der Überwachung Web-Anwendung wurde ein wenig verbessert, so dass die Fehlermeldungen genauer und intuitiver.