SSIS-Components.net

Unser erstes Treffen in 2012 findet wieder bei Microsoft in Köln statt. Wir starten am Montag um 18:00 Uhr, die Vorträge gehen bis ca. 21:00 Uhr.

Weitere Informationen zu der Veranstaltung sind wie immer auch auf der Seite der Regionalgruppe Köln/Bonn/Düsseldorf zu finden.

Bitte meldet euch auch über die Seite bei uns zu dem Treffen an.

HP Enterprise Database Consolidation Appliance - Christoph Muthmann (SQL Server MVP)

Im Oktober haben Microsoft und HP auf dem PASS Summit eine neue Maschine vorgestellt, die sie gemeinsam für die Konsolidierung von Datenbanken in der "Private Cloud" konzipiert haben. Ein Konzept dazu war schon vorher öffentlich verfügbar, nun gibt es sie auch schlüsselfertig.
Der Vortrag gibt einen kurzen Einblick in diese Technologie und beleuchtet diese abschliessend im Hinblick auf die neue Lizenzpolitik für den SQL Server 2012.

Christoph Muthmann ist seit 20 Jahren mit dem Design und der Administration von Datenbanken beschäftigt. Seit 17 Jahren arbeitet er für den "Verband der Vereine Creditreform" in Neuss im Bereich der Betreuung und Weiterentwicklung der Datenbanken auf Oracle, iSeries und SQL Server. Sein Schwerpunkt ist die Weiterentwicklung und Administration der SQL Server mit über 400 Datenbanken, welche er seit ca. 12 Jahren, beginnend mit der Version 6.5 betreut. Seit 2008 ist er SQL Server MVP und berichtet über SQL Server und PASS in seinem Blog auf insidesql.org.

The Practitioner’s Guide to Data Profiling - Tillmann Eitelberg

In diesem Vortrag werden die Grundlagen und Methoden eines Data Profiling erklärt. Dabei wird gezeigt welche Möglichkeiten Microsoft seit der Version 2008 mit den SQL Server Integration Services bietet und welche Neuerungen in diesem Bereich mit den Data Quality Services kommen. Ein gutes Data Profiling gehört mit zu den wichtigsten Aufgaben für praktisch jedes datenbasiertes Programm oder Projekt, ob Datenqualitätsprüfungen und/oder -validierungen, Master Data  Management, ETL-Prozessen, Datenmigration oder der Modernisierung bestehender Applikationen. Am Ende des Vortrags wird kurz die aktuelle Beta Version der SSIS Komponente datenfabrik.profiler vorgestellt.

Tillmann Eitelberg ist Prokurist der datenfabrik GmbH & Co. KG, die sich auf Datenintegrations- und Datenqualitätslösungen mit dem Microsoft SQL Server spezialisiert hat. Er beschäftigt sich mit dem SQL Server seit der Version 2000 und seit über 8 Jahren mit dem Thema Datenintegration, zuerst mit den Data Transformation Services und nun mit den Integration Services. Sein Blog sowie einige Open Source Projekte sind unter www.ssis-components.net zu finden. Tillmann unterstützt den PASS Deutschland e.V. im Vorstand und als RGV für die Regionalgruppe Köln/Bonn/Düsseldorf.

Das Treffen findet wieder bei Microsoft in Köln statt.

Microsoft Deutschland GmbH
Geschäftsstelle Köln
Holzmarkt 2a
50676 Köln

Wie üblich bitten wir um vorherige Anmeldung, sämtliche Kontaktinformationen sind auf der Seite der Regionalgruppe zu finden.

Data Quality, Events PASS, Christoph Muthmann, Tillmann Eitelberg, data profiling

Nun hab ich endlich mal ein bisschen Zeit gefunden, um mich mit den Data Quality Services aus der aktuellen SQL Server “Denali” CTP3 zu beschäftigen und werde dazu (hoffentlich) in den nächsten Tagen weitere Beiträge veröffentlichen können. Der erste Teil enthält einen kleinen Überblick zu den DQS zusammen mit ein paar Tipps zur Installation.

DQS - von Microsoft als “knowledge-driven data cleansing solution” bezeichnet – ermöglicht die Bereinigung und Deduplizierung von Daten. Dafür kann entweder eine der mit ausgelieferten Knowledge Base verwendet oder ein eigene Knowledge Base angelegt werden. Eine entsprechende KB ist in anderen Projekten wiederverwendbar.

Mit der CTP3 wurden die DQS zum ersten mal öffentlich zur Verfügung gestellt. Ein Vorversion stand schon im Rahmen der CTP2 einem ausgewählten Benutzerkreis zur Verfügung.

Im SQL Server Team Blog findet sich der Artikel New and Exciting in SQL Server Code Name “Denali”: Knowledge Driven Data Quality Services (DQS) inkl. eines Videos von David Faibush (Senior Programm Manager des Data Quality Services Team), in dem er ein bisschen auf die Vorteile der Lösung eingeht.

Installation

Die Installation der DQS im Denali erfolgt über den Standard Installations-Wizard.
Nach der Installation muss derzeit jedoch noch ein zusätzliches Installation Script über die Anwendung “DQSInstaller.exe” ausgeführt werden, mit dem die entsprechende Datenbanken und Rollen angelegt werden. Die entsprechende Datei befindet sich im Verzeichnis C:\Program Files\Microsoft SQL Server\MSSQL11.MSSQLSERVER\MSSQL\Binn.

Eine genaue Installationsanleitung ist in der MSDN zu finden.

Aufpassen muss man jedoch ein bisschen bei der Installation des SQL Server. Aktuell lädt das Setup des SQL Server “Denali” während der Installation standardmäßig zwei Produkt-Updates herunter. Das entsprechende Update kann während der Ausführung des Installationsscriptes “DQSInstaller.exe” zu einem Fehler führen, so dass die Installation nicht erfolgreich beendet werden kann. Nach Möglichkeit sollte dieses Update/Hotfix also nicht mitinstalliert werden.

Ist das Update bereits installiert, muss über das Windows Update der HotFix 1515 für SQL Server deinstalliert werden, um eine erfolgreiche Installation zu gewährleisten. Dieses Problem und die dazugehörige Lösung ist recht gut im innerhalb des Microsoft Forums SQL Server "Denali" Data Quality Services (Pre-Release) erklärt.

Sind die DQS erfolgreich installiert worden, so kann man sich über einen der durch das SQL Server Setup installierten Clients (x86/x64) mit den DQS verbinden.

Spielt man mit den DQS Client ein bisschen herum, so kommt man bei der CTP3 unter umständen an einem Punkt folgende Fehlermeldung angezeigt, obwohl der DQS Client vorher Daten aus der Datenbank laden konnte:

Um dieses Fehler zu beheben, muss den beiden SQL Server Logins ##MS_dqs_db_owner_login## und ##MS_dqs_service_login## Zugriff auf die jeweiligen Schemata in der Datenbank gewährt werden, dies sind bei der AdventureWorks200R2 z.B. HumanResources, Person, Production, Purchasing und Sales.

Falls weitere Fehler beim Anmelden and die DQS auftreten, so kann dies auch mit einigen .NET Updates zusammenhängen. In diesem Fall sollte man dann noch einmal einen Blick auf die Microsoft SQL Server Code-Named "Denali" CTP3 Release Notes, speziell auf den Bereich 4.23 Some .NET Framework 4 Updates Might Cause DQS to Fail, werfen. Diese Fehler können auch später durch Updates nach einer bereits erfolgreichen Installation und einem ersten Testing auftreten

Weitere Ressourcen zum Thema DQS:

• Using Knowledge to Cleanse Data with Data Quality Services (WMV)
• Data Quality Services (DQS) Team Blog
• MSDN - Reference Data Services in DQS
• Overview of the DQS Cleansing Transform (Matt Masson)
• Data Quality Services "How Do I?" Videos

Data Quality, SQL Server Komponenten Denali, DQS, Data Quality

Im Rahmen des Data Quality Lifecycles den wir mit unseren “Data Quality Components for SQL Server Integration Services” unterstützen, adressieren wir mit dem datenfabrik.profiler die beiden Zyklen Profiling und Monitoring.

Welchen Funktionsumfang wir für den Zyklus Profiling bieten, habe ich zum Teil in dem Data Profiling – Teil 3 aufgezeigt. Den Monitoring Zyklus unterstützen wir mit einigen weiteren Funktionen.

Statistics Save Mode

Im Repository können die Daten des Profiling historisiert gespeichert werden, wodurch die Qualität der geladenen Daten durchgehend überprüft werden kann. Hierfür bietet der datenfabrik.profiler zwei unterschiedliche Speicher-Modi an. Die jeweils mit dem SSIS Paket geladenen und verarbeiteten Daten können bei jeder Ausfürhung vollständig gespeichert werden (Version Control) oder die Daten werden über den den Speicher-Modus “Update existing statistics” mit den jeweils neuen Ergebnisse aktualisiert. Dieser Speichermodus eignet sich insbesondere für inkrementelle Ladeprozesse, bei denen man nicht die einzelnen Ausführungen dediziert überwachen möchte, sondern eine Analyse über die gesamten Informationen zu dem jeweiligen Zeitpunkt eines Ladeprozess benötigt.

Sämtliche Ergebnisse werden im Repository gespeichert und können nachträglich immer wieder analysiert werden. Hierdurch können auch Trends innerhalb der Daten erfasst werden.

Ein dritter existierender Speichermodus “Overwrite existing statistics” speichert die Daten nicht historisiert, sondern jeweils nur die letzte Ausführung.

Alerts

Eine weitere Funktion die das Monitoring innerhalb des datenfabrik.profiler unterstützt, sind die sogenannten Alerts. Über diese Alerts können die Ergebnisse einzelner Regeln auf Spaltenebene überwacht werden. Wenn das Ergebnis im Rahmen eines Alerts über- oder unterschritten wird und nicht gleich dem voreingestellten Wert ist, so wird ein Alarm erzeugt. Die zu prüfenden Werte können dabei absolut oder prozentual sein.

Es werden derzeit insgesamt 3 Alert Types unterstützt (Management Log, Email und SSIS Compopnent) und drei verschiedene Satus (Information, Warning, Error).

Wird ein Staus an die SSIS Komponente weitergereicht, so erscheint das Ergebnis im Status Log innerhalb der Paketausführung, im Falle eines Errors wird das Paket dadurch auch abgebrochen. Mit Hilfe der Alerts können die zu ladenden Daten also sehr detailliert überwacht werden und im Zweifelsfall kann sogar der Import oder die Weiterverarbeitung der Daten gestoppt werden.

Data Quality, Kommerzielle Komponenten data profiling, Data Quality, datenfabrik, datenfabrik.profiler