Beim zweiten Teil meiner kleinen Serie über Geodaten handelt es sich um eine Linkliste zu ein paar Tools und Programme, die bei der Be- und Verarbeitung von Geodaten hilfreich sind. Die vorgestellten Programme sind teilweise kostenlos, Open Source oder auch von kommerziellen Anbietern. Die vorgestellten Programme dienen in den meisten Fällen zur Visualisierung oder zum Import von Geodaten. In der Liste sind auch 6 Komponenten für die SQL Server Integration Services aufgeführt.

SSIS ShapeFileSource
Mein aktuellstes Projekt bei Codeplex. Eine SSIS Komponente um Shapefiles inkl. der dbase Daten mit Hilfe der Integration Services in den SQL Server zu importieren. Aktuell noch in der ersten alpha Version. Auf der Projektseite sind jedoch schon einige Bilder eines Imports der OpenStreetMap Daten von Köln zu sehen.

Shape2SQL
Ein etwas älteres Projekt von Morten Nielsen, aber das erste kostenlose Programm mit dem es überhaupt möglich war Shapefiles in den SQL Server zu importieren. Das Programm wird kostenlos, allerdings ohne Sourcecode, zur Verfügung gestellt.

datenfabrik.address
Eine kommerzielle SSIS Komponente meines Arbeitgebers. Die SSIS Komponente korrigiert Adressen mit Daten aus über 240 Ländern und Territorien und kann diese in der neusten Version zusätzlich mit Geodaten anreichern. Die Geodatenanreicherung steht derzeit für 24 Länder zur Verfügung.

ShapeViewer
Ein etwas älteres Programm von Mohamed Hammod zum Anzeigen von Shapefiles. Das Programm ist mit Visual Basic 6 entwickelt worden und steht inkl. der Sourcen zur Verfügung. Meiner Ansicht nach das schnellste Programm um sich “mal eben” Shapefiles anzeigen zu lassen.

SAFE Software
Die Firma SAFE Software ist ein kommerzieller Anbieter für Spatial ETL Tools und stellt eine sehr umfangreiche Palette an SSIS Komponenten zur Verfügung. In einem älteren Blog Eintrag habe ich schon einmal kurz über die Komponenten berichtet. Wer sich für die ETL Tools von SAFE Software interessiert, sollte auch einmal einen Blick auf den Blog-Eintrag von Douglas Laudenschlager werfen.

ESRI Shapefile Reader
Eine weiteres Projekt das bei Codeplex erschienen ist. Der ESRI Shapefile Reader ist ein .NET Komponente die es ermöglicht Shapefiles zu lesen.

MapWindow6
Die umfangreichste Open Source .NET GIS Anwendung die ich bisher kennengelernt habe. Seit März diesen Jahres wird das Projekt bei Codeplex gehostet.

MapPoint Batch Geocoder
Eine weitere SSIS Komponente um Adressdaten zu geocodieren. Hierbei wird der MapPoint Web Service (jetzt Bing) verwendet um die gegebenen Adressen mit Geodaten anzureichern.

SSIS ImageSource
Ein weiteres Codeplex Projekt von mir, welches aber seit längerem nicht mehr gepflegt wird. Die SSIS Komponente importiert Bilder aus einem beliebigem Verzeichnis und liest die vorhandenen EXIF Daten und GPS Daten aus.

MapViewer
Ein ASP.NET Control mit dem Geodaten aus dem SQL Server gelesen und als Karte auf einer Webseite angezeigt werden.

SpatialViewer
Und das vorerst letzte Codeplex Projekt auf dieser Liste. Mit dem SpatialViewer können Spatial Daten direkt aus dem SQL Server geladen und angezeigt werden.

Zu guter letzt möchte ich noch auf die Artikelserie Working with Spatial Data von Siddharth Mehta hinweisen. Siddarth beschreibt in den 3 Artikeln wie man Daten mit den SSIS importiert, im Management Studio damit arbeiten und sich später Ergebnisse über die Reporting Services ausgeben lassen kann.

Ich würde mich freuen wenn noch jemad gute .NET Programme für die Verarbeitung von Spatial Data mit dem SQL Server kennt und mir dazu Informationen zukommen lässt.

Nach einiger Entwicklungszeit haben steht unsere Version 2 von datenfabrik.address langsam als Beta Version zur Verfügung.

Bessere Performance

Als erstes konnten wir die Performance innerhalb unserer Komponente erheblich verbessern. Bei unserer bisherigen Version haben wir ca. 100.000 Datensätze innerhalb von 15 Minuten verarbeitet, für 700.000 Datensätze benötigten wir ca. 1 Stunde. Unsere aktuelle Version verarbeitet die 100.000 Datensätze in unter 3 Minuten, für die 70.000 Datensätze benötigen wir so anstatt einer Stunde nur noch knapp 20 Minuten.

Darüber hinaus sind wir mit unserer aktuellen Version auch endlich x64 kompatible und unterstützen sowohl den SQL Server 2005 wie auch den SQL Server 2008. Auch der SQL Server 2008 R2 wird in den nächsten Wochen folgen.

Geodaten

Ein weiterer Fortschritt unserer neuen Komponente, und für mich eigentlich auch der coolste, ist die Möglichkeit der Geodatenanreicherung. Bisher konnten wir mit unserer Komponenten über 240 Länder “nur” postalisch korrigieren. Die Daten für die einzelnen Länder liegen in unterschiedlichster Granularität vor, so dass wir für Deutschland z.B. vollständige Daten auf Hausnummern-Ebene anbieten können.

Mit der neuen Version können wir nun vollständig automatisiert Daten mit Geokoordinaten im WGS 84 Format anreichern. Mit der zeitgleichen Anschriftenkorrektur kann so eine um bis zu 20 Prozentpunkte höhere Kodiergenauigkeit erreicht werden als mit anderen Anwendungen. Die Genauigkeit geht dabei bis auf Gebäude-/Grundstücksniveau.

Beta Version

Da sich die Komponenten noch im Beta Status befindet, ist eine aktuelle Versionen derzeit nicht offiziell verfügbar. Wer dennoch Interesse an einer Teststellung hat, der möge mich bitte einfach kontaktieren.

Weitere Informationen wird es voraussichtlich auf der European PASS Conference geben.

Häufig habe ich schon Komponenten von CozyRoc vorgestellt, wie z.B. den Jabber Task oder den PGP Task. In den letzten Monaten ist die Produktpalette von CozyRoc um einige Produkt gewachsen, so dass die gesamte Library derzeit aus 32 Komponenten besteht.

Um einige der Komponenten der SSIS Community näher zu bringen, hat CozyRoc jetzt zusammen mit Jamie Thomson eine Reihe von Videos herausgebracht.

Hier ist eine (bei Jamie geklaute) Liste mit den einzelnen Videos direkt zu CozyRoc:

• Table Difference component
• Template Task
• Oracle Bulk Destination adapter
• SFTP Task
• Data Partitions Task
• EDI (Electronic Data Interchange) Source adapter
• Open PGP Task
• Script Component Plus
• Script Task Plus
• Data Flow Task Plus

Viel Spaß bei den einzelnen Videos.