Letztens stand ich vor dem Problem eine Punktwolke (DOM für das gesamte Berner Kantonsgebiet) nach ArcSDE zu importieren, ohne genau zu wissen, auf was ich mich da eingelassen hatte. Schon allein die Roh-Daten waren von beeindruckender Grösse. Sie lagen im XYZ-Format vor und nahmen unkomprimiert ca. 130GB Platz ein! Ich öffnete eines der kleinsten Files (30MB) und zählte die Records (Zeilen): 1.2 Millionen! Also ging ich mit einem einfachen Python-Skript durch alle Files durch und zählte alle Records. Das gab die atemberaubende Zahl von 4.3 Milliarden Punkten! Nun ist die OBJECTID in ArcSDE vom Typ Integer32 und damit auf 231-1 (2.1 Milliarden) beschränkt. Da musste ich mich auf die Suche nach anderen Lösungen machen.
ESRI empfiehlt in solchen Fällen die Verwendung von MultiPointZ-Features. Das reduziert die Anzahl Records dramatisch. Glücklicherweise ist im 3D Analyst auch gleich ein äusserst praktisches Tool namens “ASCII 3D to Feature Class” enthalten, mit dem sich ganze Rohdaten-Verzeichnisse auf einen Rutsch in MultipointZ-FeatureClasses umwandeln können. So werden 5000 Features in ein Multipoint-Feature zusammengefasst. Damit resultiert eine Recordzahl von noch ca. 1 Million. Das ist deutlich einfacher zu handeln als 4.3 Milliarden.
Im 3D Analyst gibt es ausserdem noch das Gegenstück namens “Feature Class Z to ASCII“, mit dem man die Features auch wieder rausschreiben kann. Mit diesen Tools werden auch solch gigantische Datenmengen handlebar…