Mit großen Datenbanken arbeiten
Dieses Beispiel befasst sich mit einer Datenbank im Terrabyte-Bereich und führt einige einfache Abfragen durch, die im Speicher nicht ausgeführt werden können.
Open Street Map ist ein Gemeinschaftsprojekt, um eine kostenlose Weltkarte zu erstellen. Seit dem Start des Projekt im Jahr 2004 haben über zwei Millionen User Daten in der Größenordnung von mehr als einem Terabyte generiert. Als solches ist es eine großartige Beispieldatenbank für die Präsentation von Out-of-Core-Datenwissenschaften. Eine Anleitung, wie man die Daten erhält und einen Datenbankserver einrichtet, finden Sie hier.
Registrieren Sie die Datenbank zur Verwendung mit Entitäten.
Es handelt sich um eine sehr große Datenbank: Ihre größte Tabelle "planet_osm_nodes" belegt beinahe 200 GB auf der Festplatte. Das ist die Anzahl der Zeilen der Tabelle:
Angenommen, Sie wollten alle Straßen finden, die "Wolf" enthalten.
Leider sind hier auch einige Duplikate enthalten, aber Sie können die Anzahl der einzelnen unterschiedlichen Namen überprüfen.
Interessant ist es auch, einen Blick auf die Tabelle "planet_osm_table" zu werfen, die viele Metadaten über unterschiedliche Objekte enthält. Zum Beispiel können Sie herausfinden, wieviele Bäume gemappt wurden.
Oder die häufigsten Sporteinrichtungen ermitteln.
Visualisieren Sie das Ergebnis.
