Travaillez avec une grande base de données
Cet exemple examine une base de données à l'échelle du téraoctet et effectue quelques requêtes de base qu'il serait impossible d'effectuer en mémoire.
Open Street Map est un effort de collaboration pour générer une carte gratuite du monde. Le projet a été créé en 2004 et ses plus de deux millions d'utilisateurs ont généré plus d'un téraoctet de données. Il s'agit donc d'un excellent exemple de base de données pour mettre en valeur la science des données avec stockage sur une mémoire externe. Les consignes pour obtenir les données et configurer un serveur de base de données se trouvent ici.
Enregistrez la base de données pour l'utiliser avec des entités.
Il s'agit d'une très grande base de données. Son plus grand tableau "planet_osm_nodes" occupe presque 200 Go sur un disque dur. Voici le nombre de rangées qu'il contient.
Supposons que vous vouliez trouver toutes les rues qui contiennent "Wolf".
Malheureusement, ils contiennent pas mal de doublons, mais vous pouvez vérifier le nombre de noms distincts.
Un autre élément intéressant à consulter est le tableau "planet_osm_table" qui contient de nombreuses métadonnées sur divers objets. Par exemple, vous pouvez vérifier le nombre d'arbres qui ont été cartographiés.
Ou vérifiez les structures sportives les plus courantes.
Visualisez le résultat.
