Import record ?

L'équipe technique d'OpenStreetMap France vient peut être de battre un record de vitesse d'import des données OpenStreetMap en passant sous la barre des 7 heures (24604s pour être exact).

L'import de l'intégralité des données OpenStreetMap dans une base de données afin de générer ses propres rendus de cartes est un processus gourmand en calcul et relativement long.

Le volume de données est conséquent avec environ 2 milliards d'objets dans la base de données et un espace disque qui s'approche de 300Go.

Les serveurs sont donc très sollicités pendant cet import initial et surtout les accès disques. C'est là que les disques SSD apportent un gain important en performance et deviennent de plus en plus incontournables. Heureusement leur prix ne cesse de baisser pendant que leurs performances sont à la hausse.

Afin d'obtenir les meilleures performances, nous nous sommes tourné vers un SSD avec interface PCI express, un Revodrive 3 d'OCZ. Grâce à une récente mise à jour du kernel linux, ceux-ci sont désormais reconnus nativement à partir du kernel 3.2. Nous avons donc utilisé Ubuntu Server 12.04LTS pour réaliser cet import.

Le SSD de 480Go est vu par le kernel comme deux disques de 240Go et un RAID logiciel a été créé avec mdadm.

Le détail du log d'import est disponible sur le wiki OSM: http://wiki.openstreetmap.org/wiki/Osm2pgsql/benchmarks/Dell_R610_import...