Création de tuiles à partir de la base de données OSM

• Processeur : Intel(R) Core(TM) i7-3630QM CPU @ 2.40GHz (8 cœurs)
• Mémoire : 16Go Ram
• OS : OpenSuse 42.1
• Postgresql : 9.4
• Postgis : 2.1

• '' cd /home/jpm/Stockage/osm/ ''
• '' mkdir src downloads tiles ''

• '' sudo zypper in postgresql94 postgresql94-postgis postgresql94-contrib ''
• '' systemctl start postgresql ''
• '' systemctl status postgresql ''
• '' su - postgres ''
• '' createuser osm ''
• '' createdb -E UTF8 -O osm osm ''
• '' createlang plpgsql osm ''
• '' psql osm ''
  • '' ALTER USER postgres PASSWORD '<password>'; ''
  • '' ALTER USER osm WITH PASSWORD '<password>'; ''
  • '' CREATE EXTENSION postgis; ''
  • '' CREATE EXTENSION hstore; ''
  • '' ALTER TABLE geometry_columns OWNER TO osm; ''
  • '' ALTER TABLE spatial_ref_sys OWNER TO osm; ''
  • '' \q ''
• En root :
  • '' vi /var/lib/pgsql/data/pg_hba.conf ''
  • Modifier la ligne local all all peer par local all all md5

• Info ligne de commande osm2pgsql : http://www.volkerschatz.com/net/osm/osm2pgsql-usage.html
• Ajouter le dépôt de paquets Geo d'OpenSuse
• '' zypper in make cmake gcc-c++ boost-devel libboost_system1_54_0 \

libboost_filesystem1_54_0 libexpat-devel zlib-devel \

libbz2-devel libpqxx-devel libproj-devel lua \
lua-devel geos-devel postgresql-devel ''
* '' cd /home/jpm/Stockage/osm/src ''
* '' git clone https://github.com/openstreetmap/osm2pgsql.git ''
* '' cd osm2pgsql ''
* '' mkdir build && cd build ''
* '' cmake .. ''
* '' make ''
* '' sudo make install ''

• '' cd /home/jpm/Stockage/osm/downloads ''
• '' wget http://download.geofabrik.de/europe/france/languedoc-roussillon-latest.osm.pbf ''
• '' wget http://download.geofabrik.de/europe/france/midi-pyrenees-latest.osm.pbf ''
• Télécharger le fichier de style pour osmfr-cartocss :
  • '' wget http://osm13.openstreetmap.fr/~cquest/default.style -O pg-osmfr-default.style ''
• Dans les lignes de commande ci-dessous utiliser l'un des 2 styles :
  • '' ../src/osm2pgsql/default.style '' : pour le projet openstreetmap-cartocss
  • '' ../downloads/pg-osmfr-default.style '' : pour le projet osmfr-cartocss
• L'ajout de données via osm2pgsql étant trop lent, on peut à la place fusionner les fichiers pbf et faire un import initial :
  • '' osmconvert languedoc-roussillon-latest.osm.pbf –out-o5m | osmconvert - midi-pyrenees-latest.osm.pbf -o=occitanie.pbf ''
• Importer les données initiales :
  • Si assez de mémoire : '' osm2pgsql –create –database osm –username osm –password –prefix osm -E 3857 –style ../src/osm2pgsql/default.style –hstore –unlogged occitanie.pbf ''
  • Si pas assez de mémoire vive utiliser le cache : '' osm2pgsql –create –database osm –username osm –password –prefix osm -E 3857 –slim –style ../src/osm2pgsql/default.style –hstore –number-processes 6 –cache 2048 occitanie.pbf ''
• Pour ajouter de nouvelles données, il faut obligatoirement utiliser la méthode “slim” :
  • '' osm2pgsql -l –append –database osm –username osm –password –prefix osm -E 3857 –slim –style ../src/osm2pgsql/default.style –hstore –number-processes 6 –cache 2048 midi-pyrenees-latest.osm.pbf ''

• '' psql osm ''
• Puis exécuter les requêtes suivantes :

CREATE INDEX osm_point_tags ON osm_point USING GIN(tags);
CREATE INDEX osm_line_tags ON osm_line USING GIN(tags);
CREATE INDEX osm_polygon_tags ON osm_polygon USING GIN(tags);

CREATE TABLE params ( num INTEGER, KEY text);
INSERT INTO params (num, KEY) VALUES (0, 'buffer');
INSERT INTO params (num, KEY) VALUES (0, 'x_bleed');
INSERT INTO params (num, KEY) VALUES (0, 'y_bleed');

Fonctionne ! Voir : https://medspx.fr/kb/GIS/generate_osm/

• '' sudo zypper in gdal mapnik phyton-shapely ''
• '' cd ~/src ''
• Styles pour le rendu Mapnik :
  • style officiel openstreetmap-carto (http://www.openstreetmap.org/) : '' git clone https://github.com/gravitystorm/openstreetmap-carto ''
  • style alternatif osm-fr (http://tile.openstreetmap.fr/) : '' git clone https://github.com/cquest/osmfr-cartocss.git ''
• '' cd openstreetmap-carto ''
  • '' wget http://svn.openstreetmap.org/applications/rendering/mapnik/generate_tiles_multiprocess.py ''
  • '' chmod -x generate_tiles_multiprocess.py ''
  • '' ./get-shapefiles.sh ''
  • Modification du fichier project.mml pour le style :
    • openstreetmap-carto :
      • '' sed -i '/“dbname”: “gis”/c \\t“dbname”: “osm”' project.mml ''
      • '' sed -i '/“dbname”: “osm”/ i \\t“user”: “osm”, \n\t“host”: “localhost”,' project.mml ''
    • osm-fr :
      • '' sed -i 's/“user”: “fr”/“user”: “osm”/g' project.mml ''
      • '' sed -i 's/“password”: “m4d31nfr4nc3”/“password”: “osm”/g' project.mml ''
      • '' sed -i 's/“srs-name”: “900913”/“srs-name”: “3857”/g' project.mml ''
      • '' sed -i 's/“srid”: “900913”/“srid”: “3857”/g' project.mml ''
      • '' sed -i 's/900913/3857/g' project.mml ''
      • '' sed -i 's/planet_osm_/osm_/g' project.mml ''
      • '' sed -i 's/\/data\/work\/mapnik\/data/data/g' project.mml ''
      • Layers osmfr, 2 solutions :
        • Supprimer l'objet faisant référence au layers/z7.tif dans project.mml ligne 77 à 95.
        • Télécharger le fichier correspondant :
          • '' mkdir layers ''
          • '' wget http://osm13.openstreetmap.fr/~cquest/z7.tif -O layers/z7.tif ''
• Installer carto, le parseur de CartoCSS :
  • Instaler nvm : '' wget -qO- https://raw.githubusercontent.com/creationix/nvm/v0.31.2/install.sh | bash ''
  • Utiliser node v4.4.x : '' nvm use 4.4 ''
  • Installer carto : '' npm install carto ''
• Transformer le format .mml en .xml pour Mapnik : '' ./node_modules/.bin/carto project.mml > mapnik.xml ''
• Installer les Polices :
  • '' sudo zypper in free-ttf-fonts gnu-unifont-bitmap-fonts gnu-free-fonts dejavu-fonts google-droid-fonts sil-padauk-fonts khmeros-fonts indic-fonts thai-fonts tibetan-machine-uni-fonts noto-sans-devanagari noto-sans-bengali noto-sans-tamil ''
  • S'il reste des polices non supportée, supprimer les lignes qui pausent problème dans le fichier mapnik.xml
• Aller sur http://www.openstreetmap.org/ :
  • Afficher dans le navigateur la zone correspondant à vos données (visible à l'écran) puis cliquer sur “Exporter”, les coordonnées max de la zone (bbox) vont alors s'afficher.
    • Pour plus de facilité, copier le lien Api Overpass, qui contient la bbox (-0.027,42.155,8.597,45.325) : http://overpass-api.de/api/map?bbox=-0.027,42.155,8.597,45.325
    • Extraire dans l'url le zoom minimum (8) : http://www.openstreetmap.org/export#map=8/43.761/4.285
  • Zoomer au maximum voulu puis extraire dans l'URL le zoom max (17) : http://www.openstreetmap.org/export#map=17/44.34644/3.95358
• Éditer le fichier generate_tiles_multiprocess.py : '' vi generate_tiles_multiprocess.py ''
  • Remplacer les dernières lignes par le contenu ci-dessous où l'on aura remplacer les valeurs mapfile, tile_dir, minZoom, maxZoom et bbox par celle relevées sur Openstreetmap.
  • Donner les droits d'exécution au script : '' chmod +x generate_tiles_multiprocess.py ''
• Lancer le script : '' ./generate_tiles_multiprocess.py& ''
  • Laisser tourner le script pour générer l'ensemble des tuiles. Cela peut prendre vraiment très longtemps, suivant l'étendue des de la zone à couvrir et le zoom maximum demandé.

** Dernière ligne du fichier generate_tiles_multiprocess.py : **

if __name__ == "__main__":
 
    home = os.environ['HOME']
    try:
        mapfile = os.environ['MAPNIK_MAP_FILE']
    except KeyError:
        mapfile = home + "/src/openstreetmap-carto/mapnik.xml"
    try:
        tile_dir = os.environ['MAPNIK_TILE_DIR']
    except KeyError:
        tile_dir = home + "/web/tiles/bitmap/mapnik/"
 
    if not tile_dir.endswith('/'):
        tile_dir = tile_dir + '/' 
 
    #-------------------------------------------------------------------------
    #   
    # Change the following for different bounding boxes and zoom levels
    minZoom = 8 
    maxZoom = 17
    bbox = (-0.027, 42.155, 8.597, 45.325)
    render_tiles(bbox, mapfile, tile_dir, minZoom, maxZoom)

• NodeJs module faisant le pont avec Gpsd : https://github.com/pdeschen/bancroft