Agrégateur de flux

Je profite d'avoir la chance de pouvoir ré-écrire Lolix from scratch pour penser aux fonctionnalités qu'il m'aurait plu d'avoir quand je cherchais un travail, sur ce point j'ai toujours été surpris de voir à quel point les entreprises font bien peu d'effort pour aider les candidats à trouver leur locaux. Peut-être que les recruteurs imaginent que tout le monde sait où se trouve leur bureau, ou parce qu'ils imaginent cela comme une première épreuve pour mesurer le niveau de débrouilliardise du candidat, en tout état de cause personnellement je trouve qu'indiquer la sation de bus/tram/métro/vélocation à proximité ne peut être qu'un plus sur une offre d'emploi.

Contrairement à 1998 on a la chance aujourd'hui de disposer d'outils magiques comme Leaflet et OpenStreetMap pour trouver cette information et la visualiser. Seulement dans un projet comme Lolix intégrer ce type de données me parait un peu hors de propos du projet, je souhaite juste pouvoir indiquer sur les offres (préalablement géolocalisées) les services de transports publics à proximité. C'est au bout de cette réflexion que m'est venue l'idée de disposer d'une API simple qui puisse renvoyer au format json les services à proximité d'un point, le tout étant alimenté par les données extraites de la base OpenStreetMap dans laquelle la majorité des informations qui m'intéresse à ce jour.

Ne trouvant pas mon bonheur dans les solutions existantes j'ai codé ces deux derniers jours un nouveau projet Django qui va répondre à mon besoin, rosarks !

Le principe de rosarks est très simple un appel avec un nom de service et une coordonnée renvoit un objet JSON de tous les services de ce type à proximité de ce point, par exemple si je cherche les stations de métros à proximité de 2.45,42.56 la requête sera de la forme :

GET /subway_station/2.45/42.56/

Ce type de recherche aurait pu se faire directement en interrogeant l'API OSM, mais rosarks va un peu plus loin en ré-agrégant des informations, dans le résultat de la requête ci-dessus j'ai non seulement le nom des stations mais aussi le numéro de la ligne de métro, chose qu'il aurait fallut faire en plusieurs requêtes vers l'API ou en requêtes complexes avec un temps de réponses plus ou moins long.

Pour le moment rosarks est alimenté avec les données de la France entière et est ouverte à qui le souhaite. Une dernière chose qui peut servir, le site de rosarks est : rosarks.eu

Le code de rosarks est publié en GNU Affero General Public License.

Je maintiens à jour une base de données pour Nominatim en utilisant les delta toutes les minutes, je me suis dit qu'il serait amusant de voir l'évolution des données au cours de la journée.

J'ai écrit un rapide parser xml afin de compter chaque ajout/modification/suppression pour les 3 objets de base que sont les nodes/ways/relations, poussé ces données dans une base sqlite pour l'historique, et dumpé les datas de la journée dans un json par objet. Avec pour la partie graphique la librairie Javascript Rickshaw et le tour est joué :

Le résultats est consultable en temps réel en ligne ici

Je vous demande d'être indulgent sur les points de détails, c'est un travail de quelques heures histoire de s'amuser un peu avec des données et non un projet totalement aboutit.

The geOrchestra community are pleased to announce the immediate release of version 14.01. Since the June 2013 release 151 evolutions took place, emphasising on stability, analysis, and data sharing.

This release was once again achieved by the community of users. They are spotted on the demo site, which opens on a global map of the geOrchestra community members. How about paying them a visit?!

Features

geOrchestra 14.01 includes the following new features amongst the 35 improvements and 116 issues addressed processed. As shown by Ohloh the project has seen a sustained activity since the last release.

Multilayer querying

A multilayer querying mode was added to the main toolbar. This mode enables map querying and returns the outcomes as a table for each layer displayed. Simple and multicriteria queries remain available through the layers' dedicated menus.

Extractor addon

Makes direct download of all the data currently displayed possible without moving to the extractor's user interface. The user state their coordinate system, output format, raster resolution where applicable, email address to send the data to, and geographical extent. Separate download for each dataset remains an option with the layer's "action" menu. As a reminder the extractor module is designed to organise and download the data from the geOrchestra SDI or third party services on-demand.

This functionality is an optional addon users need to activate in their profile prior to using it.

Persistence of OGC documents

Users' compositions: Web Map Context (map composition) and Styled Layer Descriptor (data symbolisation) are stored in a database. Each document has its unique URL, visit counter, and reference to its creator.

Menu "Share"

A new "Share this map" action illustrates the pertinence of OGC documents' persistence:

A map may be

• kept as a permalink
• modified by a third party as to compose a new map with a bespoke SLD analysis
• sent to alternative viewers
• sent to third party applications or shared on social networks the admins select in the viewer's settings.

Thus from a single map one can design as many consumption modes as they wish: from a basic viewer to the specialist's application.

Lightweight viewer

A lightweight viewer powered by Openlayers3 and jQuery mobile was tuned for the occasion. It interacts with the "Share map" action to forward a map context on a mobile phone or tablet PC. The lightweight viewer queries the capabilities to join a map its legend, titles and data description, product credits, and keeps a link to metadata. One can still switch back to geOrchestra's default viewer for a change in map composition and thematic data analysis. The lightweight viewer is available in English, French, Spanish, and Russian.

• source code and instructions
• demo

Data editor

GeoServer is one of the few OGC service providers offering a fairly complete data service (WFS 2.0). Every vector data delivered by GeoServer is remotely editable to whom is granted permission. This capability was previously exploited through QGIS or a dedicated geOrchestra application.The use of two applications to view and edit data made the editing process complicated.

The viewer in geOrchestra now includes distant editing for all vector data. Whence a piece of data is toggled to editing objects are selected on-the-fly. One click makes the editing form active. Geometry and attributes may then be modified. Each modification is immediately propagated onto the map with its current style.

Layer order

The viewer accounts for opacity as stated by WMS services. Layers deemed 'opaque' (i.e. covering) are placed in the background with a progressive zoom adapted to basemaps. Attributary data are displayed foreground without a zoom effect.

OpenLS location

In addition to GeoNames location (via geonames.org which now requires a registration) and Referential (on existing WFS layers) previously available a new addon now provides search through the OpenLS service (for compatibility with other SDIs as France's IGN GeoPortail). We are now looking for freely available worldwide OpenLS services to power the default geOrchestra configuration.

Managing permissions

GeoFence is an advanced permission manager for GeoServer. GeoFences makes the fine-tuning of data access and permission possible by setting layer-specific geographical and attributal criteria as well as by user or group.

Security

ArcGIS clients are detected and are attributed a specific authentication filter to grant access to protected data

The embedded GeoWebCache tile engine does security checks on the underlying GeoServer WMS providers. WMS-C, TMS and WMTS layers are now protected though GeoServer or GeoFence permissions.

Notice to admins

Prior to upgrading, please read release notes. Please note the geOrchestra databases were reorganised: every module now store their data in a single PostgreSQL base segmented into schemas. However the admins keep the option to spread the data over several bases.

On the community's side SDIs in action

We are delighted to introduce you the SDIs which went online since last release:

• http://www.geopicardie.fr/, the spatial data infrastructure for Picardie, France
• http://www.cigalsace.org/, the spatial data infrastructure for Alsace, France
• http://www.craig.fr/, The spatial data infrastructure for Auvergne, France
• http://www.amupnor.com/ide, AMUPNOR IDE, Matagalpa, Nicaragua. A geOrchestra representative had a chance to visit them!

geOcom 2014

Following the success of the 2013 edition, we hope to share with you all these novelties and together discuss the forthcoming ones at geOcom 2014, which is expected to be organised in May or June.

Special notice

Finally we would like to thank team géoSAS from INRA+agrocampus Ouest for their enduring participation in the geOrchestra community. This research team was awarded in October 2013, the second prize of visualisation in geomatics at the International Festival of Geography, Saint-Dié-des-Vosges, France, for addon Watershed (a dynamic catchment delineation using OGC Web Processing Service) powered by geOrchestra.

example: 109 watersheds processed from an outlet layer

The addon and its service are in production, SDI GéoBretagne uses it on a daily basis (viewer > tools> manage tools). This contribution from the GéoSAS team completely relies on the philosophy an architecture choices which keep the community moving forward and make geOrchestra a free, open, interoperable, and cutting-edge SDI.

La communauté geOrchestra est heureuse de vous annoncer la sortie immédiate de la version 14.01. Depuis la version de juin 2013, 151 évolutions mettent l'accent sur la stabilité, l'analyse et le partage des données.

Cette nouvelle version est encore une fois le fruit de la communauté des utilisateurs. Le site de démonstration s'ouvre sur une carte des acteurs de la communauté geOrchestra. Rendez-leur visite !

Nouveautés

geOrchestra 14.01 comprend les nouveautés suivantes parmi les 35 améliorations et 116 corrections traitées. L'activité a été soutenue depuis la dernière version, comme en témoigne la revue du projet par Ohloh.

Interrogation multi-couches

Le mode d'interrogation multi-couches a été ajouté à la barre d'outils principale. Ce mode interroge la carte en un point et retourne les résultats pour toutes les données affichées sous la forme de plusieurs tableaux. L'interrogation ponctuelle ou multicritère de chaque donnée reste possible via le menu propre à chaque couche.

Addon extracteur

Il permet le téléchargement direct de toutes les données visibles sur la carte, sans passer par l’interface de l’extracteur. L'utilisateur précise le système de projection, le format de sortie, la résolution pour les rasters, son adresse mail pour recevoir le résultat, et enfin l'emprise de découpage. L'extraction séparée de chaque donnée reste possible via le menu "action" de chaque couche. Pour rappel, le module extracteur a pour mission de programmer le téléchargement à la demande de données provenant de la plateforme geOrchestra ou de services tiers.

Cette fonction est un "addon" optionnel que chaque utilisateur doit activer dans son profil avant de l'utiliser.

Persistance des documents OGC

Les compositions utilisateur : Web Map Context (compositions de carte) et Styled Layer Descriptor (symbolisation des données) sont conservées en base de données. Chaque document possède une adresse unique, un compteur de visites et une référence à l'utilisateur qui l'a créé.

Menu partager

La nouvelle action "partagez cette carte" illustre l'intérêt de la persistance des documents OGC :

• une carte peut être conservée par un : lien permanent
• elle peut être modifiée par un tiers de façon à constituer une nouvelle carte avec analyse SLD personnalisée
• elle peut être envoyée à d'autres visualiseurs
• elle peut être envoyée à des applications tierces ou partagée sur des réseaux sociaux que l'administrateur déclare dans la configuration du visualiseur

Pour une même carte initiale, on peut donc créer autant de modes de consommation que souhaité : du visualiseur rudimentaire à l'application métier.

Visualiseur léger

Un visualiseur léger propulsé par OpenLayers3 et jQuery mobile a été adapté pour l'occasion. Il interagit avec l’action “partager cette carte” pour transmettre le contexte de carte sur un téléphone ou une tablette. Le visualiseur léger interroge les capacités pour accompagner la carte de sa légende, des titres et description de données, les crédits producteur, et il conserve le lien vers les métadonnées. Le retour vers le visualiseur geOrchestra est toujours possible pour modifier la composition de la carte et l’analyse thématique des données. Le visualiseur léger sviewer est disponible en anglais, français, espagnol et russe.

• code source et instructions
• démonstration

Editeur de données

GeoServer est l’un des rares fournisseurs de services OGC à proposer un service de données très complet (WFS 2.0). Toute donnée vecteur délivrée par GeoServer est éditable à distance pour qui en a la permission. Cette capacité était exploitée via QGIS ou par une application geOrchestra dédiée. L'usage de deux applications pour voir et éditer les données complique le processus de modification.

Le visualiseur geOrchestra intègre dorénavant l’édition distante de toutes les données vecteur. Lorsqu’une donnée est basculée en mode édition, les objets sont sélectionnés au survol. Un clic active le formulaire de modification. Géométrie et attributs peuvent être modifiés. Chaque modification a un effet immédiat sur la carte avec la symbolisation courante de la donnée.

Ordre des couches

Le visualiseur prend en compte l’opacité signalée par les services WMS. Les couches signalées 'opaque' (c'est à dire couvrantes) sont placées en dessous avec un effet de zoom progressif adapté aux fonds de plan. Les données attributaires sont placées au dessus sans effet de zoom.

Localisation OpenLS

En sus de la localisation GeoNames (via geonames.org qui nécessite maintenant une inscription) et Référentiel (sur couches WFS existantes) déjà présents, un nouvel addon fournit la recherche par service OpenLS compatible GeoPortail IGN. Nous recherchons des services OpenLS mondiaux pour équiper la configuration geOrchestra par défaut.

gestion des droits

GeoFence est un gestionnaire avancé d’autorisations pour GeoServer. Il permet de gérer très finement les droits d'accès aux données : par critères géographiques et attributaires spécifiques pour chaque couche, ou pour chaque utilisateur ou groupe d’utilisateurs.

sécurité

Les clients ArcGIS sont détectés et un filtre d’authentification spécifique leur est attribué pour permettre l’accès aux données protégées.

Le tuileur intégré à GeoServer hérite des permissions GeoServer ou GeoFence. Les couches servies par WMS-C, WMTS et TMS sont donc automatiquement sécurisées via les permissions placées sur les couches source.

pour les administrateurs

Avant de migrer, lisez les notes de version. Notez que les bases geOrchestra ont été réorganisées : tous les modules stockent désormais leurs données dans une unique base PostgreSQL, segmentée par des schémas. L’'administrateur conserve la capacité de répartir les données sur plusieurs bases.

Du côté de la communauté plateformes en action

Depuis la dernière release, nous sommes heureux de vous présenter :

• http://www.geopicardie.fr/, l’infrastructure de données spatiales régionale de Picardie, France
• http://www.cigalsace.org/, l’infrastructure de données spatiales régionale d’Alsace, France
• http://www.craig.fr/, l’infrastructure de données spatiales régionale d’Auvergne, France
• http://www.amupnor.com/ide, AMUPNOR IDE, Matagalpa, Nicaragua. Une représentante de geOrchestra a eu la chance de leur rendre visite !

geocom 2014

Après le succès de l'édition 2013, nous espérons vous présenter toutes ces nouveautés, et discuter ensemble de celles à venir, lors du geOcom 2014 qui devrait avoir lieu vers mai / juin.

mention spéciale

Pour finir, nous souhaitons remercier l'équipe géoSAS de l’INRA+Agrocampus Ouest pour sa constante participation à la communauté geOrchestra. Cette équipe de recherche a obtenu en octobre 2013 le second prix de visualisation en géomatique du Festival International de la Géographie de Saint-Dié-des-Vosges pour l'addon Bassin Versant (calcul dynamique de contours de bassin versant par OGC Web Processing Service) développé avec geOrchestra.

exemple : calcul de 109 bassins versants issus d'une couche de points exutoires

L’addon et son service sont en production, l’IDS GéoBretagne l’utilise quotidiennement (visualiseur > outils> gérer les outils). Cette contribution de l'équipe GéoSAS repose entièrement sur la philosophie et les choix d’architecture qui animent la communauté et font de geOrchestra une IDS libre, ouverte, interopérable et innovante.

Actuellement la seule solution documentée pour utiliser GraphHopper est l'utilisation de jetty runner, celle-ci n'est pas satisfaisante dans un mode de production, elle requiert de mettre en place des scripts de lancement. Il est plus simple d'administrer un service de routing en utilisant par exemple jetty ou Tomcat, ce billet va se concentrer sur la configuration de jetty sous Debian Jessie.

Tout d'abord installer le serveur jetty

apt-get install jetty8

Puis on récupère l'archive .war que l'on copie dans le répertoire de webapp de jetty

cd /var/lib/jetty8/webapps wget http://oss.sonatype.org/content/groups/public/com/graphhopper/graphhopper-web/0.2/graphhopper-web-0.2.war

Toujours dans le répertoire webapps on va renommer le fichier war de GraphHopper afin que le déploiement se fasse dans le contexte racine, de même que l'on va supprimer le répertoire existant nommé root. La raison de cette opération peu orthodoxe est que par défaut GraphHopper répond aux requêtes d'api sur l'url /api/ et qu'il n'est pas actuellement possible de paramétrer cela simplement. La seule méthode de contournement est d'indiquer un paramètre host dans l'url ce qui n'est pas des plus ergonomique.

mv graphhopper-web-0.2.war ROOT.war rm -fr root/

On va déployer les fichiers de configuration et de données dans /home/routing, il faut créer ce répertoire, dans lequel on en crée de suite un autre nommé data qui contiendra les données précompilées par GraphHopper

mkdir /home/routing mkdir /home/routing/data/

On crée un fichier de configuration dans le dossier en utilisant l'exemple fournit sur le site du projet, fichier que l'on renomme dans la foulée.

wget https://raw.github.com/graphhopper/graphhopper/master/config-example.properties mv config-example.properties config.properties

Maintenant on va récupérer le fichier qui servira de source de données, on télécharge directement un fichier protobuff depuis le site de Geofabrik, par exemple le fichier de données de la région Nord-Pas de Calais :

wget http://download.geofabrik.de/europe/france/nord-pas-de-calais-latest.osm.pbf

On édite le fichier de configuration pour qu'il corresponde à notre utilisation en ajoutant deux paramètres à la fin de celui-ci. Le premier qui correspond au fichier protobuff utilisé et le second qui indique où GraphHopper doit créer ses fichiers de données.

# data source osmreader.osm=/home/routing/nord-pas-de-calais-latest.osm.pbf # repertoire de données graph.location=/home/routing/data/

Au lancement de jetty GraphHopper va pré-traiter les données du fichier .pbf afin de préparer ses tables de recherches qu'il stockera dans le répertoire /home/routing/data/ Si vous voulez mettre les données à jour il suffit télécharger un nouveau fichier de données et de relancer jetty, le fichier de données étant plus récent GrapHopper relancera une analyse.

Le serveur jetty tournant sous Debian avec l'utilisateur jetty il faut définir les bons attibuts de propriété aux répertoires ainsi qu'à tous les fichiers présents dans celui-ci.

chown -R jetty.jetty /home/routing

Dernière modification, éditer le fichier /etc/default/jetty8 pour paramétrer le démarrage automatique et indiquer le fichier de configuration de GraphHopper

# change to 0 to allow Jetty to start NO_START=0 # Additional arguments to pass to Jetty JETTY_ARGS=-Dgraphhopper.config=/home/routing/config.properties

Par défaut comme souvent sur Debian le démon va écouter seulement sur le localhost, à vous de régler le paramètre JETTY_HOST suivant vos besoins.

Il ne reste plus qu'à lancer jetty avec le script d'init avec l'utilisateur privilégié root

invoke-rc.d jetty8 restart

A ce stade GraphHopper est prêt à répondre sur le port 8989 de votre machine et à vous indiquer la route !

GraphHopper est outil de routage comme OSRM qui a été traité dans un précédent billet.

La sortie hier la version 0.2 est l'occasion de tester ce nouvel outil, dont le développement a été commencé il y a un peu plus d'un an, et de le comparer à OSRM.

L'environnement de test est comme à mon habitude une distribution Debian, afin de minimiser le travail de déploiement on va se reposer au maximum sur les paquets. Graphhopper requiert une version 7 ou 8 de JRE, ce qui va nous obliger à utiliser la version testing aka Jessie, il faut tout d'abord installer le paquet default-jre.

apt-get install default-jre

La suite de la procédure décrite dans le Quickstart est claire et permet le lancement de GraphHopper après quelques récupérations de fichier en ligne dont jetty runner et le war de GraphHopper. La méthode de déploiement avec jetty runner est peu propice à une mise en production bien que fonctionnelle, j'ai bien essayé de déployer le .war avec Jetty ou Tomcat7 mais en vain, n'étant pas un expert java cela semble normal ; il sera sage d'attendre un peu de packaging autour de l'outil avant d'en envisager une exploitation sereine.

Le résultat obtenu diffère de OSRM qui ne fournit qu'une API quand GraphHopper propose une solution tout en un, on obtient directement une interface web interrogeable sur le port configuré (ici 8989), il est également possible d'interroger directement l'API sur l'url /api/route, pour un aperçu le résultat est identique à la démo en ligne. Basé sur Leaflet la fond de carte est agréablement complété d'un cadre matérialisant la bounding-box des données traitées.

Autre différence notoire est le temps de préparation des données, bien que l'on travaille directement avec des fichiers .pbf dans les deux cas sans passer par une base de données, GraphHopper comme osrm nécessite de construire les arbres de données. GraphHopper fait ceci directement lors du lancement quand osrm nécessite de passer par les étapes osrm-extract et osrm-prepare.

La différence majeure va venir du temps de précompilation, sur une machine avec 6 core, 12Gb de RAM et des disques SSD j'ai obtenu les résultats suivants. J'ai utilisé une première fois le fichier de la ville de Berlin et en second celui de la France, tous deux obtenus sur Geofabrik.

BerlinFrance GraphHopper17 sec 32min osrm37sec71min

Le résultat est assez net, le temps de précompilation des données est deux fois inférieur avec GraphHopper ce qui lui donne un avantage considérable pour qui voudrait mettre à jour ses données régulièrement sur une emprise de taille conséquente.

La prochaine étape sera de mesurer les temps de réponses des deux API, ce que je vais m'employer à faire rapidement avec Tsung, je publierai les résultats ici.

Suite à l'accident de Fukushima, je m'intéresse un peu plus aux centrales nucléaires et à leurs risques. J'avais vu une carte de zones d'exclusions de 100 et 150 km autour des centrales japonaises. J'ai refait cette carte pour les centrales nucléaires françaises avec des zones d'exclusion de 30, 100 et 150 km.

30 km est la zone d'exclusion autour de Tchernobyl. Pour Fukushima, on a des poches de radioactivité importante au moins dans un rayon de 100 km.

Peu de villes moyennes sont à plus de 150 km d'une centrale. En Bretagne, Rennes et Brest le sont mais à Brest il y a les bombinettes nucléaires de nos sous-marins tactiques, donc je ne suis pas sûr que ce soir beaucoup mieux. :-]

Merci à OpenStreetMap pour le fond cartographique et Leaflet pour la carte glissante. ;-)

Le comité de pilotage geOrchestra est heureux de vous annoncer la sortie de geOrchestra 13.09. Cette sixième version millésimée apporte de nombreuses nouveautés, améliorations et corrections. La version 13.09 geOrchestra est en démonstration sur http://sdi.georchestra.org/.

The Project Steering Committee of geOrchestra is proud to announce the release of geOrchestra 13.09. In this sixth release you will find a number of new features, improvements and corrections. geOrchestra 13.09 is available at http://sdi.georchestra.org/.

El comite director de geOrchestra tiene el agrado de anunciar la salida de geOrchestra 13.09. Esta sexta versión brinda numerosas novedades y correcciones. La versión 13.09 geOrchestra esta en demostración sobre http://sdi.georchestra.org/.

Spanish & English translations in this same post

Cette version majeure a été supportée par les projets GeoPicardie, PIGMA, CIGALsace, GeoBretagne et CRAIG. Merci également à tous les contributeurs, testeurs, traducteurs de la communauté geOrchestra. A noter que la communauté ne travaille pas que sur le noyau logiciel : propositions d'addons, entraide sur les listes, événement GeoCom et enseignement font partie du paysage.

geOrchestra maintient sont objectif de suivre de près les versions stables de GeoServer, GeoNetwork, OpenLayers. Ces projets connaissent un coup d'accélération remarquable, rendant la tâche hardue, mais cela ouvre des horizons intéressants : W3DS, CSS styling, WPS ...

Côté utilisateur

Les utilisateurs qui aiment dessiner sur leurs cartes apprécieront le nouveau module d'annotation : il permet de tracer des formes géométriques, de placer des étiquettes, et d'en modifier le style. Pour finir, ces informations peuvent être exportées en KML.

Avec cette nouvelle version, les utilisateurs pourront également superposer directement des fichiers Shapefile, MIF/MID, GML ou KML, voire TAB et GPX, chargés depuis leur navigateur.

Le module d'impression sait consommer l'ensemble de ces couches et produit désormais un fichier PDF plus conforme à ce qui est visible à l'écran.

Pour apprivoiser les catalogues volumineux, l'explorateur de données du visualiseur est équipée d'un petit analyseur de syntaxe : @producteur va rechercher les données chez un producteur, #motclef sélectionne les données liées à un mot-clef, -exclure filtre les fiches comprenant le mot "exclure"... Cette syntaxe est facile à apprivoiser et la pertinence des résultats s'en trouve grandement améliorée.

Pour faciliter l'échange de cartes, les fichiers de contextes (Web Map Contexts ou OWS Context) peuvent être lus même s'ils ont été sauvegardés dans une projection différente, et la durée de validité des permaliens est affichée.

Les remarques de la communauté ont permis d'améliorer l'ergonomie. Exemple : le bouton "appliquer" sur l'éditeur de styles (SLD) en fait un vrai outil interactif : on peut tester visuellement le résultat sans quitter l'interface de contrôle.

Côté administrateur

Le nouveau module ldapadmin permet, côté frontend, l'auto-enregistrement des utilisateurs (éventuellement avec modération) et la récupération de mot de passe. Côté backend, le module offre une interface complète de gestion des utilisateurs et des groupes dans le navigateur. Un profil d'administrateur de structure déconcentre l'inscription des utilisateurs pour une structure donnée, et donc la délivrance des droits sur les outils et les données.

GeoNetwork a reçu beaucoup de correctifs pour stabiliser l'importante évolution de la version précédente.

Côté normes et interopérabilité

Tant côté client que serveur, WMS 1.3.0, WFS 2.0 et CSW 2.0.2 deviennent la norme, avec toujours la possibilité d'exploiter WMS 1.1.1 et WFS 1.0 pour les services qui ne sont pas compatibles avec des versions plus élevées.

Le standard WMTS a fait son apparition dans le visualiseur et le module d'impression, ce qui offre notamment la possibilité d'accélérer le rendu des cartes, mais également d'accéder aux couches du GeoPortail IGN.

L'extraction de données permet désormais la récupération des métadonnées liées dans l'archive à télécharger. De plus les extractions vers KML, TIF+TFW/TAB ont été ajoutées. L'authentification depuis les clients lourds a été améliorée.

Côté réutilisation

L'effort de traduction se poursuit : tous les développements autour de geOrchestra doivent permettre l'internationalisation. Des non-développeurs ont apporté leur contribution (cf traduction en Russe du visualiseur), qu'ils en soient ici remerciés !

Enfin, des variables globales supplémentaires, telles que le nom de plateforme ou le mail de l'administrateur, permettent de centraliser davantage la configuration tout en conservant des modules séparés.

Consultez les notes de version pour avoir connaissance de l'ensemble des évolutions et les instructions de mise à jour.

Côté communauté

Comme toujours, le code source est en accès libre ainsi que le bugtracker et toutes les branches des contributeurs. Le code hors dépendances externes est analysé périodiquement par Ohloh . La communauté est en bonne santé !

=======================================================================

geOrchestra in english

This major release was made thanks to the support of the following projects : GeoPicardie, PIGMA, CIGALsace, GeoBretagne and CRAIG. Thanks go as well to all the contributors, testers, translators of the geOrchestra community. Indeed it is worth noting our community is not only working on the core software components but also by proposing addons, offering help and support on our mailing lists, organising geOrchestra-oriented events (as GeoCom) and trainings.

geOrchestra hold their commitment to sticking to GeoServer, Geonetwork, Openlayers, stable releases. These projects are progressing at an accelerated pace, making our task uneasy, but we are stimulated by the interesting perspectives emerging: W3DS, CSS styling, WPS ...

On the user's side

Those who like to draw sketches on maps will enjoy the new annotation module: one can draw geometries, place labels and tune their styling. This information can then be exported in KML. In geOrchestra 13.09 users will also have the ability to display their own files (Shapefile, MIF/MID, GML, KML, even TAB and GPX) in their own browser. The printing module can now deal with all the layers and create a PDF file which is more faithful to what the browser diplays.

Designed to tame the bulkiest catalogs, the viewer's data explorer was fitted with a simple syntax analyser: @producer fetches a producer's data, #keyword gets those data linked to a keyword, -exclude filters out files containing the word "exclude", etc. We believe this syntax is easy to be accustomed with, and the pertinence of search results gets greatly improved.

As an improvement to map interchange, context files (Web Map Context and OWS Context) can now be used even if saved in a different projection, and the validity of permalinks is now displayed.

Feedbacks from the community helped us improve ergonomy. E.g.: the new "apply" button on the style editor (SLD) makes it truly interactive as one can now visually test the result without closing the control window.

On the administration's side

A new ldapadmin module makes it possible for users on the front end to self register (with or without a moderation) and retrieve passwords. On the back end the module now offers a complete user- and group-management interface from the browser. A structure manager profile severs the link between user registration and structure, hence allowing a flexible attribution of permissions on tools and data.

Geonetwork underwent lots of updates to stabilise the significant evolution from the previous version.

On the standard and interoperability side

Both on the client and server side WMS 1.3.0, WFS 2.0 and CSW 2.0.2 are now the norm, still with the possibility of exploiting WMS 1.1.1 and WFS 1.0 for those services which don't support more recent versions. The WMTS standard makes its way to the viewer and the printing module, speeding up map rendering, but also access IGN's GeoPortal layers. Data extraction now comes with the associated metadata in the downloadable archive. Moreover extraction options to KML, TIF+TFW/TAB formats were added. Authentication from heavy clients was also improved.

On reusablity

The translation effort is going on: all the geOrchestra-related developments must allow internationalisation. Non-developers have brought their stone (e.g. the new Russian version for the viewer), let them be thanked for their contribution!

At last, additionnal global variables as a platform name or admin mail allow a more centralised configuration, as well as keeping separate modules.

For more on evolutions and update instructions, please refer to the version notes.

On the community side

As usual the sources are on free access with the bugtracker and all contributors' branches. The code (save external dependencies) is periodically analysed by Ohloh. The geOrchestra community is well and thriving!

=======================================================================

geOrchestra al español

Esta versión mayor fue sostenida por los proyectos GeoPicardie, PIGMA, CIGALsace, GeoBretagne y CRAIG. Gracias igualmente a todos l@s contribuidores, probadores y traductores de la comunidad geOrchestra. Se debe notar que la comunidad no solo trabaja sobre el núcleo de software: propuestas de addons, ayuda sobre las listas, evento GeoCom y enseñanza forman parte del paisaje.

geOrchestra mantiene su objetivo de seguir de cerca las versiones estables de GeoServer, GeoNetwork, OpenLayers. Estos proyectos conocen una acceleración destacable, aumentando el desafio, pero abriendo horizontes interesantes: W3DS, CSS styling, WPS...

Lado usuario

Los usuarios que gustan dibujar sobre sus mapas disfrutarán el nuevo módulo de anotación: permite trazar formas geometricas, añadir etiquetas y modificar el estilo. Cabe resaltar que estas informaciones pueden ser exportadas en KML.

Con esta nueva versión, los usuarios podrán también superponer directamente archivos Shapefile, MIF/MID, GML o KML, y hasta TAB y GPX, cargados desde su navegador.

El módulo de impresión sabe consumir todos los tipos de capas y produce ahora un archivo PDF más conforme a lo que se ve en la pantalla.

Para familiarizarse con los catálogos voluminosos, el explorador de datos del visualizador esta dotado de un pequeño analizador de sintaxis: @productor busca los datos de este productor, #palabraclave selecciona los datos ligados a esta palabra-clave, -excluir filtra las fichas que contienen la palabra "excluir"... Esta sintaxis es fácil de aprender y la pertinencia de los resultados se encuentra altamente mejorada.

Para facilitar el intercambio de mapas, los archivos de contextos (Web Map Contexts y OWS Context) pueden ser leidos aún si han sido guardados en una proyección diferente, y la duración de validez de los permalinks esta escrita.

Las observaciones de la comunidad han permitido mejorar la ergonomía. Por ejemplo, el botón "aplicar" sobre el editor de estilos (SLD) lo vuelve en una verdadera herramienta interactiva: podemos probar visualmente el resultado sin salir de la interfaz de control.

Lado administrador

El nuevo módulo ldapadmin permite, del lado frontend, el auto-registro de usuarios (eventualmente con moderación) y la recuperación de la clave. Del lado backend, el módulo ofrece una interfaz completa de gestión de usuarios y de grupos en el navegador. Un nuevo perfil de administrador de organización delega la inscripción de usuarios en una estructura, y entonces la otorgación de derechos sobre las herramientas y los datos.

GeoNetwork recibió numerosos correctivos para estabilizar la importante evolución de la versión anterior.

Lado de estándares e interoperabilidad

Que sea del lado cliente o del lado servidor, WMS 1.3.0, WFS 2.0 y CSW 2.0.2 llegan a ser las versiones por omisión, y queda la posibilidad de explotar WMS 1.1.1 t WFS 1.0 para los servicios que no son compatibles con versiones más elevadas.

El estándar WMTS hace su aparición en el visualizador y el módulo de impresión, lo que ofrece en particular la posibilidad de acelerar el cargamento de los mapas, pero también de acceder a las capas del GeoPortail IGN de Francia.

La extracción de datos permite ahora la recuperación de los metadatos correspondientes en el archivo para descargar. Además las extracciones hacía KML, TIF+TFW/TAB han sido añadidas. La autenticación desde los clientes pesados ha sido mejorada.

Lado reutilización

El esfuerzo de traducción sigue: todos los desarrollos alrededor de geOrchestra deben permitir la internacionalización. No-desarrolladores han aportado su contribución (ver la traducción en ruso del visualizador), ¡gracias a ellos!

Finalmente, variables globales addicionales, tales como el nombre de la plataforma, permiten centralizar más la configuración, pero conservando módulos separados.

Consultar las notas de versión para tomar conocimiento de todas las evoluciones e instrucciones de actualización.

Lado comunidad

Como siempre, el código fuente esta en acceso libre con el bugtracker y todas las ramas de los contribuidores. El código, sin dependencias externas, esta analizado periodicamente por Ohloh . ¡La comunidad esta en buen camino!

=======================================================================

Sorry, no russian translation for this post, just this.

L'overpass API d'OpenStreetMap permet de récupérer des données en contruisant des requêtes plus ou moins complexe. Une requête simple comme récupérer tous les noeuds de type camping sur une zone couvrant l'Europe s'écrie :

<query type="node"> <has-kv k="tourism" v="camp_site"/> <bbox-query s="41" w="-11" n="71" e="31"/> </query> <print/>

SImple a analyser une telle requête sera malheureusement trop conséquente pour être traitée au vu de la zone couverte. Une solution consiste à découper la bbox en zones plus petites qui seront rapidement traitées par le serveur, l'automatisation de ce découpage est la raison d'être d'ovpwild.py.

ovpwild.py va lire un fichier de requête et une bbox en paramètres et effectuer autant de requêtes que de carré de 1°x1° nécessaire pour couvrir toute la zone. Pour réaliser la requête ci-dessus il suffit d'écrire un fichier de requête contenant :

<query type="node"> <has-kv k="tourism" v="camp_site"/> <bbox-query s="{south}" w="{west}" n="{north}" e="{east}"/> </query> <print/>

et d'exécuter la commande :

ovpwild.py -n 71 -s 46 -e 31 -w -11 -q campsite.overpas -o /tmp/

Le répertoire /tmp contiendra autant de fichiers que de requêtes qu'il ne restera plus qu'à charger dans une base postgis avec osm2pgsql par exemple.

Le scripts possède différentes options comme la reprise sur erreur, le réglage du timeout, le nombre de ré-essai automatique, la taille des zones unitaires, ... Toutes les options étant consultables par ovpwild.py -h.

ovpwild.py est publié sous licence GPLv3, où il peut être téléchargé et forké sur Gitorious (lien download).

Pour obtenir tous les noeuds dans une zone élargie il est également possible de récupérer les dumps de Geofabrik et de les traiter avec osmfilter, mais dans mon cas la machine effectuant les traitements est utilisée aussi pour le rendu, un tel traitement est trop lourd et impactant pour les autres services.

Le geOrchestra Community Meeting s'est parfaitement déroulé les 29 et 30 mai. Grâce à l'appui de l'Agrocampus Ouest et au concours de tous les présentateurs, avec une expérimentation vidéo live/réseau social en simultané Rennes-Strasbourg-Amiens-La Paz, ce coup d'essai pour la communauté a été riche en découvertes, échanges et constructions. La roadmap geOrchestra a été établie. Le PSC publiera prochainement les actes et les présentations sur le blog.

Un grand merci aux participants parfois venus de loin avec leur sac à dos et leur envie de contribuer ! Et à la prochaine.

Pour contribuer à OpenStreetMap, la principale difficulté était de maîtriser deux choses : Les éditeurs (Potlatch, JOSM...) Le dictionnaire de clefs/valeurs (amenity=school, etc.) Un nouvel éditeur en ligne, open-source, est sortit en version Beta, et il est extrêmement prometteur. Nommé iD Editor, cet éditeur en Javascript est un peu le successeur de Potlatch 2, car il est du même auteur, Xaviernoreply@blogger.com0

Le project steering committee geOrchestra est heureux de vous inviter au premier geOrchestra Community Meeting qui se tiendra les 29 et 30 mai à l'Agrocampus de Rennes, France.

Le project steering committee geOrchestra est heureux de vous inviter au premier geOrchestra Community Meeting qui se tiendra les 29 et 30 mai à l'Agrocampus de Rennes, France. Restez à l'écoute pour le lieu, le programme, les facilités, l'inscription.

GeoTribu vous propose cette semaine quelques inévitables sorties avec une nouvelle version de GEOS, une nouvelle version de l'excellent OSGeo-Live, une mise à jour de GeoServer et de MapStore.

en lire plus

We have a dedicated demo site !

http://sdi.georchestra.org/ will publish modules builds on a regular basis to review and test the new features. We are using continuous integration with Jenkins to maintain a local repository, to build and deploy the modules and to perform scheduled tasks. The 8-cores server is operated by the PSC members.

We also plan to publish nice datasets through sdi.georchestra.org. We already published the NASA SRTM DEM and the beautiful night 2012 dataset. You can easily have a look on these datas with the new "predefined contexts" feature on the demo.

we hope that sdi.georchestra.org will be a full scale spatial data infrastructure with open datas and usable webservices.

Nous avons un site dédié pour les démos !

http://sdi.georchestra.org/ publiera les modules selon un calendrier régulier afin de tester et évaluer les nouvelles fonctionnalités. Nous utilisons une intégration continue avec Jenkins pour to maintenir un dépôt local des sources, maintain a local repository, pour construire et déployer les modules et pour programmer des tâches. Le serveur à 8 coeurs est opéré par les membres du PSC.

Sur sdi.georchestra.org nous allons aussi publier des jeux de données remarquables. Le modèle numérique de terrain NASA SRTM et le très beau jeu de données "terre vue de nuit 2012" sont déjà présents. Vous pouvez les découvrir facilement sur la démo grâce à la nouvelle fonctionnalité "contextes prédéfinis".

Nous espérons que sdi.georchestra.org elle deviendra une infrastructure de données spatiale complète et utilisée pour les données libres qu'elle exposera.

La revue de presse de cette semaine fait la part belle à Leaflet et OpenStreetMap (OSM). En effet, nous sommes heureux de relayer l'annonce de la version 0.5 de la fameuse librairie cartographique ainsi egalement de ce plugin Leaflet qui ajoute des fonctionnalités de dessin.

en lire plus