Agrégateur de flux

Le GeoCom 2016, rencontre annuelle de la communauté geOrchestra, se tiendra cette année à Bordeaux, du lundi 23 au mercredi 25 mai, dans les locaux du GIP ATGeRi.

Plus précisément, l’événement se déroulera à la Cité Mondiale, dans la salle Guyenne-Gascogne de la Maison de la Forêt et de l’Agriculture, située au 6 parvis des Chartrons à Bordeaux.

L’événement est gratuit, et nous accueillons avec plaisir toutes les personnes intéressées de près ou de loin aux infrastructures de données spatiales, à la gestion des données et métadonnées géospatiales dans un contexte de partage.

Pour vous inscrire, c’est par ici : https://docs.google.com/forms/d/1kiQvrFYQXLBvfY3lvLta_Z-xoPoEqtRWoakqXPsAeGU/viewform !

Voici quelques éléments concernant le programme :

Lundi 23 mai

Une après-midi introductive avec un point sur les nouveautés depuis le dernier GeoCom.

13h30 - Accueil des participants

14h00 - Introduction par le GIP ATGeRi et le PSC geOrchestra, organisateurs de l’événement

14h30 - Retour sur la dernière version geOrchestra

15h15 - Le module cadastre

16h00 - PAUSE

16h30 - Retours d’expérience d’administrateurs de plateforme

17h30 - geOrchestra & OSM outreach au Bénin

19h30 - Diner partagé au restaurant l’Air de Famille

Mardi 24 mai

Une journée sous le signe des données, métadonnées, services et systèmes …

08h45 - Accueil des participants

09h15 - geOrchestra & 3D

10h15 - L’infrastructure et son automatisation

11h15 - PAUSE

11h45 - geOrchestra et les outils tiers

13h00 - DEJEUNER sur place (buffet)

15h00 - Speed pitching - préparez votre intervention (5 minutes, et pas une de plus !)

16h00 - La “Contributor Licence Agreement” geOrchestra

16h15 - PAUSE

16h45 - Talks en lien avec les métadonnées

17h45 - Une infrastructure robuste, monitorée, ouverte …

19h30 - Diner partagé à La Brasserie du Passage Saint-Michel

Mercredi 25 mai

La thématique principale de cette matinée est la vie du projet geOrchestra.

08h45 - Accueil des participants

09h15 - Comment contribuer au projet ?

10h00 - PAUSE

10h30 - Refonte du visualiseur : pourquoi, quand & comment ?

11h30 - Point sur les documentations & formations disponibles

12h30 - DEJEUNER de clôture du GeoCom chez Amarine

Nous nous réjouissons d’avance de vous y retrouver !

geOrchestra 15.12 est immédiatement disponible. Cette version met l’accent sur les modes de déploiement pour différentes tailles d’infrastructures de données spatiales, depuis la simple instance de démonstration jusqu’à la plateforme à fort trafic. Cette évolution du projet a été décidée au GeoCom 2015 et initiée lors du codesprint qui a suivi.

Dans les évolutions fonctionnelles majeures, on pourra citer le passage à GeoNetwork 3 et GeoServer 2.8, de nouveaux addons pour le visualiseur, ainsi que le cortège habituel de correctifs qui accompagne chaque sortie de version. Voir notre précédent billet pour les améliorations fonctionnelles.

Ce billet détaille les principales évolutions de geOrchestra 15.12 côté système.

Le déploiement revu

Outre la compilation des applicatifs depuis les sources, sont maintenant proposés au choix :

• des archives WAR génériques (georchestra/georchestra/#94). Chacune contient une application qui se configure automatiquement au démarrage,
• des paquets debian ou rpm qui permettent de distribuer ces applications sur systèmes Debian ou Redhat,
• des images Docker qui embarquent chaque application avec ses dépendances système,
• des recettes Ansible qui déploient une plateforme complète, soit dans un environnement virtuel avec Vagrant, soit peuvent servir de modèle pour un déploiement automatisé sur un serveur.

Ces évolutions ont pour objectif de simplifier la vie des développeurs et des administrateurs système, mais aussi d’offrir davantage de possibilités aux administrateurs de données qui peuvent désormais intervenir directement sur la configuration de leurs applications.

Les applications génériques

A leur démarrage, les applications génériques consultent une série de fichiers pour se configurer. Il faut donc, pour démarrer, récupérer le répertoire commun de configuration (aka “datadir”) et l’adapter pour la plateforme cible. Chaque application geOrchestra y est configurée via un sous-répertoire.

Ce répertoire gagnera à être placé sous contrôle de version. On disposera ainsi d’un historique des configurations et on pourra faire évoluer celles-ci en documentant les mises à jour.

Le chemin vers ce répertoire doit être précisé dans chaque serveur tomcat au moyen de la variable CATALINA_OPTS et du paramètre georchestra.datadir=/path/to/datadir. On peut donc faire coexister plusieurs configurations sur un même système, chacune ayant son propre “datadir”.

Les applications génériques sont construites périodiquement par l’intégration continue qui a été renforcée à cette occasion. Vous pouvez les télécharger sur http://build.georchestra.org/. L’intégration continue alimente aussi des dépôts deb et rpm, permettant au système de télécharger les nouvelles versions d’applications lors de ses mises à jour.

Comment déployer

Les WAR génériques nous permettent de décliner l’installation de geOrchestra selon plusieurs modes. Vous pouvez, au choix :

• télécharger manuellement les WAR et les déployer sur vos instances tomcat (ou laisser le système le faire avec les dépôts apt et rpm), appliquer les nouveaux réglages en comparant votre datadir avec sa source

• déployer entièrement une instance de démonstration en une seule ligne de commande : vagrant up

• faire reposer votre architecture sur les images Docker fournies par le repository communautaire, que vous surchargerez pour appliquer votre personnalisation.

Il est toujours possible de construire ses applications en y intégrant un profil de configuration spécifique, hérité de la configuration template, comme auparavant. Ce mode est plus complexe à mettre en oeuvre, mais permet de personnaliser l’IDS de manière plus poussée, par exemple par surcharge des fichiers css et images.

Caveat

Lors du passage d’une version à l’autre, certaines mises à jour manuelles sont nécessaires. En particulier, les mises à jour de bases ou adaptations de configuration ne sont pas automatisées. Se référer aux notes de version.

geOrchestra publie habituellement une nouvelle version logicielle tous les six mois. Décembre-Janvier est une période de finalisation. Cependant, le dernier GeoCom a mis en avant des évolutions significatives programmées pour la prochaine version. Nous devons donc prendre davantage de temps pour finaliser la version 15.12, qui arrivera plus tard dans l’année (et sera donc probablement renommée).

Voici un éclairage sur les principales avancées de la future version.

Un très gros travail concerne les “WARs génériques” (#94). Depuis le début, nous avons mis l’accent sur une infrastructure 100% libre et modifiable, avec d’une part les sources et d’autre part le moyen de les compiler. Ce mode sera bien sûr conservé mais pouvait en rebuter certains par sa complexité. Nous proposons donc une alternative plus simple : tous les paramètres applicatifs pourront être modifiés au runtime dans le répertoire /etc/georchestra, et toutes les applications seront génériques et, de fait, téléchargeables sur build.georchestra.org (sous la forme de paquets rpm ou deb).

Cette évolution permettra aussi de distribuer les applications sous forme d’images Docker. Nous verrons si Docker, en sus de faciliter les développements, est en mesure de servir en contexte de production.

Une nouvelle console d’administration sera proposée. Elle unifiera la gestion des utilisateurs et la communication avec ceux-ci, la gestion des groupes, les statistiques d’utilisation, la traçabilité de l’administration (#1018).

Par défaut, une plateforme geOrchestra exposera des services et applications en https, mais il sera toujours possible de fonctionner sans SSL (#1123). Avec la démocratisation du SSL introduite par l’initiative Let’s Encrypt, nous pensons qu’il s’agit là d’une stratégie pertinente.

Le catalogue sera logiquement basculé sur GeoNetwork 3 (#1120), et le serveur OGC sur la dernière version de GeoServer publiée dans la branche 2.8.x. Ceux qui n’utilisent pas GeoFence pour gérer les droits sur les données peuvent déjà utiliser GeoServer en version standard.

Pour le visualiseur, de nouveaux addons arrivent : changer rapidement de fond de plan, afficher la carte en plein écran (#981), charger des données OpenStreetMap sur la carte (#1031), imprimer des atlas (#1017).

Le requêteur sera renforcé : tampons, stockage de la requête, interface revisitée (#1012 à #1014).

Par ailleurs, la visualisation des métadonnées sera facilitée depuis le visualiseur.

Enfin, tout ceci nécessitera évidemment une grosse mise à jour de la documentation, et comprendra beaucoup d’autres petites améliorations moins visibles mais réclamées par les utilisateurs.

Vous pouvez consulter sur GitHub l’ensemble des évolutions et corrections prévues

Introduction: 

Au programme de cette revue de presse, version allégée, OSM biensur avec notamment un changement de symbologie bienvenu et la sortie de "The book of OSM", rien que ça. Et comme souvent de belles et inspirantes représentations cartographiques. Bonne lecture !

icone_news: Mots-clés: GeoRDPOSM

Introduction: 

Cette revue de presse dans le désordre couvrira la sortie de la nouvelle version de GeoServer, OpenStreetMap avec un outil pour suivre les tendances en temps réel grâce aux métadonnées de la base ou et un bilelt de blog sur comment les derniers styles de Map.me on été réalisés. Ensuite, on fait un petit tour par les outils simples pour publier sur le web depuis QGIS. Enfin, on passe à une nouvelle technique cartographique à explorer et à un match QGIS/ArcGIS.

Bonne lecture

icone_news: Mots-clés: GeoRDPQGISOSMGeoServerArcGIS

L’équipe geOrchestra est heureuse d’annoncer la sortie de geOrchestra 15.06

Cette version apporte plusieurs améliorations décisives :

• Un support complet de la toute récente version 8 de Debian aka “Jessie”, ce qui garantit une durée d’exploitation plus longue pour votre serveur.
• Les artefacts standard GeoServer peuvent désormais être utilisés en substitution au “GeoServer geOrchestra”. Cela permettra un apport plus rapide des nouvelles fonctionnalités, et votre admistrateur sera un peu plus zen si une vulnérabilité critique est découverte dans GeoServer.
• Des tests d’intégration sont lancés à chaque fois que du nouveau code est contribué à geOrchestra, grâce au nouveau service fourni par travis-ci.
• Des artéfacts plus légers. Nous sommes parvenus à une réduction de 20 à 50% de la taille des artefacts en excluant les documentations inutiles, les exemples et tests. Cela économise de la bande passante (et du temps !) à ceux d’entre vous qui tirez les artefacts depuis notre intégration continue.

Entre autres améliorations :

• mapfishapp : iD est maintenant le choix premier pour éditer la couche de fond OSM - voir #992,

• mapfishapp : l’utilisateur peut exporter en GML ou KML les objets qu’il aura sélectionnés par requête - voir #995,

• mapfishapp : l’admin peut limiter l’étendue de toutes les recherches de métadonnées. L’utilisateur peut aussi limiter sa recherche à l’emprise spatiale courante - voir #964,

• mapfishapp : nous avons ajouté la possibilité de filtrer les objets visibles dans les couches POSTées avec CQL - voir #921,

• proxy : intercepte les erreurs “connection refused” - voir #963,

• documentation : nous avons ajouté une page sur la configuration SASL pour gérer un AD distant - voir #958.

La liste complète des tickets se trouve sur le bug tracker de GitHub, avec l’indication du jalon 15.06.

Un grand merci à tous les contributeurs pour cette superbe version !

Du 22 au 24 juin, la Maison de l’Alsace a hébergé le GeoCom 2015, qui s’est déroulé dans d’excellentes conditions. Une quarantaine de personnes, issues de la communauté des utilisateurs, administrateurs et développeurs, ont pu se retrouver pour partager les pratiques et élaborer la feuille de route de l’année à venir. L’événement était retransmis en direct sur YouTube, ce qui a permis à plusieurs personnes distantes de suivre les échanges.

La première demi-journée du lundi était dédiée aux présentations des plateformes, et à des rappels sur “l’écosystème geOrchestra”. Elle s’est conclue sur un état des lieux par rapport à la feuille de route post-GeoCom 2014.

La journée de mardi a fait l’objet d’une série d’interventions autour de trois thématiques principales : valorisation des services, publication de données et maintenance des plateformes. Certaines des présentations sont accessibles en ligne:

• Intégrer une application tierce dans geOrchestra
• Des couches aux objets avec ElasticSearch
• Inspirobot, le scoring des métadonnées
• Monitoring des services
• Geonetwork 3
• Formation geOrchestra
• Le site georchestra.org

Enfin, le mercredi a été consacré à l’élaboration commune de la feuille de route, que nous retranscrivons ici.

Interopérabilité : s’ouvrir aux autres entrepôts

La connexion avec les services géographiques de base (visualisation, accès aux données, recherche de métadonnées) est acquise. La communauté souhaite maintenant s’interfacer avec d’autres systèmes d’informations maniant des données localisables. Le support des normes TJS, SOS, WPS permettrait de réduire les ruptures entre les systèmes. De même, la possibilité d’échanger des données avec le monde OpenStreetMap concilierait davantage les IDS avec les bases de données contributives. Pour que ces sources soient mixées, analysées, partagées par les utilisateurs, il faut que les contextes (ie configurations de carte) supportent ces normes.

• consommation de données par Table Joining Service
• interrogation de capteurs via Sensor Observation Service
• support générique des Web Processing Services
• contextes de carte supportant WMTS et autres interfaces (OWSContext)
• échanges de données avec OpenStreetMap

Gestion de plateforme : maîtriser la complexité

Dans IDS il y a “I” pour Infrastructure. Une infrastructure est constituée de modules multiples qu’il faut surveiller en permanence. Il faut fournir aux administrateurs des tableaux de bord complets, autant sur l’utilisation (la charge, l’usage) que sur le système (ie les conséquences de la charge), voire sur la qualité (appréciation des utilisateurs, signalement d’erreurs, qualité des informations).

• architecture de reporting
• configuration de l’ensemble des modules accessible à l’administrateur de données
• simplification de l’administration geofence
• Single Sign On sur des fédérations d’identité (Shibboleth)

Ergonomie, workflow : simplifier, déléguer pour gagner du temps

Les évolutions vont dans le sens d’un gain de temps pour toutes les populations : utilisateurs, administrateurs, producteurs. Faire plus simple, donc pouvoir déléguer davantage pour gagner du temps, tout en conservant le paramétrage fin et la personnalisation indispensables à la performance.

• délégation du workflow de publication (geonetwork, geoserver, module indépendant, QGIS…)
• fonction de recherche unifiée sur données, métadonnées, contenus littéraux
• styliseur enrichi, nouvelles classifications, prise en charge des rasters
• console d’administration, notamment des utilisateurs
• header compatible avec la réutilisation des modules sur des sites tiers
• saisie et conversion de métadonnées dans un tableur (module Zaphir CIGAL)
• visualisation directe des métadonnées dans les visualiseurs
• amélioration de l’ergonomie de consultation et d’administration du catalogue (GeoNetwork 3, cswReader et mdReader)

Accompagnemement : partager le savoir

L’accompagnement aussi doit être “libre”. Les contenus structurés en “grains” rejoignent une offre de formation/accompagnement commune (un MOOC). La communauté doit développer un réflexe de partage des savoir-faire, en échangeant en amont sur les intentions pour que toute opportunité soit exploitable, et en informant en aval sur les réalisations.

• tronc commun de formations bâti à partir des contenus existants
• veille technologique et preuves de concept par les plateformes
• partage et capitalisation des bonnes pratiques
• mise à disposition des applicatifs tiers sur github

Métier : répondre aux enjeux

Faire en sorte que l’IDS sache répondre aux enjeux actuels, soit en direct (modules métier en “contribution geOrchestra”), soit en montrant que c’est possible (produits d’appel, bonnes pratiques, API…)

• profils utilisateurs, comportant notamment un contexte métier par défaut
• module cadastre, en cours de réalisation
• module de consultation des informations urbanisme
• module de conception d’atlas
• support des flux (Atom, WFS2) pour le géoportail de l’urbanisme

Clôture du GeoCom 2015 par Marie-Christine Schott, Responsable du service SIG au Conseil Régional d’Alsace

“On se réjouit de découvrir une communauté dynamique rassemblant toutes les facettes et les compétences du partage de données. Il est important de rester vigilant car la disponibilité et la performance des applicatifs sont déterminants dans l’adoption de ces nouvelles pratiques de travail. Il faut profiter de cette communauté pour rester à l’écoute et réactifs face à des réformes institutionnelles d’envergure, et pour mieux répondre aux enjeux actuels.”

Pour finir

Retrouvez en images et au format “storify” l’aventure GeoCom 2015.

Nous souhaitons encore remercier la Région Alsace et la Maison de l’Alsace pour l’accueil de l’événement, et nous vous donnons rendez vous l’an prochain à Bordeaux !

La semaine dernière s’est tenu notre premier codesprint organisé. Grâce à l’Agrocampus Ouest nous avons bénéficié d’un cadre exceptionnel apprécié de tous les participants. Développeurs et administrateurs de données ont travaillé ensemble pendant deux jours sur l’avenir de geOrchestra. Nos sujets de sprint : les raster, l’accompagnement des utilisateurs, la supervision et le packaging des applications.

Les raster

Par méconnaissance de son potentiel, la donnée raster est le parent pauvre des IDS. Le groupe a souhaité montrer qu’elle peut être exploitée grâce au profil SLD. Le stylage raster n’entraîne aucun ralentissement : pourquoi s’en priver !

Un styleur raster intégré au visualiseur geOrchestra a été conçu. Reposant sur un workflow similaire au styleur vecteur (trouver le Web Coverage Service, décrire les données, construire un formulaire, stocker le style, le rappeler, le partager), il permet le choix de la bande à traiter, la fabrication et l’application de la colormap.

Nous avons remarqué que les capacités des service de coverage sont suffisamment détaillées pour alimenter des analyses automatiques, possibilité que nous étudierons si le styleur raster rencontre son public.

Le styleur raster sera prochainement intégré dans master.

L’accompagnement

Déjà abordé lors du geocom2014, ce sujet a été approfondi par quatre sprinters. Une IDS ouverte connaît peu sa population d’utilisateurs et n’a pas de moyen simple pour la réunir. Par conséquent, un MOOC (Massive Open Online Courses) nous semble très adapté. Nous nous appuierons sur le MOOC IDS conçu par Agrocampus Ouest (plateforme moodle).

Les “grains” de formation sont en cours de rapatriement, ils pourront être accédés individuellement ou selon des parcours de formation. Les licences type attribution/share alike permettront la réutilisation commerciale.

La distribution

Construire entièrement à partir des sources fait partie du contrat de geOrchestra en tant que logiciel libre. Certaines plateformes automatisent ce build dans leurs recettes de déploiement, et parfois en profitent pour surcharger le code source et intégrer des fonctions locales. D’autres, aux besoins plus standards, souhaiteraient une installation facilitée et surtout des modes de configuration sans compilation.

Le sprint a permis aux administrateurs de répertorier leurs souhaits de paramétrage - pour ceux qui connaissent : GEOR_custom, listes de services, addons… Chaque serveur d’application pourra, au moyen d’une variable d’environnement, préciser l’emplacement des fichiers de configuration concentrés dans une unique arborescence. Les modules applicatifs seront proposés sous forme d’archives génériques versionnées, téléchargeables depuis georchestra.org.

A suivre, la mise en oeuvre de ce principe sur l’ensemble des modules pour la 15.12.

La supervision

Nous avons réalisé que les administrateurs de données consultent un grand nombre de sources d’information pour analyser le fonctionnement de l’IDS : journaux d’erreurs provenant des diverses applications, indicateurs de disponibilité, trafics, charge… de façon peu efficace et chronophage. Un groupe de sprinteurs a montré que la pile Logstash/Graylog améliore l’accessibilité et l’utilisation des capteurs. Nous avons de plus vu que l’extension monitor/audit de GeoServer permet le calcul instantané de métriques comme la répartition des requêtes par namespace. Nous avons enfin joué avec Logstagia qui représente le trafic sous la forme d’une (violente) partie de pong.

A suivre, une expérimentation Graylog à la région Bretagne et un prototype de dataviz temps réel sur les trafics, avec objectif de partager ces pratiques avec la communauté geOrchestra.

Bilan

• les groupes de 2 ou 3 permettent de se concentrer sur un objectif, avec des résultats à la sortie.
• les développeurs apprécient le retour direct des administrateurs sur les fonctionnalités qu’ils proposent, et réciproquement les administrateurs voient leurs principales préoccupations comprises.
• ce format codesprint est très efficace pour dégager un consensus en quelques minutes, puis pour se consacrer à la production avec un retour immédiat. Sur l’ensemble des sujets, le consensus et la réalisation auraient sans doute pris beaucoup plus de temps via ticket ou messagerie.
• nous avons probablement passé trop de temps en restitution formelle alors que l’information.circule déjà entre les groupes. Il suffit de noter les objectifs et les résultats sur les tableaux.

Ce codesprint aboutit à quatre actions sérieusement engagées, à finaliser pour la version 15.12.

Le GeoCom2015, rencontre annuelle de la communauté geOrchestra, se tiendra en juin en Alsace du lundi 22/06 au mercredi 24/06/2015. Suite à ce sondage, toujours ouvert, un ordre du jour prévisionnel vous est proposé.

Lieu

Le GeoCom se tiendra à la Maison de la Région Alsace, 1 place Adrien Zeller, 67070 Strasbourg Cedex. Ceux qui le souhaitent pourront participer à distance en chat, nous ne pouvons pour l’instant nous engager sur une retransmission audio ou vidéo complète.

Pour participer, nous vous remercions de remplir le formulaire d’inscription.

L’ordre du jour pourra subir des changements mineurs.

Lundi 22/06 après midi (14h - 17h)

• Accueil
• Tour de table
• Retour sur l’enquête et détail de l’ordre du jour
• L’écosystème geOrchestra
• Direct avec GeoBolivia
• Retour sur la roadmap 14-12-15-06

Mardi 23/06 (9h - 17h) Valoriser les services

• Retours d’utilisateurs
• Démarche mutualisée du module cadastre
• Intégrer une application tierce dans geOrchestra
• SLD et les usecases métier
• Des couches aux objets avec elasticsearch
• Impliquer les partenaires dans la réutilisation
• Synthèse

Publier des données

• Le travail quotidien de l’admin de données
• Outils pour la saisie des métadonnées par les acteurs publics alsaciens
• Inspirobot, scoring des métadonnées
• Passerelle georchestra/open data
• Les statistiques et la gestion des droits
• GeoNetwork 3
• Synthèse

Déployer et maintenir la plateforme

• Monitoring des services
• Travaux de packaging
• MOOC geOrchestra
• Synthèse

Mercredi 24/06 9h - 14h Développer

• Le site georchestra.org
• 1 an de développement sur geOrchestra
• Le cycle de releases
• Comment contribuer
• Futur des interfaces clientes de geOrchestra

Roadmap 2015-2016

Elaboration collective de la feuille de route à partir des échanges de ce GeoCom.

Le comité de pilotage du projet organise avec GéoBretagne et l’Agrocampus Ouest un codesprint en Finistère. Objectif : simplification de l’installation et de l’administration.

Pourquoi ce codesprint

L’objectif de simplification a des répercussions sur le développement, le système et le travail des administrateurs. C’est pourquoi il nous paraît préférable de travailler en format codesprint plutôt qu’avec les tickets traditionnels. Le codesprint est orienté par les souhaits de la plateforme GéoBretagne et ceux de l’Agrocampus Ouest, organisateurs de l’événement. Néamoins, il est ouvert à tous ceux qui souhaitent participer et s’impliquer dans les choix et la réalisation.

Les objectifs :

• rendre les applications geOrchestra génériques - téléchargeables et interchangeables entre SDI, sans reconfiguration
• choisir et agencer les paramètres locaux
• faciliter le déploiement : dépôt Debian par exemple
• améliorer le déploiement et l’utilisation

Organisation

Le sprint se déroulera dans les locaux de l’Agrocampus Ouest à Beg Meil les jeudi 11 et vendredi 12 juin 2015.

Un hébergement est possible (38.50€) et les repas peuvent être pris sur place (11€), à réserver avant.

Tous les contributeurs et développeurs geOrchestra sont invités à se joindre à l’événement. Pour les inscriptions et réservations, c’est par ici : http://plan.kwiqlink.com/WERJO6BUMZ7907UV.

Image pour le diaporama en page d'accueil: Introduction: 

Ami(e) lecteur/lectrice, cette semaine l'équipe de Geotribu vous a concocté une revue de presse un peu spéciale. Comme vous pouvez voir ci-dessous, certains cartographes avaient parfois des projets fous de vouloir dessiner de très grandes cartes, cette semaine nous nous sommes pris au jeu pour réaliser une très grande revue de presse, histoire d'assouvir votre soif hebdomadaire de news. Bonne lecture!

icone_news: Mots-clés: GeoRDPOSMOpenStreetMapWordpressOpenLayersMapBoxOpen DataLandsatGeoJSONLeafletGeoServerPython

Le GeoCom2015, rencontre annuelle de la communauté geOrchestra, se tiendra en juin en Alsace. Utilisateurs, développeurs, administrateurs ou intéressés, nous espérons vous y rencontrer pour dresser ensemble la feuille de route de geOrchestra et partager nos connaissances.

La communauté au centre

Le projet geOrchestra est résolument communautaire depuis sa création. Pour nous, cela veut dire qu’utilisateurs, contributeurs, financeurs, développeurs, formateurs et chercheurs ont tous leur mot à dire dans la feuille de route du projet.

Grâce au projet GeoBolivia qui a invité le PSC en 2012, nous avons pu constater qu’il y avait intérêt à réunir la communauté, tant les objectifs des IDS sont à la fois différents et complémentaires.

S’en est suivi le premier GeoCom en 2013 à Rennes, hébergé par l’Agrocampus Ouest. La confrontation des points de vues d’IDS étatiques, régionales, locales, scientifiques a été riche d’enseignements. S’en est suivi le développement d’addons “métier” et un travail pour faire coopérer différents outils visant chacun leur public.

En 2014, le CRAIG nous a réuni à Clermont Ferrand. Nous y avons trouvé une communauté plus variée, qui a souhaité mettre l’accent sur l’accompagnement des administrateurs. S’en est suivi un travail sur la documentation et un effort de simplification de l’installation.

cap sur l’Alsace

Nous sommes heureux de vous annoncer que la dynamique se poursuit en 2015. Le partenariat CIGAL (Coopération pour l’Information Géographique en Alsace) a accepté (grand grand merci à eux) d’accueillir le GeoCom 2015 à Strasbourg, France. Les dates pressenties sont du 22 au 24 juin. L’événement est bien sûr gratuit et toutes les personnes intéressées par geOrchestra y sont chaleureusement invitées.

Nous avons besoin de votre participation à la construction des sujets pour mieux cerner les attentes et influencer la feuille de route en conséquence. Nous vous remercions de remplir le sondage suivant :

• https://sdi.georchestra.org/limesurvey/index.php/446666/lang-fr ( en, es )

A bientôt au GeoCom 2015.

Le PSC a le plaisir de vous annoncer la sortie immédiate de geOrchestra 14.12, 6ème version depuis qu’on fait des notes de version. Le rythme d’une version tous les 6 mois est toujours maintenu à quelques jours près grâce à la ténacité des développeurs et au soutien permanent des plateformes utilisatrices.

Cette version se veut à la fois plus simple pour les utilisateurs finaux et plus facile à intégrer pour les administrateurs - fruit des nombreux rapports et suggestions recensés sur le bugtracker (600 tickets depuis octobre 2012).
Une documentation d’installation complète et pas à pas accompagne désormais les primo-installants.

Côté outils

Désormais, une seule fenêtre présente tous les services OGC prédéfinis : WMS, WFS, WMTS.

Ces services sont configurés dans des fichiers externes, partageables entre instances, voire générés par des applicatifs tiers. Un filtre bien pratique accélère la découverte des services.

Une nouvelle option dans le menu de chaque couche permet d’afficher à tout moment les points d’entrée d’une couche pour les copier/coller vers son SIG.

Depuis le visualiseur, la recherche plein texte de séries de données dans les catalogues peut exploiter les métadonnées de service pour découvrir un service non décrit dans la métadonnée de donnée. geOrchestra augmente ainsi la compatibilité avec les IDS tierces.

Un contexte de carte peut être référencé dans une métadonnée du catalogue.

Les contextes sont mieux décrits : titre & résumé affichés au chargement, ainsi que possibilité de filtrage sur mots clés. Ces contextes sont de plus en plus utilisés pour envoyer des cartes entre plateformes ou entre outils (visualiseur mobile par exemple).

Dans les fonctions avancées : une géométrie extraite d’une première couche peut servir de filtre spatial sur une autre. On peut donc par exemple extraire les maisons dans une zone donnée [screenshot].

L’impression est améliorée : support de la rotation & export PNG notamment. La mise en page a été revue afin de dégager plus de place pour la carte.

Pour rappel, le visualiseur peut charger des addons spécialisés de manière à étendre ses fonctionnalités de base. Certains utilisent déjà “calcul de profil en long”, “génération de bassin versant”, “annotation”…
Un nouvel addon active Google Streetview pour afficher une vue terrain et basculer vers StreetView.

Il faut également noter la nouvelle possibilité de placer le composant généré par un addon (bouton, onglet, champ de formulaire …) où on le souhaite dans l’interface.

Côté téléchargement, les rasters sont maintenant extraits dans leur résolution native pour peu que leur fiche de métadonnée mentionne cette valeur. Les courriels de notification ont également été améliorés.

Pour finir, les traductions espagnoles, françaises, allemandes sont maintenues à jour grâce à nos branches internationales :)

Côté moteur

GeoServer passe en version 2.5.4 (décembre 2014) avec le support optionnel de GeoFence.

Parmi les notes de version cumulées entre GeoServer 2.3.2 et 2.5.4, on notera principalement:

• la possibilité de configurer le délai de rétention en cache client des tuiles du GeoWebCache intégré (GEOS-4760)
• un meilleur référencement des couches OGC dans le service CSW optionel (GEOS-6012)
• des performances améliorées sur les couches vectorielles servies par PostGIS (GEOS-5027)
• une prise en compte des liens vers les fiches de métadonnées dans les capabilities WFS (GEOS-3387)
• une meilleure compatibilité avec WMS 1.3.0 du GeoWebCache intégré (GEOS-5685)
• et bien d’autres encore …

Enfin, la sécurité du système a été renforcée au niveau des proxies OGC.

Côté admin

La stabilité des builds a été améliorée, à travers la mise en place d’un dépôt maven dédié au projet, et avec la détection des erreurs de build javascript.

De plus, le projet propose désormais des exemples de configuration comme le répertoire htdocs, ainsi que des répertoires minimaux de configuration pour GeoServer et GeoNetwork.

Côté système

Le déploiement d’une IDS geOrchestra peut désormais se faire selon 3 modalités :

• pour du développement ou pour un besoin de démonstration ponctuel, il est possible d’utiliser des containers Docker, créés à partir des recettes proposées dans le dépôt georchestra/docker.
• pour un déploiement rapide de tous les composants de l’IDS, y compris geofence, il est désormais possible d’utiliser le playbook ansible contribué par Landry Breuil, du CRAIG.
• comme toujours, en construisant les WARs du projet sur un profil personnalisé et en les déployant sur une infrastructure dédiée, en suivant la documentation actualisée. L’architecture proposée par défaut repose sur plusieurs instances tomcat et permet la montée en charge de l’IDS.

Côté communauté

Le développement est toujours aussi dynamique; OpenHub relève 1250 commits et 12 contributeurs sur les 12 derniers mois (en baisse car l’automne 2013 a été particulièrement intense).

La liste georchestra-dev est principalement fréquentée par les francophones avec quelques discussions en anglais. N’hésitez pas à poster dans votre langue !

Effet du très convivial geOcom 2014, les participants à la liste sont plus nombreux, et les questions de plus en plus pointues. Le geOcom 2015 aura lieu en Alsace probablement en juin. Nous espérons vous y rencontrer !

Pour aller plus loin …

Consultez les notes de version qui fournissent des informations détaillées pour la mise à jour.

Pensez également à visiter :

• l’intégration continue,
• le bugtracker,
• le tableau Kanban du projet.

geOrchestra has a new website ! Visit http://georchestra.org/

geOrchestra's new website supersedes and replaces several tools : the old website, this blog, some tech papers. It now runs on GitHub. Thanks to the community, informations are available in english, french, spanish.

http://blog.georchestra.org/ will soon redirect to this new website

geOrchestra 14.06 est dans les bacs !
Il s’agit essentiellement d’une version de maintenance avec quelques belles avancées.

En frontal:

• un nouveau module GeoWebCache, utile si l’on souhaite utiliser un cache indépendant; cela offre rapidité, fiabilité et disponibilité pour les couches les plus utilisées,
• une traduction en allemand de tous les modules (merci CIGALsace).

Moins visible, mais tout aussi important :

• une meilleure séparation des rôles d’administration (données / métadonnées / utilisateurs) et d’accès aux modules (extracteur / statistiques),
• une mise à jour du composant d’authentification unique à la dernière version de JASIG CAS 4.0.0,
• une validation complète de la suite en https, pour assurer confidentialité et intégrité des services de données (contribution Rennes Métropole)
• une configuration simplifiée avec des paramètres centralisés dans un seul endroit, et une unique base de données. Pour autant, il est toujours possible de personnaliser complètement son installation,
• une belle progression de la couverture des tests sur un grand nombre de modules (ldapadmin, mapfishapp, extractorapp, downloadform),
• une gestion plus appropriée des librairies natives GDAL/OGR,
• de meilleures performances avec GeoFence.

Du côté de la documentation, l’amélioration est continue : la documentation est versionnée avec le code source, accessible directement depuis le fichier README situé à la racine du projet.

Par ailleurs, lors du geOcom 2014, l’agglomération de Vienne a annoncé le partage sous Licence Ouverte d’une documentation d’installation multi-tomcats [source], qui faisait défaut jusqu’à présent. Un grand merci pour leur engagement dans le projet !

Que ce soit pour installer, mettre à jour votre instance, ou encore pour obtenir plus de précisions sur cette nouvelle version, n’hésitez pas à consulter les notes de version.
Enfin, en cas de difficultés, n’hésitez pas à joindre les développeurs sur IRC ou sur la liste de diffusion georchestra-dev@googlegroups.com.

Le processus de migration de GeoServer 2.3.2 (utilisé par geOrchestra depuis la version 13.06) à GeoServer 2.5.1 au sein de geOrchestra est en cours.

Ce saut de plusieurs versions majeures de GeoServer apporte son lot de nouveautés au projet geOrchestra.
Citons notamment :

• une meilleure gestion du cache client pour les tuiles issues du GeoWebCache intégré,
• un service CSW intégré plus complet,
• de meilleures performances sur les couches vecteur servies par postgis.
• …

Nous avons réussi à compiler et déployer la dernière version stable de GeoServer sur la plateforme de démonstration avec les options suivantes : app-schema, authkey, charts, control-flow, css, csw, dds, dxf, feature-aggregate, feature-pregeneralized, gdal, geoxacml, imagemap, inspire, istyler, libjpeg-turbo, mysql, ogr, pyramid, script, spatialite, wps, w3ds.

Cette évolution sera livrée avec geOrchestra 14.12.
En effet, dans les semaines à venir, nous allons vérifier la bonne intégration de cette nouvelle version avec l’ensemble des composants de la suite geOrchestra.
Pour les plus aventureux d’entre vous, il est d’ores et déjà possible de tester en utilisant la branche 2.5.1-georchestra du dépôt georchestra/geoserver et en se référant au ticket d’évolution #677.

C’est une réalisation de Florent Gravin, Camptocamp, sur financement GeoBretagne. Dans ce cadre, l’intégration avec GeoFence n’a pas été testée.

Ce geoCom 2014 s’est tenu dans d’excellentes conditions à Clermont Ferrand, réunissant administrateurs de plateformes actuelles ou futures : PIGMA, CRAIG, CIGAL, GéoBretagne, GeoSAS, l’INRA Nancy, l’agglomération du Puy en Velay, de Moulins, de Vienne, de Clermont Ferrand, Rennes Métropole, l’université de Clermont; les développeurs de Camptocamp; et les membres du PSC geOrchestra.
Les objectifs : se connaître et échanger, capitaliser les bonnes pratiques, construire ensemble la feuille de route. 10 sujets votés se sont succédés avec pour chacun : une mise en situation, un temps d’échange et la collecte des souhaits d’évolution.

Malheureusement, la webconférence nous a fait faux bond et nous en sommes désolés pour ceux qui voulaient suivre à distance.
Merci à tous les participants et présentateurs pour leur venue, leur engagement, leurs contributions, et à l’année prochaine !

Restitution des sujets: retrouvez les présentations sur la page de l’événement, mise en ligne par le CRAIG.

Les visualiseurs

Cas de réutilisation les plus visibles, ils sont un élément clé pour valoriser l’IDS et les données. La série s/mviewer est présentée. On partage un gros besoin de simplicité pour proposer à une cible donnée exactement ce dont elle a besoin, quitte à multiplier les formes de visualiseurs au-dessus de l’IDS. Mais on affiche aussi un souhait d’interopérabilité pour passer d’un visualiseur à l’autre sans perdre le contexte, et ainsi couvrir toute une gamme d’usages sans dupliquer l’information. Dans tous les cas, on conserve le lien vers la donnée et la métadonnée.

Tendances : “gros doigts”/”fisher price”, contextes, pas de “mode”, personnalisation couleur/logo/layout

Le fond OpenStreetMap mutualisé

Aujourd’hui, Picardie et Bretagne proposent sept fonds de plan OSM France entière selon WMS & co au moins en projections 2154 et 3857. La charge est lourde à porter pour ces plateformes régionales, le trafic France entière est important (livré de base avec certains clients). Nous souhaitons donc trouver un hébergement et une administration communs pour délivrer ce service à plusieurs.

Pour produire des cartes seules, la base pèse 20 Go. Pour servir aussi des données attributaires il faut 200 Go - geOrchestra peut servir ces données en flux sans problème. Le stockage en base doit être extrêmement performant. L’expiration des tuiles doit être outillée. Il faut s’attendre à des pointes de 1000 t/s, 200 mbps.

Le CRAIG pourrait libérer un hébergement, et le savoir-faire Bretagne + Picardie est à disposition.

=> tendances : hébergement unique, imposm3, SSD, administration à plusieurs, cahier des charges commun pour les styles.

Une IDS “INSPIRE compliant”

Après un exposé des devoirs d’une IDS face à INSPIRE, on échange sur le ressenti de chaque plateforme. Les metadata party, c’est bien; mais l’effet est court et la relance doit être permanente.
Les produits d’appel comme s/mviewer sont incitatifs.

L’évolution vers GeoNetwork3 est déjà programmée pour geOrchestra, on espère une nette amélioration de l’ergonomie pour l’administrateur.

La géopublication est très utilisée par certains mais les services REST GeoServer mériteraient un approfondissement (directory of shapefiles, metadatas…) pour une meilleure intégration et délégation.

La communauté ressent également le besoin d’outils qualité neutres et plus ergonomiques que les validateurs officiels.

Pour le téléchargement, les avis divergent sur l’intérêt de proposer en sus le téléchargement dit “simple” par atom.

=> tendances : assurance qualité, capitalisation des pratiques, veille sur les groupes de travail.

Sécurité des données

Le module optionnel GeoFence permet un contrôle extrêmement fin pouvant aller jusqu’à limiter l’accès à certains objets, attributs, périmètres géographiques, au prix d’une multiplication importante du nombre de règles. Le module peut contrôler un nuage d’instances de GeoServer. Dans la communauté, certains sont concernés par un contrôle fin, d’autres non. On mentionne aussi la possibilité de limiter l’usage de données non personnelles par les conditions d’utilisation, sans implémenter de filtrage d’accès.

=> tendances : améliorer l’ergonomie de GeoFence, conserver ce module optionnel.

Performance

Une méthode à effets (et coûts) croissants est exposée : supervision, limites de sécurité, optimisation http/images/styles/données, tuilage, navigateurs récents, scalabilité verticale/horizontale de l’hébergement. Pour la continuité de service, la répartition de charge GeoServer et la relance automatique donnent de très bons résultats et réduisent beaucoup la charge d’administration.

Les lectures toujours indispensables : * GeoServer in production http://docs.geoserver.org/stable/en/user/production/index.html * GeoServer on steroid http://blog.geoserver.org/2013/10/02/geoserver-foss4g-2013/ * GeoServer in production http://boundlessgeo.com/whitepaper/geoserver-production-2/

=> tendances : ajout d’une offre Nagios à geOrchestra, partager les test cases.

WPS

Illustration très parlante et de saison (Silo vs geOrchestra FC) sur la nécessité d’associer plusieurs services OGC pour fabriquer et exposer des traitements comme le calcul dynamique de bassins versants à partir d’un semis de points issus d’une donnée elle-même exposée.

Après les WPS, il faut s’intéresser à des services plus spécialisés comme SOS et TJS. Et surtout ne pas négliger les rasters de données, fortement méconnus et sous exploités.

=> tendances : SOS, TJS, exploiter les rasters.

Mutualisation des formations

Après la présentation d’une maquette de site qui serait le réceptacle commun des ressources autour de geOrchestra, les participants échangent sur le capital à mettre en commun car l’accompagnement est jugé par tous indispensable. Il faudrait, dans les ressources produites par chacun, atteindre une granularité adaptée pour permettre la réutilisation de fragments.

=> tendances : site commun, le PSC reçoit et partage, licence ouverte sur les ressources.

Relations geOrchestra/OSM/HOT

Après présentation du projet HOT qui ouvre sur un contexte bien plus large que nos plateformes locales, on comprend l’intérêt que peut représenter une IDS sachant faire le pont (bidirectionnel ?) entre les données OSM et les SIG. Ce pont serait également utile pour mieux échanger avec les communautés ‘non SIG’.

=> tendances : support OSM bidirectionnel, internationalisation.

Code Sprint du samedi

En fait de code sprint, le PSC a plutôt analysé et factorisé les tendances développées au cours du geoCom pour façonner la feuille de route stratégique de geOrchestra :

Simplicité

Maintenant que les services lourds sont opérationnels il faut les rendre accessibles. Pour adresser chaque cible il faut des outils très simples, personnalisables, tout en mutualisant l’effort de conception et de développement.

Les pistes explorées par s/mviewer ont montré de bons très résultats : adoption immédiate, lien conservé avec les outils experts, ciblage, connexion sociale. Leur conception n’est pas pérenne mais ils sont déjà compatibles, disponibles et leur évolution peut être concertée.

Les principes développés par ces outils devront alimenter la refonte long terme du visualiseur avancé.

Extension de la communauté

La question de savoir si geOrchestra doit investir pour être davantage réutilisé, ou au contraire doit se concentrer sur quelques “grosses” plateformes, a été tranchée en faveur d’une extension.

Le gros travail de factorisation a été assumé par les plateformes régionales. Nous pouvons maintenant viser une plus grande généricité des distributions.

L’extension de la communauté va cependant générer une plus grande charge d’accompagnement à compenser en amont par la capitalisation des bonnes pratiques.

Liens avec d’autres communautés

Il s’agit d’étendre l’audience de primo-utilisateurs des services vers d’autres communautés, professionnelles ou non. Pour cela il faut des applicatifs ou des connexions spécialisées : applicatifs métiers, OpenStreetMap, raster, TJS…

Ces extensions ne sont pas forcément dans geOrchestra (notion de “contrib”), mais elles sont suffisamment concertées pour être compatibles et réutilisables.

Efficacité et qualité

INSPIRE est atteint “manuellement”, ce qui consomme du temps. Une fois l’IDS opérationnelle, il est souhaitable de miser sur des outils de vérification qualité et d’autocorrection. Ces outils permettront de prendre le contrôle du stock de données et métadonnées. Le bénéfice sera ressenti par les administrateurs (gain de temps, adaptation) comme par les utilisateurs (meilleure uniformité et réponse à leurs souhaits).

Le site web geOrchestra fait peau neuve !

Basé sur des technologies libres (Jekyll), il regroupe désormais au même endroit blog et pages descriptives du projet, au sein d’un site véritablement multilingue (anglais, français & espagnol) et compatible mobile.

Pour les curieux, ou pour ceux qui souhaiteraient y contribuer, le code source est disponible sur le dépôt georchestra/georchestra.github.io. Utiliser GitHub pour ce site nous permet de bénéficier d’outils dédiés et adaptés, tels que ce merveilleux tableau Kanban, dont les post-its sont synchronisés avec les tickets GitHub !
Pour finir, proposer un nouveau post est maintenant ouvert à tous, et peut se faire via une pull request !

Pour revenir sur Jekyll, l’évantail des possibilités est large en terme de personnalisation…
Celui-ci offre notamment un support étendu pour afficher des blocs de code, par exemple ici en ruby :

def print_hi(name) puts "Hi, #{name}" end print_hi('Tom') #=> prints 'Hi, Tom' to STDOUT.

Pour finir, nous souhaitons remercier GitHub pour leur hébergement sans faille !

Les inscriptions au geocom sont ouvertes ! Le CRAIG qui organise l'événement a publié une annonce et mis en ligne un formulaire d'inscription.

Nous vous remercions de vous inscrire au plus vite pour aider à l'organisation logistique de l'événement.

Cette note rapide pour vous annoncer le GeoCom 2014, rencontre de la communauté geOrchestra, à Clermont-Ferrand, France, les 19 et 20 juin.

Aidez nous à créer la meilleure conférence geOrchestra, en choisissant les sujets qui vous intéressent le plus : http://framadate.org/7s9f54w6ajppjjs9. Les 8 sujets les plus choisis seront retenus pour créer le programme définitif (avant la fin du mois).

Vous souhaiteriez soumettre une autre proposition de présentation ? N'hésitez pas, il n'est pas trop tard pour cela : psc at georchestra dot org.

As you may know, the geOrchestra users & developers conference is coming very soon now ! We are very grateful to the CRAIG (Centre Régional Auvergnat de l'Information Géographique) for hosting the conference, which will take place in Clermont-Ferrand, France, on June the 19th and 20th.

Please help us create the best geOrchestra event : pick the talks you'd like to attend ! You can make your say here: http://framadate.org/ge61u7wm8hz3yk7w

The 8 talks which will receive the more votes will be chosen, so that we can release the program before the end of the month.

Want to submit your own talk ? It's not too late, please contact us : psc at georchestra dot org.