Geospatial – Actualités

Quand Logstash devient spatial

20 mars 2014

Elasticsearch, Logstash et Kibana

La suite composée des logiciels Elasticsearch, Logstash, et Kibana permet de mettre en place des visualisations avancées des données produites par une infrastructure informatique. Ces logiciels bénéficient d’une attention grandissante et beaucoup d’informations sont disponibles sur internet.

En quelques mots :

  • Logstash extrait les informations pertinentes des événements (log) produits par les différentes briques logicielles, systèmes ou applicatives.

  • Elasticsearch indexe et fournit une interface de recherche avancée sur les informations traitées par Logstash.

  • Kibana fournit une interface graphique qui permet de construire des visualisations des données indexées dans Elasticsearch.

Au final, les visualisations Kibana montrent des informations filtrées, triées et agrégées à partir d’un flux de données (log) techniques. Ces visualisations permettent à des utilisateurs métier non techniques de mettre du sens sur ces données et d’en tirer les informations métier pertinentes à leur pratique.

Les protocoles OGC WMS et WMTS

Deux protocoles HTTP, définis par l’Open Geospatial Consortium (OGC)  sont fréquemment utilisés dans le monde géospatial : WMS et WMTS. En résumé et simplifié, ces protocoles définissent des formats d’URL qui permettent de spécifier quelle information géographique doit être retournée (type d’information, zone géographique, niveau de zoom, projection, …). Généralement, la réponse du serveur est une image, une carte, générée à partir de la requête.

Logstash devient spatial

Camptocamp est fortement impliqué dans la mise en place et la gestion d’infrastructures informatiques complexes ainsi que dans le monde géospatial Open Source. A la croisée de ces deux mondes, il était naturel pour Camptocamp d’utiliser ces nouveaux outils pour analyser les données produites par des infrastructures informatiques spécialisées dans la mise à disposition d’informations géospatiales.

Logstash permet d’extraire les informations des messages de log émis par un serveur de base de données, ou les champs standards des logs d’une requête HTTP (host, protocole, etc.). Par contre, logstash ne connait pas les protocoles OGC WMS et WMTS. Il ne peut donc pas extraire les informations intéressantes de ces requêtes, telles que la zone géographique ou la couche de donnée consultée.

wms-example

L’extraction et la mise en valeur de ces données métiers permettent par exemple à nos clients de savoir quelles zones d’une carte servie par l’un des deux services filtrés (WMS / WMTS) sont les plus demandées, à quelle période de la journée, ou encore quelles couches sont les plus consultées. Ils peuvent ainsi prendre des décisions informées sur les mesures à prendre (pré-génération ou cache des données par exemple) pour en assurer une distribution optimum. D’une montagne de plusieurs gigaoctets de logs émergent des informations métiers agrégées permettant une analyse décisionnelle fine par des utilisateurs non techniques.

Camptocamp a donc développé un module Logstash permettant l’analyse des requêtes géospatiales WMS et WMTS. Suite à ce développement et à la validation sur l’infrastructure d’un de nos client, nous avons remonté ces améliorations sur le projet Logstash ; elles devraient être rendues disponibles dans la prochaine version 1.4 du logiciel.

Ces filtres peuvent être paramétrés selon les besoins. Il est par exemple possible de faire des  reprojections à la volée des coordonnées géographiques des tuiles demandées dans le cas de WMTS, ou de la boite englobante dans le cas de WMS. Cela est rendu possible grâce à l’utilisation des bibliothèques Geoscript (Ruby) et Geotools (Java), que nous connaissons bien et utilisons fréquemment dans nos projets.

Camptocamp est convaincu que la gestion et la mise en valeur des données brutes générées par une infrastructure de distribution d’information géospatiale est un domaine aux multiples débouchés, aussi bien pour les administrateurs de l’infrastructure que pour les gestionnaires des données. Accompagner nos clients sur ce chemin fait intégralement partie de nos missions pour l’avenir.