Articles, tutoriels et veille

Vous possédez des données associées à des parcelles cadastrales par un code et vous souhaitez visualiser ces informations sur une carte ?

Ce tutoriel vous explique comment importer vos données sur la plateforme koumoul.com pour pouvoir ensuite les réutiliser et les visualiser dans l'application Infos parcelles à partir de codes parcelles.

Les pages de contenu permettent de mettre en avant certaines données, d'écrire des articles, de faire du data storytelling, ou encore de présenter une licence sur votre portail.

Après avoir créé votre portail qui vous permet de diffuser vos données, nous allons découvrir comment créer des pages de contenu. Dans ce tutoriel, nous allons recréer la page du foncier du portail opendata de Koumoul.

L’application « Periodic Series », permet de créer plusieurs visualisations animées telles que des séries temporelles ou des graphiques radiaux. Il est ainsi possible de visualiser des évolutions dans le temps et de les comparer.

Dans ce tutoriel nous allons vous expliquer comment réaliser une série temporelle avec « Periodic Series » à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

Un portail opendata vous permet de diffuser les données de votre entreprise, de votre ville ou de votre collectivité.

Les données d'un portail d'un portail Koumoul sont téléchargeables et accessibles via API.
Elles sont aussi présentées dans des visualisations interactives. Les données utilisées dans des cartes et des diagrammes dynamiques sont plus accessibles et compréhensibles que dans un simple tableau.

Dans le but de vous démarquer, de toucher un plus large public, de mettre en valeur votre activité, rendre vos données attractives est une clé. La Gamification ou ludification est un principe permettant d’utiliser de nombreux mécanismes du jeu pour arriver à ces objectifs.

Nous vous proposons aujourd’hui sur notre plateforme 3 nouvelles applications configurables à partir de vos données. Tous ces mini-jeux Koumoul possèdent une notion de score, développant l’esprit de compétition des joueurs, les incitant à jouer et rejouer et à passer du temps sur vos données. A noter que dans le calcul du score le temps compte aussi, et permet d’éviter la triche ! Donc plus les réponses seront rapides, plus le score sera élevé !

A qui s’adresse la solution Koumoul ?

La solution de visualisations de données Koumoul s'adresse à toutes les personnes manipulant des jeux de données sur Excel par exemple, et qui sans avoir particulièrement de notions de codage / programmation, souhaitent les intégrer aisément à leur site web. Elle peut aussi s’adresser à tous ceux qui souhaitent créer facilement des visualisations simples, dynamiques et efficaces.

A noter qu’il est possible de créer un compte gratuitement et d’accéder à toutes les fonctionnalités de la plateforme Koumoul pour un volume de données d’1 Mo (ce qui peut représenter, par exemple, 10 000 lignes pour 5/6 colonnes, réparties en un ou plusieurs fichiers).

La visualisation « Infos-Localisations », est carte offrant la possibilité de visualiser des informations localisées de manière précise, et d'accéder à du contenu détaillé sur ces localisations, notamment par le biais de fiches configurables.

Dans ce tutoriel nous allons vous expliquer comment réaliser une carte Infos-Localisations à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

La visualisation « Carto-Stats », est carte offrant la possibilité de visualiser un grand nombre d’informations spatiales. En effet les cartes par densité de points sont idéales pour voir comment les choses sont réparties dans une région géographique et peuvent révéler des tendances lorsque les points sont regroupés sur la carte.

Dans ce tutoriel, nous allons vous expliquer comment réaliser une carte Carto-Stats à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

Les « Waffle Charts » ou « Graphiques en gaufre » offrent un aperçu intuitif de proportions dans un ensemble de données et la possibilité de les comparer en fonction de différentes catégories/variables. Ils peuvent être utilisés pour mettre en avant des indicateurs de réalisation d'objectifs.

Nous allons présenter dans ce tutoriel comment réaliser ce diagramme de comparaison de proportions à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

La visualisation « Zones de Chalandise », est une carte offrant la possibilité d’identifier des zones de responsabilité ou d’influence d’un établissement, d’une entité, d’une organisation… Elle peut potentiellement être très intéressante pour un directeur commercial souhaitant définir les zones d’action de ses commerciaux.

Dans ce tutoriel nous allons vous expliquer comment réaliser une carte zones de chalandise sans utiliser de coordonnées géographiques (seulement besoin de code commune, département, région, EPCI…), sans non plus avoir besoin de programmer, grâce à la plateforme Koumoul.

Comment créer un moteur de recherche multi-critères à partir de données tabulaires (Excel, CSV, etc...), sans programmer. Vous possédez des données (personnes, événements ou inventaires d'objets par exemple) et souhaitez les rendre facilement consultables dans votre site web grâce à un moteur de recherche ?

Depuis le 30/09/2017, les données du cadastre sont disponibles en Open Data et elles sont mises à jour tous les trois mois environ.

Nous retravaillons ces données à chaque mise à jour et pouvons ainsi créer notre carte interactive du plan cadastral français pour accéder plus facilement aux informations du cadastre français. Les données sont également croisées et enrichies avec d'autres informations disponibles en Open Data, comme les plan locaux d'urbanisme (PLU) numérisés ou les demandes de valeurs foncières (DVF).

Pour pouvoir partager et valoriser ses données efficacement, il est crucial de bien les modéliser et de les contractualiser. Cela peut être réalisé avec un schéma de données. Dans le cas de données au format JSON (très utilisé pour les échanges par API), on peut utiliser JSON Schema.

En plus des échanges par API et de la validation des données, la modélisation des données permet d'aider à la définition des composants et interfaces de saisie. Ces sujets étant majeurs chez Koumoul, nous avons développé une librairie pour les frameworks VueJS et VuetifyJS qui permet de générer un formulaire de saisie à partir d'un fichier au format JSON Schema. Cela permet un gain de temps considérable dans nos projets, car on n'a plus à se concentrer sur l'interface de saisie de données, ce qui nous permet de garder plus d'énergie pour pouvoir les modéliser de manière optimale.

Comment connaître les attributs communs qui peuvent relier différentes entités ? Par exemple quelles sont les passions communes entre différentes personnes ? Quelles sont les connexions et les interactions dans un écosystème ?

Avec cette nouvelle visualisation, disponible sur la plateforme Koumoul, les données transmises sont agrégées puis présentées sous la forme d'un graphe dynamique.

Présenter visuellement un réseau ou obtenir une vue globale de celui-ci peut s'avérer plus complexe que prévu dès lors qu'il excède une certaine taille. Des solutions existent comme le schéma à main levé sur tableau Velleda ou encore le redoutable combo papier crayon ! Mais qu'avons nous côté numérique ?

Nous allons voir comment réaliser un graphe dynamique pour vos réseaux avec deux jeux de données.
L'un contenant les nœuds (sujets à associer).
L'autre contenant les liens (relations entre les nœuds).

La visualisation Géo-shapes permet représenter des aires géometriques sur un carte. Nous allons vous présenter comment projeter un plan de zonage de PLU sur une carte à l'aide de la plateforme Koumoul sans avoir besoin de programmer.

Dans notre exemple, nous allons représenter le plan de zonage de Troyes.
Vous pouvez utiliser d'autres données de zonage si vous les possédez. Les données de zonage du PLU de votre territoire sont peut être disponible sur data.gouv.fr.

Les courses de graphique à barres sont utilisées pour représenter des données évoluant dans le temps ou par rapport à des événements. Nous allons vous présenter comment réaliser cette course de graphique à barres à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

Dans notre exemple, nous allons représenter l'évolution du nombre de points des équipes de la ligue 1 au cours de la saison 2018-2019 en fonction des journées.
Pour réaliser cette visualisation, vous allez avoir besoin des données de la ligue 1, d’être connecté à votre compte Koumoul et de quelques minutes.

L'Agence de l'Environnement et de la Maîtrise de l'Énergie - ADEME à lancé son portail Open Data en Octobre 2018, avec une rubrique sur son site vitrine. Une deuxième version de ce portail, data.ademe.fr est maintenant accessible en ligne. La réalisation de ce portail est basée sur la plateforme Koumoul.

Les jeux de données sont maintenant plus accessibles grâce à un moteur de recherche, des tableaux et des visualisations de données. On vous explique dans ce post de blog ce qui change.

Un diagramme Sunburst, ou "en rayon de soleil", est une visualisation adaptée à la représentation de données hiérarchisées.

Nous allons découvrir comment réaliser ce diagramme Sunburst à l'aide de la plateforme Koumoul. Dans notre exemple, nous allons utiliser les données des subventions directes attribuées aux associations de la ville de Poitiers publiées en opendata. Nous allons voir comment ces subventions ont été réparties en fonction du secteur d'activité des associations.

Depuis le 24 avril 2019, le Ministère de l'économie et des finances met à disposition les demandes de valeurs foncières (DVF) pour les années 2014 à 2018. Les nouvelles données seront ajoutées en avril et octobre de chaque année par la DGFiP. Ces fichiers sont livrés sous format tabulaire et pour toute une année. Ils peuvent faire jusqu'à plusieurs centaines de Mo et sont donc difficilement exploitables.

Etalab (Service du premier ministre en charge de l'ouverture des données publiques) a retravaillé les données et mis à disposition, sur cette page, l'ensemble des fichiers CSV par année et par code INSEE des départements et communes. Chaque fichier fait moins de 1 Mo.

L'application Infos-parcelles de la plateforme Koumoul est une visualisation qui permet de projeter ses données sur le plan cadastral français. Nous allons voir à l'aide de cet article comment concevoir une carte interactive du cadastre contenant vos données.

Ce tutoriel décrit comment réaliser une carte qui met en évidence les différents type d'agriculture sur les parcelles proches de Toulouse. Vous pouvez zoomer sur une zone pour arriver au niveau de la parcelle et cliquer sur la parcelle pour consulter les données de cette parcelle.

Comment réaliser une carte interactive des demandes de valeurs foncières de votre commune grâce à l'application Infos-Parcelles de Koumoul ? Cette application vous permet de projeter des données sur le plan cadastral, sans avoir besoin de programmer.

Pour être publiées et réutilisées sur une plateforme de données, les fichiers doivent être bien structurés. Malheureusement, les différents fichiers que vous pouvez trouver sur internet n'ont pas tous le même format et ne sont pas faciles à réutiliser.

Dans ce tutoriel, nous allons procéder à une mise en forme d'un des fichiers de l'INSEE sur l'évolution des salaires en France pour pouvoir le réutiliser sur la plateforme Koumoul.

Les diagrammes de Sankey sont souvent utilisés pour représenter des données de flux. Nous allons voir comment réaliser ce diagramme de Sankey à l'aide de la plateforme Koumoul, sans avoir besoin de programmer.

Dans notre exemple, nous allons représenter la répartition des voix des français à l'étranger lors du premier tour des présidentielles de 2017 en fonction de leur pays de résidence et du candidat pour lequel ils ont voté. Pour réaliser cette visualisation, vous allez avoir besoin des données, d’être connecté à votre compte Koumoul et de quelques minutes.

Attention, cette application est en refonte et n'est plus disponible pour le moment. Certains liens de cet article ne fonctionneront pas. N’hésitez pas à nous contacter si vous êtes intéressé par un observatoire.

Nous avons déjà vu dans ce tutoriel, comment visualiser les différents établissements d'une entreprise.

Dans ce second tutoriel, vous allez apprendre comment restreindre les données mise à disposition par la plateforme Koumoul pour un secteur d'activité ciblé et des régions ciblés. Comme exemple, nous avons choisi les éleveurs de vaches laitières dans les régions Bretagne, Normandie et Pays de la Loire. Nous allons donc réaliser les même étapes que lors du premier tutoriel mais avec un filtre plus détaillé.

Attention, cette application est en refonte et n'est plus disponible pour le moment. Certains liens de cet article ne fonctionneront pas. N’hésitez pas à nous contacter si vous êtes intéressé par un observatoire.

L'observatoire des entreprises est une nouvelle application sur la plateforme Koumoul qui permet de créer facilement un observatoire sur un territoire à partir des données de la base Sirène. Nous allons voir dans cet article comment créer une source de données à partir des données entreprises filtrées.

Le premier cas que nous abordons est de pouvoir visualiser les différents établissements d'une entreprise.

Le géocodage est l'opération de base à effectuer en amont d'une analyse géomarketing de zone de chalandise, de performances de marché ou encore d'une analyse de la couverture d'un réseau physique d'équipement. Il permet par exemple d’obtenir une cartographie du lieu de résidence des clients d'un point de vente (sa zone de chalandise) ou un itinéraire optimum pour une tournée commerciale (source : Wikipédia).

Nous allons voir dans cet article comment géocoder des données à partir d'un fichier CSV contenant des adresses, pour pouvoir les visualiser sur une carte.

DataFair est un service opensource qui permet d'exposer des jeux de données, des configurations d'applications et des services distants (APIs). L'exposition peut se faire en mode public ou privé, la consommation des ressources doit pouvoir être limitée, et leur modification doit pouvoir être restreinte.

Cet article présente plus en détail le système de permissions que nous avons mis en place.

Le service Open Source DataFair que nous développons permet de configurer des applications pour consommer et mettre en valeur vos propres jeux de données.

Infos Localisations est dédiée aux données localisées et permet de les mettre en forme sur une carte interactive.

Nous venons de publier une version importante du service Open Source DataFair de publications de données et services associés.

En particulier les capacités géographiques sont décuplées avec le support du format Geojson pour les jeux de données.

Notre service Entreprises progresse. Aujourd'hui nous annonçons l'ajout de nouvelles données et fonctionnalités liées au bulletin des annonces civiles et commerciales.

Nous traitons tous les fichiers fournis par l'état au fur et à mesure de leurs publications. De ces fichiers nous extrayons les annonces que nous transformons dans un format JSON uniforme et que nous rendons disponibles par notre API et par notre explorateur des entreprises.

Notre service Entreprises propose des données riches sur toutes les entreprises de France et une manière puissante de les exploiter. Il est également assez simple et performant pour être intégré en temps réel dans vos portails et applications.

Aujourd'hui nous vous proposons un exemple d'intégration dans un formulaire d'une fonctionnalité de base du service : effectuer une recherche textuelle et récupérer quelques informations d'une entreprise.

DataFair permet de publier facilement ses données et de les exposer sous forme d'API, ce qui permet d'y accéder facilement de les réutiliser directement dans des applications. Bien qu'il occupe une place centrale dans notre offre de services, nous avons choisi de publier le code source sous licence AGPL.

Ce post de blog détaille les différentes raisons qui nous ont poussé à faire ce choix.

Des jeux de données de référence ont été publiés récemment en OpenData grâce au Service public de la donnée, comme le cadastre ou la base Sirene des entreprises. Mais les fichiers de ces jeux de donneés sont tellement volumineux que la grande majorité des personnes, qui ne dispose pas des outils adéquats, ne peut pas les réutiliser. A moins d'avoir une machine très puissante, il n'est pas possible de charger les 10 millions de lignes et 100 colonnes de la base Sirene dans un tableur. Et même quand on y arrive, l'outil n'est pas du tout adpaté à la navigation et a la réutilisation d'un jeu de données de cette taille.

DataFair permet de connecter facilement ses propres données à ces données de référence, lorsqu'elle sont accessibles sous forme de service.

Lorsque l'on possède des données sous forme de fichiers, il n'est pas forcément facile de naviguer dedans, ou de les réutiliser hors de l'application qui les a produites. DataFair permet de mêler facilement ses propres données à des données de référence opendata, pour pouvoir ensuite les utiliser dans des applications les mettant en valeur.

Le projet, opensource, est maintenant installable et suffisamment mature pour que nous puissions le présenter dans cet article de blog. Il est également possible de tester le service en ligne en vous inscrivant sur notre site.

Stagiaire chez Koumoul, j'ai travaillé sur la cherche d'une solution alternative de monitoring à celle déjà mise en place. Je me suis concentré sur deux solutions de monitoring en utilisant Docker.

L'une fonctionne en push et se base sur InfluxDB et d'autres services (stack TICK), l'autre en pull s'appelle Prométheus.

Le bulletin des annonces civiles et commerciales est un très bel exemple d'ouverture de la donnée publique et de transparence. C'est un filon assez naturel à exploiter pour l'enrichissement de notre service Entreprises.

Voir ce nouvel article pour des informations plus à jour sur notre intégration des données BODACC.

Les élections sont des moments essentiels dans un grande démocratie comme la France. Ce sont aussi des occasions à saisir pour parler de données et de chiffres. Rares sont les moments ou des tables de pourcentages, des estimations statistiques et des cartes colorées intéressent autant le grand public.

Nous profitons de la publication des résultats du 1er tour de l'élection présidentielle 2017 pour faire quelques exercices de mise en valeur.

Nous venons de publier une mise à jour du service Entreprises par Koumoul, il est maintenant possible d'explorer les entreprises et établissements qui ont été supprimés de la source.

Le comportement par défaut reste le même que précédemment, c'est à dire que les établissements supprimés ne sont pas présents dans les résultats. Mais il est maintenant possible de préciser dans la requête que l'on souhaite déroger à cette règle. Cette nouvelle fonctionnalité ouvre de nombreuses possibilités, du besoin le plus simple de trouver une entreprise ayant existé dans le passé jusqu'à des analyses avancées mêlant état du parc d'entreprises, créations et suppressions.

Attention, cette application est en refonte et n'est plus disponible pour le moment. Certains liens de cet article ne fonctionneront pas. N’hésitez pas à nous contacter pour plus d'informations.

Cet article présente notre application d'analyse des établissements créés récemment qui permet plusieurs usages, tant pour les professionnels que pour les particuliers. Nous allons présenter 3 cas : recherche de prospects, analyse de la concurrence et découverte de nouveautés près de chez soi.

Présentation de l'application

L'application de recherche des établissements créés récemment est une seule page composée de filtres sur la gauche et d'une carte sur la droite. Le design de la page est responsive et l'application est aussi bien utilisable sur ordinateur de bureau que sur smartphone ou tablette.

Nous avons mis à jour le service de Calques de carte par Koumoul. Il y a de nombreuses nouvelles fonctionalités que nous vous invitons à découvrir par vous même dans l'application. En voici une liste non exhaustive :

• Intégration des données du service Entreprises par Koumoul. Voir plus bas pour plus de détails.
• Support de calques de cartes sous forme de tuiles vectorielles ou images. En complément du format GeoJSON également supporté, tous les clients de cartographie principaux sont donc supportés et les scénarios d'intégration possible sont nombreux. Contactez nous si vous avez une question à propos d'un besoin d'intégration particulier.
• Rendu sous forme d'image de l'intégralité d'une carte.
• Support des autres zones géographiques que la seule France métropolitaine.
• Proposition d'un choix de style de rendu des cartes. Ce choix sera amené à être complété au fur et à mesure des mises à jour du service.

L'intégration des données du service Entreprises par Koumoul est une progression qui nous tient à coeur. Elle permet de donner une nouvelle valeur à ces données en les projetant sur le découpage administratif du territoire français conjointement aux autres données déjà disponibles (populations recensées et équipements publics).

Cet article s'adresse à un public de développeurs.

d3.js est une librairie javascript très populaire pour faire des visualisation de données. Elle est modulaire depuis sa version 4.0, ce qui permet une meilleure intégration avec les frameworks javascript récents. On peut importer uniquement les parties qui nous intéressent, ce qui permet de produire un livrable plus léger.

Cet article s'adresse à un public de développeurs.

d3.js est une librairie javascript très populaire pour faire des visualisations de données. Elle permet notamment de faire des visualisations réactives et dynamiques : quand les données changent, les visualisations évoluent de manière animée. C'est notamment cet aspect qui l'a rendue très populaire, car permettant de réaliser un effet waouh. Cependant, les principaux framework javascript permettant de réaliser des applications web utilisent également le data-binding pour leur coté réactif.

Le terme API existe depuis quelques temps, mais il est de plus en plus visible sur le Web. C'est dû en bonne partie au développement récent de l'automatisation et de la robotisation dans notre société. Cet article présente ce que sont les API Web et à quoi elles servent.

Présentation

API est l'acronyme de Application Programming Interface, ou interface de programmation applicative. C'est la liste des points d'entrée d'un programme informatique et ça permet en quelques sortes de le piloter. Il existe 2 types d'API qui correspondent à 2 manières d'interagir avec les programmes :

Cet article de blog n'est plus d'actualité
Si vous souhaitez localiser une base d'adresses vous pouvez vous référer à ce tutoriel pour géocoder votre base d'adresses.

Le géocodage permet d'enrichir des données qui contiennent des éléments d'adresse avec les coordonnées GPS correspondant. Cela permet de visualiser les données que l'on possède autrement : grâce aux coordonnées GPS, on peut les placer sur une carte. Nous allons voir dans cet article comment utiliser notre service de géocodage pour enrichir un fichier tabulaire ou l'afficher sur une carte interactive.

Le service Entreprises par Koumoul a des capacités avancées qui peuvent servir à créer de nombreuses fonctionnalités. Par exemple, avec cet article, découvrez comment répondre très simplement à cette question:

Est-ce qu'une entreprise possèdant ce SIRET existe ? Si oui, comment s'appelle-t-elle et où se situe-t-elle ?

Cet article s'adresse à un public de développeurs.

Les frameworks et librairies qui traitent de la visualisation de la donnée pour les applications Web sont légions. Par exemple, si votre objectif est de produire des graphiques standards et propres de manière très productive une librairie comme chart.js peut être d'une grande aide. Si vous souhaitez produire une visualisation de donnée très riche, personnalisée et autonome, l'écosystème d3.js sera la boite à outil idéale.

La base Sirene de l'INSEE rassemble des informations économiques et juridiques sur environ 10 millions d’établissements appartenant à tous les secteurs d’activité. Depuis le 4 janvier 2017, elle est disponible en accès libre et téléchargeable à cette addresse. Elle permet notamment de faire des études de marché, de la prospection, de la veille ou des référentiels de fournisseurs.

Problématique

Le format de téléchargement est un fichier CSV de plus de 10 millions de lignes qui correspondent a plus de 8 Go de données. Le fichier est tellement gros qu'il est impossible de l'ouvrir dans un tableur comme Excel pour pouvoir l'analyser.

Cet article présente les tuiles vectorielles, technique émergente qui permet de fournir des informations géographiques par petits paquets à un navigateur web ou une application cliente. Elles permettent de faire des rendus plus personnalisés, de naviguer dans des cartes avec plus d'interactions, tout en réduisant la quantité de données transférée entre le serveur et le client.

Principe

Les tuiles vectorielles ressemblent aux tuiles raster, mais au lieu d'être une image, les données qu'elles contiennent permettent de décrire les éléments qui la compose avec des tracés vectoriels. Au lieu d'avoir des ensembles de pixels, nous avons donc des ensembles de coordonnées de points, auxquels on peut associer plusieurs informations. Les tuiles vectorielles peuvent par exemple être au format geoJSON : chaque objet est décrit par une géométrie (point, segments de lignes, polygone, ...) et des propriétés (couleur, hauteur, ...).

Cette page est très fortement inspirée du Remote Manifesto de Gitlab et du Manifeste Asynchrone.

Nos méthodes de travail ont beaucoup évolué avec la méthode SCRUM et le développement agile. Cela a permis d'être plus réactif et de s'affranchir de la lourdeur de certains processus. Mais ce n'est pas suffisant pour profiter pleinement des potentiels offerts par le travail à distance et la mise en production continue.

Suite à la lecture de cet article sur Medium, nous avons décidé de ne pas demander de mot de passe à nos utilisateurs. Ce post reprend la plupart des arguments de l'article original, exposés dans la langue de Molière.

Constat

La plupart des sites que vous visitez et qui ont une gestion utilisateur vous demandent de créer un compte avec un nom d'utilisateur et un mot de passe, ainsi qu'une multitude d'autres informations. Au moment de choisir le mot de passe, vous avez 2 solutions :