Jeu de données principal des annotations
Visiteurs par jour par url de data.gouv.fr du 01/01/20 au 30/09/20
Les catégories de problèmes sont regroupés en famille puis en type de problèmes.
Typologie de discussion utilisée dans l'annotation
Ce fond de carte a été réalisé à partir d'[AdminExpress COG CARTO](https://wxs.ign.fr/x02uy2aiwjo9bm8ce5plwqmr/telechargement/prepackage/ADMINEXPRESS-COG-CARTO_SHP_TERRITOIRES_PACK_2022-04-15$ADMIN-EXPRESS-COG-CARTO_3-1__SHP__FRA_L93_2022-04-15/file/ADMIN-EXPRESS-COG-CARTO_3-1__SHP__FRA_L93_2022-04-15.7z), produit par l'IGN. Le fonds de carte a été généralisé, puis l'anamorphose a été réalisée grâce au logiciel [ScapeToad](http://scapetoad.choros.place/). Scapetoad utilise [l'algorithme de Gastner/Newman](https://www.pnas.org/doi/10.1073/pnas.0400280101). La projection utilisée est Lambert-93. Le principe de l'anamorphose est de rendre la surface de chaque commune proportionnelle à sa population. La correspondance n'est bien sûr pas parfaite. ![Aperçu du cartogramme](https://nextcloud.datactivist.coop/apps/files_sharing/publicpreview/dDYfzKZiRyGoQjA?x=1920&y=586&a=true&file=FYw_4ezXoAUyivB.png&scalingup=0 "Cartogramme")
Fond de carte communes de France en anamorphose selon la population 2022
Nettoyé (une colonne par candidat) et avec les codes Insee des communes.
Élection présidentielle 2012, 1er tour, par communes
Le décret n° 46-2285 du 18 octobre 1946 découpe le territoire de la commune de Marseille en 111 quartiers. Le présent jeu de données en donne le contour géographique et le nom. Il a été réalisé par agrégation des [IRIS](http://professionnels.ign.fr/contoursiris#tab-3) (édition 2015). Un jeu de données comparable [existait déjà](https://www.data.gouv.fr/fr/datasets/quartiers-de-marseille/), mais avec une précision moindre (et insatisfaisante pour une cartographie à grande échelle). Le CRS (système de coordonnées géographiques) utilisé est le WGS84.
**→ Motivations pour la création du jeu de données** Le croisement de données avec la nuance politique peut-être intéressant dans de nombreux domaines d'analyse. Or, il n'existe pas aujourd'hui de jeu de données qui répertorie la nuance politique des communes, lorsqu'elle est disponible. Ce jeu de données publié correspond donc à la nuance politique récupérée des résultats des élections municipales aux tours 1 et 2, disponibles sur [OpenDataSoft](https://public.opendatasoft.com/explore/?sort=modified\&q=Elections+municipales+2020), appliquée à la commune (une nuance par commune). **→ Composition du jeu de données** La base de données est composée des champs suivants : * **nom\_communes** : nom de la commune * **cog\_commune** : code officiel géographique (COG) de la commune (aussi appelé "code INSEE") * **siren\_commune** : numéro de SIREN de la commune * **nuance\_politique** : acronyme de la nuance politique * **famille\_nuance** : famille de la nuance politique, créée à partir de la [circulaire relative à l'attribution des nuances politiques aux candidats aux élections municipales et communautaires des 15 et 22 mars 2020](https://www.legifrance.gouv.fr/download/pdf/circ?id=44929) Les données sont disponibles au format CSV encodé en UTF-8, avec un séparateur virgule. **→ Processus de collecte et traitement des données** Les données de la nuance politique proviennent des résultats des élections municipales, [tour 1](https://public.opendatasoft.com/explore/dataset/election-france-municipale-2020-premier-tour/export/?disjunctive.dep_name\&disjunctive.com_name\&q=surname%3D%3D%22BOULON) et [tour 2](https://public.opendatasoft.com/explore/dataset/election-france-municipale-2020-deuxieme-tour/information/?disjunctive.dep_name\&disjunctive.com_name\&disjunctive.name_surname\&disjunctive.reg_name\&q=surname%3D%3D%22BOULON%22). Elles ont été traitées avec les étapes suivantes avant de les joindre aux données RNE (dans le but d'obtenir une nuance par commune) : * rassemblement des 2 jeux en 1 * création d'une colonne rassemblant le COG de la commune avec les noms et prénoms des candidats au format 'NOM Prénom' Afin de pouvoir attribuer une nuance politique à chacune des communes, nous avons réalisé une jointure à partir du RNE : les données sont extraites du fichier "elus-conseillers-municipaux-cm.csv\_", disponible sur [datagouv](https://www.data.gouv.fr/fr/datasets/repertoire-national-des-elus-1/). Ces données ont été traitées avec les étapes suivantes avant de les enrichir de la nuance politique : * filtre du libellé de la fonction de l'élu sur les maires uniquement * création d'une colonne rassemblant le COG de la commune avec les noms et prénoms du maire au format 'NOM Prénom', qui servira à la jointure (pour éviter de récupérer plusieurs partis politiques lorsque plusieurs élus ont les mêmes nom et prénom) * suppression des DCP Les 2 jeux de données ont ainsi pu être joints par la colonne du COG et nom / prénom, permettant de récupérer le code de la nuance politique à partir des résultats des élections municipales de 2020. La famille de nuance a aussi été créée à partir de la [circulaire Légifrance](https://www.legifrance.gouv.fr/download/pdf/circ?id=44929), lorsque des maires ont 2 couleurs politiques et que celles-ci ne font pas partie de la même famille, seule la première a été considérée pour attribuer la couleur politique, dans un souci de simplification des données de sortie. Enfin, le numéro de SIREN de la commune a été ajouté à partir du jeu de données "_Identifiants des collectivités territoriales et leurs établissements_" disponible sur [datagouv](https://www.data.gouv.fr/fr/datasets/identifiants-des-collectivites-territoriales-et-leurs-etablissements/), pour permettre l'enrichissement de ce jeu de données publié avec différentes sources externes. Le **script** ayant permis cet enrichissement est disponible sur github : <https://github.com/datactivist/donnees_datagouv/blob/main/RNE_enrichi_couleurPo/Script.R> **→ Diffusion du jeu de données** Le jeu de données est publié sur le portail data.gouv.fr avec le compte Datactivist sous Licence ouverte comme les fichiers ayant servi à sa création. **→ Maintenance du jeu de données** Idéalement, la mise à jour devrait être faite à chaque élection municipale. Datactivist ne s'engage pas à réaliser cette mise à jour, mais met à disposition les scripts permettant de générer de nouvelles versions. En cas de question ou de problème, il sera possible de contacter <diane@datactivist.coop> ou de poster un commentaire ci-dessous. **→ Considérations légales et éthiques** En conformité avec le RGPD, toutes les données à caractère personnel ont été supprimées.
Communes enrichies avec la nuance politique (France)
Contours géographiques des EPCI par région française. Les contours sont issus des fichiers ADMIN EXPRESS EPCI COG 2019. Ils ont été simplifiés avec la méthode Douglas-Peucker sur QGis (tolérance 0,001 degré). L'attribution d'un EPCI à une région est directement reprise du fichier suivant (2019) : https://www.data.gouv.fr/fr/datasets/depenses-culturelles-des-intercommunalites-total/
Contours géographiques des EPCI par Régions (2019)
Fournisseurs d'accès des visiteurs par jour depuis 2014
Communes et leur(s) couleur(s) politique(s)
### → Motivations pour la création du jeu de données L’analyse et la visualisation de données à l'échelle des collectivités et EPCI peuvent être entravées par le manque d’harmonisation des noms d’organisation entre les jeux de données provenant de différentes sources. Quelques exemples de variantes : * “Saône-et-Loire” versus “SAONE ET LOIRE” * “CA DE CHÂLONS-EN-CHAMPAGNE" versus “CHALONS EN CHAMPAGNE AGGLOMERATION” Ainsi, lorsque l’on cherche à croiser des données territoriales de provenances différentes, la mise en correspondance n’est pas possible puisque les noms ne sont pas identiquement les mêmes. La solution consiste donc à utiliser, pour la jointure, des identifiants uniques : * les numéros COG (Code Officiel Géographique), aussi appelés "code INSEE" - les numéros SIREN (Système national d'identification et du répertoire des entreprises et de leurs établissements). Le numéro SIREN est d’autant plus important qu’il est utilisé par l’INSEE pour identifier les EPCI, ces derniers n’ayant pas de COG. Cette correspondance, parfois difficile à produire, est essentielle pour limiter les frictions lors des croisements de données portant sur des territoires, c’est pourquoi nous avons décidé de publier ces jeux de données. ### → Composition du jeu de données Les bases de données ci-dessous reprennent, pour chaque type d’organisation (régions, départements, communes et intercommunalités), les informations qui permettent de l’identifier. On retrouve ainsi les champs suivants ; * **nom** : nom de l’organisation * **COG** : code officiel géographique de l’INSEE (pour les collectivités uniquement), disponible avec 2 ou 3 digits dans le fichier des départements * **SIREN** : numéro de SIREN (pour les collectivités et les EPCI) * **type** : type d’organisation * _REG=régions,_ * _CTU=collectivités territoriales uniques,_ * _DEP=départements,_ * _COM=communes,_ * *ARR=arrondissements (les arrondissements ont été ajoutés pour les villes de Marseille, Lyon et Paris),* * _MET=métropoles,_ * _EPT=établissements publics territoriaux,_ * _CA=communautés d’agglomérations,_ * _CU=communautés urbaines,_ * _CC=communautés de communes_ * **code\_region** : COG de la région dans laquelle se trouve l’organisation (départements, communes ou EPCI) * **code\_departement** : COG du département dans lequel se trouve l’organisation (communes ou EPCI) * **code\_departement\_3digits** : COG du département avec 3 digits donc avec un "0" pour les départements de France métropolitaine (communes) * **population** : nombre d'habitants vivants dans l'organisation * **code\_postal** : code postal correspondant, uniquement pour les communes (pour Marseille, Paris et Lyon c'est le code postal du 1er arrondissement qui a été mis) Ces différents champs sont disponibles pour 4 niveaux géographiques. 5 fichiers sont publiés : * **identifiants-regions-YYYY** : informations pour les régions * **identifiants-departements-YYYY** : informations pour les départements * **identifiants-communes-YYYY** : informations pour les communes * **identifiants-collectivites-YYYY** : informations compilées pour les 3 niveaux de collectivités (régions, départements et communes) * **identifiants-epci-YYYY** : informations pour les EPCI Les fichiers sont disponibles au format CSV encodés en UTF-8, avec un séparateur virgule. ### → Processus de collecte des données Les données sont extraites des comptes consolidés, collectés par l’observatoire des finances et de la gestion publique locales (OFGL) et mis à disposition sur leur [portail data](https://data.ofgl.fr/explore/?exclude.theme=INTERNE\&sort=title). Dans les jeux de données des comptes consolidés, chaque organisation est identifiée par son nom, ses identifiants COG et/ou SIREN, ainsi que son type. Pour limiter la taille de la base à l’import, seule 1 année (2020) et 1 agrégat (celui des dépenses totales) ont été sélectionnées, le but étant uniquement de récupérer les identifiants des organisations. Bien que les données des comptes consolidés récupérées concernent l’année 2020, les informations qui nous intéressent, c’est-à-dire celles qui permettent d’identifier les collectivités et EPCI, sont elles à jour de la dernière année de mise à jour, c’est pourquoi les différents fichiers sont datés de cette année. Ces données ont été enrichies de la [base officielle des codes postaux](https://www.data.gouv.fr/datasets/base-officielle-des-codes-postaux) pour récupérer le code postal associé à chaque commune, afin de rassembler en un fichier, tous les ids permettant l'identification des communes (code INSEE, code SIREN et code postal). Lors de la prévisualisation des fichiers, les "0" n'apparaissent pas pour les COG de 1 à 9, mais ils sont bien présents lorsque l'on télécharge la base.\ Le processus de collecte a été réalisé initialement en juin 2021. ### → Pré-traitement des données Comme visible sur le [script d’extraction](https://github.com/datactivist/donnees_datagouv/blob/main/identifiants_collTerr/Script.R), les données ont été importées puis traitées avant d’être exportées. Les manipulations consistent à garder les champs utiles énumérés ci-dessus, les renommer, les réordonner, trier les observations par COG croissant et mettre au bon format les variables. La standardisation du type d’organisation a aussi été faite pour garder 3 lettres pour les collectivités (REG, DEP, COM, ARR). Toutes les manipulations ont été réalisées sous R avec les packages _tidyverse_ et _jsonlite_ pour l’import et les manipulations, et _rio_ pour l’export. ### → Diffusion des jeux de données Les jeux de données sont publiés sur le [portail data.gouv.fr](http://data.gouv.fr/) avec le compte Datactivist sous Licence ouverte comme les fichiers des comptes consolidés de l’OFGL. Pour citer ce jeu de données, indiquer : source Datactivist (2021-07-20) ### → Maintenance des jeux de données Idéalement, la mise à jour devrait être annuelle pour intégrer les modifications du découpage administratif (fusions de communes, modification des compositions d'EPCI...). [Datactivist](http://datactivist.coop/) ne s'engage pas à réaliser cette mise à jour, mais met à disposition les scripts permettant de générer de nouvelles versions. En cas de question ou de problème, il sera possible de contacter <diane@datactivist.coop> ou de poster un commentaire ci-dessous. ### → Considérations légales et éthiques Les jeux de données d’origine ont été publiés par l’OFGL et La Poste sous licence ouverte, les informations qu’il contiennent peuvent donc être utilisées par toute personne, physique ou morale, qui le souhaite. Les données, de nature administrative et géographique, portent sur des collectivités territoriales et leurs établissements, c’est pourquoi leur collecte, ainsi que leur diffusion ne pose aucun problème éthique.
Identifiants des collectivités territoriales et leurs établissements
Extraction des données statistiques de data.gouv.fr à partir de l'API de stats.data.gouv.fr réalisée par Joël Gombin de datactivist à l'occasion de l'évènement "Open data qui veut des données brutes ?" organisée le 31 mars 2017 à Superpublic par [Datactivist](http://datactivi.st) et la [27e région](http://la27eregion.fr). Détail des champs : - Date (année-mois-jour) - label : nom du fournisseur d'accès - nb_visits : nombre de vues par jour - nb_uniq_visitors : nombre de visiteurs uniques par jour
Fournisseurs d'accès des visiteurs de data.gouv.fr depuis 2014
Extraction des données statistiques de data.gouv.fr à partir de l'API de stats.data.gouv.fr réalisée par Joël Gombin de datactivist à l'occasion de [l'évènement "Open data qui veut des données brutes ?"](https://www.eventbrite.fr/e/billets-open-data-qui-veut-des-donnees-brutes-32057837856) organisée le 31 mars 2017 à Superpublic par [Datactivist](datactivi.st) et [la 27e région](http://la27eregion.fr). Détail des champs : - Date (année-mois-jour) - label : URL - nb_visits : nombre de vues par jour - entry_nb_visits : nombre de visites entrantes par jour (lorsque cette URL est le point d'entrée sur data.gouv.fr) - exit_nb_visits : nombre de visites sortantes par jour (lorsque cette URL est le point de sortie sur data.gouv.fr)
Nombre de visiteurs par jour depuis 2014 des URL de data.gouv.fr
Mandaté par Datactivist, la Licence Professionnelle Médiations de l’Information Numérique et des Données 2020/2021, accompagnée par Samuel Goëta, a conduit un projet tuteuré ayant pour objectif d’annoter les commentaires publiés sur data.gouv.fr pour permettre leur analyse et, par la suite, la résolution des problèmes et l’amélioration de plateforme. Ce jeu de données est le fruit de ce travail réalisé par les étudiants de la Licence Professionnelle Médiations de l’Information Numérique et des Données (LP MIND) de l’Université Bordeaux Montaigne, promotion 2020/2021, dans le cadre d’un projet tuteuré encadré par Olivier LE DEUFF, maître de conférences à l'université Bordeaux-Montaigne et à l'IUT Bordeaux Montaigne, et réalisé par Florian BUCHER, Aurélien CHAIX-RENOU, Zoé DORIZY, Mathilde FERNANDEZ, Emma HERMET, Sophie METSEMAKERS, Aurore QUAGGIOTTO, Blandine SERRE, Naxan SEWDUTH. Dans le but de s'inscrire dans des bonnes pratiques, la documentation de ce jeu de données suit le modèle [Datasheet for Datasets](https://teamopendata.org/t/traduction-et-adaptation-du-modele-de-description-des-donnees-datasheet-for-datasets/1400) pour faciliter sa réutilisation par le plus grand nombre. ## Motivations pour la création du jeu de données Le site data.gouv.fr est visité par des utilisateurs de milieux différents, autant par des professionnels que par des amateurs, familiarisés à l’utilisation de bases de données ou complètement novices. Par ailleurs, les producteurs de données ne sont pas toujours formés aux bonnes pratiques de production des données ouvertes. Cette double réalité se reflète dans les commentaires, demandes d’aide, questionnements laissés par les utilisateurs sur le site data.gouv.fr. L'annotation des commentaires postés sur data.gouv.fr vise à : - Identifier les problèmes rencontrés par les utilisateurs - Tester et appliquer une typologie des problèmes - Mieux catégoriser les discussions entre producteurs et réutilisateur (actuellement dans un champ libre) - Eventuellement, si l'équipe de data.gouv.fr s'empare de ce travail, développer de nouvelles fonctionnalités, apporter des réponses appropriées et améliorer la qualité du service rendu par data.gouv.fr. Ce travail s'inscrit également dans le cadre des réflexions engagés par Datactivist pour Etalab sur la [nouvelle feuille de route open data de data.gouv.fr](https://www.etalab.gouv.fr/participez-a-lelaboration-de-la-nouvelle-feuille-de-route-open-data-detalab). ## Composition du jeu de données Le jeu de données annote l'intégralité les commentaires provenant du fichier discussions, disponible dans le [catalogue de données de data.gouv.fr](https://www.data.gouv.fr/fr/datasets/catalogue-des-donnees-de-data-gouv-fr/). Les discussions ont été téléchargées en janvier 2021 et traitées en février 2021. Le jeu de données est disponible au format CSV encodé en UTF-8, séparateurs virgule. La base de données est composée de ces différents champs : - **ID** : un identifiant unique du commentaire annoté (rajouté automatiquement par Airtable) - **ID dgf** : Il s’agit de l’identifiant unique de la discussion sur le site data.gouv.fr. - **Subject** : “Sujet”. Il s’agit du nom du jeu de données dans lequel le fil de discussion a été créé. - **Title** : “Titre”. Il s’agit du titre renseigné par l’utilisateur du fil de discussion ouvert, permettant de rapidement comprendre sur quoi va globalement porter le commentaire de l’utilisateur. - **Size** : “Taille”. Le chiffre dans le champ indique le nombre de messages présents dans le fil de discussion. Si le champ affiche “1”, alors le commentaire initial n’a pas eu de réponses. - **Messages** : “Messages”. Ici sont affichés les messages qui composent le fil de discussion. Selon ce qu’indique le champ “size”, il peut y en avoir plusieurs, indiqués par un passage à la ligne. Dans le cas d’un commentaire qui aurait été supprimé, la mention “DELETED” apparaît. - **Annotation** : Ce champ désigne la nature du problème rencontré par l’utilisateur, chaque problème étant sélectionné selon une typologie qui sera expliquée à la suite. Dans le cas où plusieurs messages sont présents dans le fil de discussion, l’annotation ne représente que le problème du premier message. Afin d’éprouver la typologie, nous avons fait le choix de ne placer les commentaires que sous un seul type de problème. - **Created** : "Créé". Il s’agit de la date (AAAA-MM-JJ) et de l’heure (HH:MM) auxquelles le fil de discussion a été créé sur le site data.gouv.fr. ## Processus de collecte des données Les données ont été collectées via le fichier discussion fourni par le site data.gouv.fr (https://www.data.gouv.fr/fr/datasets/catalogue-des-donnees-de-data-gouv-fr/). Le fichier .csv contient un total de 7961 lignes. Afin de permettre une évaluation et un cadrage efficace des nombreux commentaires de la base de données, nous avons établi une typologie des problèmes rencontrés afin de toujours pouvoir précisément indiquer l’obstacle rencontré par l’utilisateur. Cette typologie s'appuie en partie sur des travaux d’un groupe de Toronto ayant fait des recherches pour produire des indicateurs de qualité des données. De ce fait, notre typologie reprend certains de ses principes, dont des noms de catégories et certaines définitions. (https://teamopendata.org/t/toronto-outil-de-notation-de-la-qualite-des-donnees-ouvertes/1579).La typologie est séparée en différentes catégories (Accessibilité, Exploitabilité, Actualisation, Fiabilité, Compréhension, Autre), et chaque catégorie contient plusieurs types de problèmes rencontrés par l’utilisateur. La typologie figure dans les ressources associées au jeu de données. Une fois les données récupérées, l’enjeu était de pouvoir analyser et annoter dans Airtable chaque fil de discussion pour pouvoir lui attribuer un type de problème selon la typologie sélectionnée. Cette dernière a été éprouvée sur un échantillon d’une centaine de commentaires, dont le traitement a été séparé en 9, selon le nombre de participants à l’annotation. Si des problèmes étaient rencontrés lors de l’annotation, le groupe se concertait et corrigeait la typologie (ajout d’un type de problème, rectification d’une définition de problème…) Lors de l’annotation, les consignes suivantes sont appliquées : - Sélection d’un seul type de problème : impossibilité de placer deux problèmes de la typologie, par souci de précision. - Dans le cas de réponses au premier commentaire, la méthode choisie est de donner la priorité au premier commentaire, même si une réponse a été trouvée ou si le problème a été réglé par la suite. Les réponses sont toutefois prises en compte si elles permettent d’apporter de la précision au type de problème soulevé. Après cette phase d’essai, l'entièreté de la base de données à été séparée en 9 parties, selon le nombre de participants à l’annotation. Deux groupes de correction ont été créés pour permettre une reprise plus rapide des annotations de chacun. Une décision collégiale est prise pour les cas les plus compliqués, qui étaient souvent des commentaires présentant plusieurs types de problèmes et dont nous devions hiérarchiser le problème pour n'ajouter qu’un type de problème unique. ## Pré-traitement des données Il n’y a eu aucun travail de pré-traitement pour ce jeu de données. Le fichier a été récupéré en l’état, et les données brutes sont donc disponibles sur le site data.gouv.fr, en pied de page, sous le lien “catalogue des données”. ## Diffusion du jeu de données Le jeu de données est diffusé sur le portail data.gouv.fr avec le compte Datactivist sous Licence ouverte comme la licence initiale du catalogue de data.gouv.fr. Pour citer ce jeu de données, indiquer : source LP MIND 2020/2021 du 25/02/21 ## Maintenance du jeu de données Ce jeu de données est l'œuvre d’une opération ponctuelle dans le cadre d’un projet tuteuré. En raison de son caractère exceptionnel, aucune mise à jour n’est prévue. En cas de question ou de problème, il sera possible de contacter samuel/at/datactivist.coop ou de poster un commentaire ci-dessous. ## Considérations légales et éthiques Le jeu de données d’origine a été publié par data.gouv.fr sous licence ouverte, les informations qu’il contient peuvent donc être utilisées par toute personne, physique ou morale, qui le souhaite. La plateforme data.gouv.fr a prévu que tout utilisateur publiant un message, cède ses droits de propriété intellectuelle sur ces commentaires à l'administration : “les contributeurs publiant un commentaire dans une discussion cèdent leurs droits de propriété intellectuelle sur ceux-ci de façon non exclusive, à titre gracieux, pour le monde entier, pour toute la durée de ces droits.” (https://www.data.gouv.fr/fr/terms/) Le jeu de données contient le prénom et nom de l’usager et, dans certains cas, d’autres données à caractère personnelle dans le contenu du message comme des adresses électroniques. Pour des raisons de sécurité et parce que les données personnelles présentes au sein du jeu de données ne sont pas indispensables à son utilisation et à sa pertinence, nous avons retiré les noms des usagers et les adresses électroniques. Toutefois, en raison de la quantité de commentaires présents au sein du jeu de données (un peu moins de 8000), nous ne pouvons pas affirmer avec certitude qu’aucun ne portera atteinte à la vie privée, ne permettra une appréciation ou un jugement de valeur sur un utilisateur ou ne fera apparaître le comportement d’une personne pouvant lui porter préjudice mais cette responsabilité incombe en premier ressort au producteur.
Annotation des discussions publiées sur data.gouv.fr