Correspondance des champs entre les catalogues

Le moissonneur utilise l’API de CKAN pour récupérer les métadonnées des publications de DataSud.fr

Ce moissonneur attend l’URL racine de l’instance CKAN et non du portail

Exemple

CKAN

Spécifications techniques

Ce moissonneur n’est pas compatible avec les changements de modèles qui peuvent être effectués par certains plugins. Les champs d’un jeu de données doivent rester les mêmes, et le format de leur contenu aussi.

Les champs additionnels du modèle sont ignorés.

Correspondance des champs du modèle

Jeu de données

La notion équivalente au jeu de données sur data.gouv.fr (Dataset) est le Package dans DATASUD.

	DATA.GOUV.FR	DATASUD	NOTES
Slug	slug	name	Création uniquement, si disponible
Titre	title	title
Acronyme	acronym	❌
Description	description	notes
Mots-clés	tags	tags.name
Date de création	created_at	metadata_created
Date de mise à jour	last_modified	metadata_modified
Licence	license	license_id et license_title	deviné
Couverture spatiale	spatial	extras.spatial et extras.spatial-test	deviné
Couverture temporelle	temporal_coverage	extras.temporal_start et extras.temporal_end
Fréquence de mise à jour	frequency	extras.frequency	Dublin Core Frequency

Autres métadonnées

Certaines propriétés additionnelles sont conservées dans l’attribut harvest par soucis de traçabilité. Les informations de date sont sauvegardées dans ces métadonnées.

	DATA.GOUV.FR HARVEST	DATASUD	NOTES
Identifiant distant	remote_id	id
Slug	ckan_name	name	Car slug peut déjà être pris
URL de consultation	remote_url	url	Conservé dans ckan:source si URL invalide

Tous les attributs extras des métadonnées de DataSud qui ne font pas l’objet d’un traitement particulier sont aussi conservés dans l’attribut extras.

Ressource

La notion équivalente à la ressource sur data.gouv.fr (Resource) est aussi la Resource dans CKAN.

	DATA.GOUV.FR	DATASUD	NOTES
Identifiant	id	id	Un UUID valide
Titre	title	name
Description	description	description
URL	url	url
Type	filetype	resource_type	api ou remote
Type MIME	mime	mimetype
Format	format	format
Date de création	harvest.created_at	created
Date de mise à jour	harvest.modified_at	last_modified

Filtrage

La filtrage donne la possibilité d’inclure ou d’exclure un sous-ensemble de jeux de données du moissonnage.

Lorsqu’un ou plusieurs filtres sont déclarés, seuls les jeux de données remplissant toutes les conditions (ET) seront traités.

Portail multiproducteur : restriction à une organisation

Exemple de restriction à une seule organisation

Exclusion de mots-clés

Exemple d'exclusion de mots-clés

Combinaisons multiples

Exemple de combinaison de filtres

Contribuer

Le moissonneur CKAN est publié sur github dans le plugin udata-ckan. Vous pouvez donc soumettre des améliorations ou signaler des anomalies.

Métadonnées communes

Les jeux de données moissonnés possèdent les attributs suivants dans leur champ extras pour la traçabilité :

ATTRIBUT	CONTENU
harvest:domain	Nom de domaine moissonné
harvest:source_id	Identifiant technique du moissonneur
harvest:remote_id	Identifiant distant du jeu de données
harvest:last_update	Date du dernier moissonnage

Détection des licences par le moissonnage

Lors du moissonnage, la liste de référence de data.gouv.fr, disponible ici au format json, est utilisée pour détecter la licence du jeu de données distant.

Cette détection utilise les attributs suivants :

• id

• title

• alternate_titles

• url

• alternate_urls

Le meilleur moyen d’assurer une compatibilité parfaite est d’utiliser l’id sur le flux distant lorsque c’est possible.