Как работать с CKAN

Что такое CKAN?

Это продукт с открытым исходным кодом позволяющий вести каталоги открытых данных. Подробнее о нём — http://ckan.org/

Ключевые возможности CKAN:

• возможность каталогизироватть любого объёма данные;
• гибкие возможности ведения метаданных;
• наличие API для доступа к данным и их публикации;
• открытый исходный код;
• возможность написания собственных расширений;
• активное сообщество разработчиков;
• большое число внедрений – порталы Великобритании, Австралии, Канады и тд.;
• экспорт данных в RDF.

Подробнее:

• описание — http://ckan.org/features/
• исходный код — https://github.com/okfn/ckan
• API — http://docs.ckan.org/en/latest/api.html

Что такое Хаб открытых данных?

Хаб открытых данных (hubofdata.ru) – это общественный каталог открытых данных на базе CKAN поддерживаемый НП “Информационная культура” (infoculture.ru). В хабе публикуются все доступные открытые данные, импортируются данные с госпорталов открытых данных и данные создаваемые самостоятельно

Регистрация пользователя

1. Заходим в http://hubofdata.ru/user/register
2. Вводим – логин, ФИО, email, пароль.
3. Получаем письмо с подтверждением.
4. Входим по ссылке — http://hubofdata.ru/user/login
5. Копируем личный “API ключ” (если хотим использовать API)

Публикация данных

Публикуем массив открытых данных:

1. Авторизуемся на портале и заходим на http://hubofdata.ru/dataset;
2. Нажимаем “Добавить пакет”;
3. В форме вводим все данные по пакету – название, краткое название (slug), тэги;
4. Выбираем лицензию;
5. Укаываем видимость “Общественный”;
6. Нажимаем кнопку “Добавить данные”.
7. Заполняем последовательно карточки каждого ресурса;
8. Заполняем поля мета-данных (дополнительные данные);
9. Сохраняем финальный массив.

Подсказки и советы:

• для данных привязанных к году указывать его как тэг;
• использовать как тэг краткое название организации если она есть;
• обязательно привязывать данные к группе;
• загружать машиночитаемые данные – CSV, XLS, XLSX, XML, RDF и другие

Используем API

Есть 3 вида API. Полностью публичное и по авторизации.

Публичное API

• Получить список всех пакетов в JSON — http://hubofdata.ru/api/3/action/package_list
• Получить список всех групп в JSON — http://hubofdata.ru/api/3/action/group_list
• Получить список всех тэгов в JSON — http://hubofdata.ru/api/3/action/tag_list
• Просмотр индивидуального пакета — http://hubofdata.ru/api/3/action/package_show?id=mchs-orgs
• Просмотр пакетов по тэгу — http://hubofdata.ru/api/3/action/tag_show?id=2011
• Просмотр пакетов по группе — http://hubofdata.ru/api/3/action/group_show?id=moscow
• Поиск (по слову “Москвы”) — http://hubofdata.ru/api/3/action/package_search?q=%D0%BC%D0%BE%D1%81%D0%BA%D0%B2%D1%8B
• Подробнее на английском языке — http://docs.ckan.org/en/latest/api.html

API после авторизации

Требует API ключ который необходимо использовать при каждом запросе. Позволяет публиковать данные, управлять тэгами и группами.

Модули для различных языков:

• Ruby — https://github.com/apohllo/ckan
• Python — https://github.com/okfn/ckanclient
• Java — https://github.com/okfn/ckanclient-j
• .NET — https://github.com/opencolorado/.NET-Wrapper-for-CKAN-API

Подробнее в описании каждого модуля.

Примеры использования API: https://github.com/infoculture/mosopendata Импорт данных с портала data.mos.ru в хаб открытых данных.

API в формате RDF

Метаданные по каждому массиву доступны в форматах RDF / Linked Data

Массив данных (МЧС) — http://hubofdata.ru/dataset/mchs-orgs.rdf

А также заметки в файле Google Docs - https://docs.google.com/document/d/1KEzdtmMfht8f2FAac5SJ2Ix28XCQw4MyPvXpdaUVReY/edit?usp=sharing