Post on 16-Apr-2017
Система ведения государственных данных в Правительстве Москвы
Иван Фост
Инфраструктура Москвы
Взаимодействие (опыт прошлого)
Взаимодействие (опыт прошлого)
Текущая схема взаимодействия
Алгоритм работы с входными данными
Аудит всех информационных систем Правительства Москвы
Подготовка единых требований к ведению данных
Интеграция с информационными системами
Аудит системФункционирует более 400 информационных систем:Базы данных:• Oracle;• IBM DB2;• MS SQLи др.
Языки программирования:• С#;• JAVA;• PHP;и др.
Было выбрано 42 системы поставщиков данных
Единый технологический паспорт
Единый технологический паспорт
Настройка форматно-логического контроля входящих данных
Более 300 правил ведения данных для всех атрибутов.
Технические характеристики
• Хранилище – • WEB приложение – + JavaScript• Сервисы загрузки информации (SOAP) – + • Сервисы раскрытия информации (REST) – + • Внутренние сервисы системы (экспорты, импорты,
операции с файлами и т.д.) -
Единое хранилище данных
Общее описание системы• Система полностью строится на описании
метаданных, которые вносит оператор системы, при этом структура хранения данных может быть абсолютно любой
Единое хранилище данных
• Интерфейс для настройки сложных Workflow для проверки данных
• Интерфейс для настройки автозаполнения и автоизменения полей на основе данных системы
• Интерфейс для настройки фоновых процессов изменений и проверки данных
• Интерфейс для анализа данных поступающих из разных источников, с отображением расхождений и интерфейсом data steward
Сценарий работы с данными
• Публикация набора данных в сервис
Единое хранилище данных
• Создание структуры данных для работы органов власти
• Наполнение набора данных объектами
• Подписание наполнения с использованием ЭЦП (КриптоПРО)
• Копирование структуры в сегмент публикации или создание собственной структуры для публикации данных
Способы наполнения данными• Через WEB интерфейс системы• Через импорт csv файлов. Позволяет загружать
многоуровневые наборы данных. Каждый импорт настраивается отдельно на основе метаданных
• Через SOAP сервис:– Универсальные методы обмена информацией. Структура
запросов не меняется в зависимости от набора данных.
– Возможность подписания данных ЭЦП в момент передачи пакета обновления.
– Детализированные ошибки при обработке данных.
Единое хранилище данных
Описание сервиса публикации• Данные после публикации попадают в очередь
обновление кэш БД в MongoDB• После синхронизации становятся доступны в
REST сервисе• Сервис позволяет:
– Получать текущее наполнение каталога раскрытия
– Возможность осуществлять фильтрацию по атрибутам каталога
– Возможность просматривать историю изменений как объекта, так и каталога
– Возможность поиска объектов по геоданным (рядом с точкой, внутри полигона, вне полигона)
• Среднее время отклика сервиса – 500 ms
Единое хранилище данных
Текущие объемы данных
• Объектов в системе – 22 375 806• Объем БД – 1,2 Тб• Количество набор данных:
– во внутреннем контуре - 676– в контуре публикации - 480
• За октябрь добавлено новых записей – 1 581 296
Единое хранилище данных
Данные по органам властиЕдиное хранилище данных
Топливно-энергетического хозяйства
Городского имущества
По конкурентной политике
106594
383639
1139193
Департаменты-лидеры...
Инспекция по качеству сельхозпродукции
Главное архивное управление
Комитет ветеринарии
16
21
21
... и аутсайдеры
Данные по органам властиЛидеры:
– Департамент города Москвы по конкурентной политике – 1 139 193
– Департамент городского имущества города Москвы – 383 639
– Департамент топливно-энергетического хозяйства города Москвы – 106 594
Аутсайдеры– Государственная инспекция города Москвы по качеству
сельскохозяйственной продукции, сырья и продовольствия – 16
– Главное архивное управление города Москвы– 21
– Комитет ветеринарии города Москвы – 21
Единое хранилище данных
Внешнее взаимодействие с другими системами
Экспорт данных в форматах:• json;• csv;• xlsx;• docx.
По средствам API портала открытых данных:• json;• geojson.
Ссылка на API- api.data.mos.ru
Основные итоги
Устранили хаос, но проблемы с данными остались:
– потребность ведения on-line данных – не готовность системы к таким нагрузкам;
– быстрое увеличение количества информации – существующая инфраструктура требует расширения технических возможностей;
– Функционал единого хранилища данных большой и пока не все функции доступны для внешних пользователей (API открытых данных);
– Требуется всё больше связности между данными и потребностей в выдаче данных внешним потребителям.
Ключевой результат
Системный проект Правительства Москвы:
– при подготовке инфраструктуры для открытых данных наладилось межведомственное взаимодействие;
– опыт сбора и хранения такого количества данных применим для разнообразных целей, не только для публикации открытых данных.