Політика відкритих даних в Харкові бере свій початок в 2016 р., коли з метою дотримання вимог чинного законодавства у сфері доступу до публічної інформації у формі відкритих даних, що перебуває у володінні виконавчих органів, які входять до складу Апарату Харківської міської ради та виконавчого комітету, на підставі ст. 101 Закону України “Про доступ до публічної інформації”, Постанови Кабінету Міністрів України від 21.10.2015 р. №835 “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних”, були прийняті два розпорядження міського голови, щодо відкритих даних:
- Розпорядження Харківського міського голови № 50 від 22.03.2016 р. “Щодо забезпечення доступу до публічної інформації у формі відкритих даних у Харківській міській раді та її виконавчих органах”;
- Розпорядження Харківського міського голови № 63 від 18.04.2016 р. “Про затвердження Переліку наборів даних, які підлягають оприлюдненню у формі відкритих даних та перебувають у володінні виконавчих органів, що входять до складу Апарату Харківської міської ради та виконавчого комітету, і визначення періодичності оновлення цих наборів даних”.
Цими документами був визначений на той час План заходів щодо забезпечення доступу до публічної інформації у формі відкритих даних у Харківській міській раді та її виконавчих органах, а також затверджений Перелік наборів даних, які підлягають оприлюдненню у формі відкритих даних, визначення періодичності їх оновлення як на Єдиному державному веб-порталі відкритих даних, так і на власному веб-порталі відкритих даних.
В 2016 р. Харків став одним з перших міст України де був створений та впроваджений Веб-портал відкритих даних Харкова (розробник КП “Міський інформаційний центр”), який до листопада 2021 р. був доступним за URL: http://data.city.kharkov.ua/, але згідно з розпорядженням Харківського міського голови від 21.10.2021 № 194 “Про затвердження Положення про набори відкритих даних Харківської міської ради та її виконавчих органів”, портал http://data.city.kharkov.ua є архівною складовою нового Порталу відкритих даних Харкова https://opendata.kharkivrada.gov.ua.
Рис. 1. Інтерфейс головної сторінки веб-порталу відкритих даних Харкова – http://data.city.kharkov.ua/ (квітень 2016 – листопад 2021 р.р.)
За період 2016-2021 р.р. політика відкритих даних в Харкові розвивалась поступово. Так, як мінімум, є декілька розпоряджень міського голови та рішень міської ради, які стосуються забезпечення доступу до публічної інформації у формі відкритих даних та розвитку політики відкритих даних у Харківській міській раді та її виконавчих органах:
- Розпорядження Харківського міського голови № 50 від 22.03.2016 р. “Щодо забезпечення доступу до публічної інформації у формі відкритих даних у Харківській міській раді та її виконавчих органах”;
- Розпорядження Харківського міського голови № 63 від 18.04.2016 р. “Про затвердження Переліку наборів даних, які підлягають оприлюдненню у формі відкритих даних та перебувають у володінні виконавчих органів, що входять до складу Апарату Харківської міської ради та виконавчого комітету, і визначення періодичності оновлення цих наборів даних”;
- Розпорядження Харківського міського голови № 40 від 24.04.2018 р. “Щодо забезпечення доступу до публічної інформації у формі відкритих даних у Харківській міській раді та її виконавчих органах”;
- Розпорядження Харківського міського голови № 88 від 24.06.2019 р. “Щодо забезпечення доступу до публічної інформації у формі відкритих даних у Харківській міській раді та її виконавчих органах”;
- Розпорядження Харківського міського голови № 93 від 18.05.2020 р. “Про робочу групу з питань удосконалення діяльності у сфері відкритих даних у місті Харкові”;
- Рішення виконавчого комітету Харківської міської ради від 12.05.2021 № 348 “Про приєднання Харківської міської ради та її виконавчих органів до Міжнародної хартії відкритих даних”;
- Розпорядження Харківського міського голови від 21.10.2021 № 194 “Про затвердження Положення про набори відкритих даних Харківської міської ради та її виконавчих органів”.
За цей час змінювались відповідальні за підготовку, розміщення, актуальність, достовірність та оновлення інформації, що підлягає оприлюдненню у формі відкритих даних; змінювались розпорядники та переліки наборів даних; відбулися певні зміни в організаційній структурі самої міської ради (ліквідовувались, реорганізовувались або створювалися нові департаменти, управління, відділи). На сьогодні органом, що відповідає за впровадження міської політики відкритих даних є Департамент цифрової трансформації Харківської міської ради.
2021 р. став роком, коли Харківська міська рада приєдналася до Міжнародної хартії відкритих даних і, таким чином, взяла на себе зобов’язання щодо розвитку політики відкритих даних у місті, підвищення рівня прозорості та ефективності роботи міської ради та її виконавчих органів, зростання довіри населення. Затверджений План дій з реалізації принципів Міжнародної хартії відкритих даних у Харківській міській раді та її виконавчих органах розрахований на 2021-2022 р.р.
В листопаді 2021 р. впроваджено в дослідну експлуатацію новий міський веб-портал відкритих даних (на платформі CKAN) – https://opendata.kharkivrada.gov.ua/. За впровадження та належне функціонування Порталу відкритих даних Харкова відповідає Департамент цифрової трансформації Харківської міської ради.
Рис. 2. Портал відкритих даних Харкова – https://opendata.kharkivrada.gov.ua/ (листопад 2021 р.)
Співпраця щодо розвитку політики відкритих даних з міжнародними програмами технічної допомоги, центральними органами виконавчої влади та представниками громадянського суспільства
В лютому 2020 р. з метою розвитку політики відкритих даних у місті Харкові, підвищення рівня прозорості та ефективності роботи Харківської міської ради та її виконавчих органів, а також зростання довіри населення було укладено Меморандум про співпрацю в рамках реалізації проекту щодо відкритих даних між Харківською міською радою, Міністерством цифрової трансформації України та Фондом “Євразія” (Проект міжнародної технічної допомоги “Прозорість та підзвітність у державному управлінні та послугах (TAPAS)”.
На виконання меморандуму в 2020 – 2021 р.р. відбулось навчання представників розпорядників інформації Харківської міської ради та її виконавчих органів в рамках навчального проекту “Open Data Campus”, а також працівників закладів освіти в рамках навчального проекту Open Data School (онлайн-курс).
В 2019 р. в Харкові з’явився один з перших сервісів на основі відкритих даних – проект “Smart Area” (Зупинка), який дозволяє в режимі реального часу переглянути рух електротранспорту. Для цього були відкриті транспортні дані, це дозволило картографічним сервісам в режимі реального часу надавати інформацію про час прибуття та місце перебування міських тролейбусів і трамваїв. Мешканцям міста для того, щоб отримати інформацію про трамвай чи тролейбус, слід на зупинці сканувати QR-код на інформаційному табло. Можна також відкрити сайт https://smartarea.info/ua/Kharkiv та переглянути місце перебування трамваїв і тролейбусів Харкова.
Рис. 3. Інтерфейс веб-сервісу Smart Area Info (Харків: р-н Холодна Гора – Південний вокзал)
Даний сервіс створений за допомогою набору даних “Дані про місцезнаходження громадського транспорту в режимі реального часу” розпорядником якого є Департамент інфраструктури Харківської міської ради.
У співпраці з ГО “Агенція журналістики даних” (texty.org.ua) було проведено дослідження “Медицина Харкова в цифрах”. “Медицина Харкова в цифрах” – це інтерактивний дашборд про роботу системи охорони здоров’я за 2020 рік. В його основі дашборду – відкриті дані Харківської міської ради, Національної служби здоров’я України та системи «Prozorro». Дані дашборду оновлюються щоквартально. В найближчих планах співробітництва з ГО “Агенція журналістики даних” (texty.org.ua) візуалізація звернень харків’ян.
Рис. 4. Скріншот сторінки дослідження “Медицина Харкова в цифрах”
У 2020 році Харків переміг у номінації «Open Data Сity Award» за найвищі стандарти публікації відкритих даних органами місцевого самоврядування.
Аналіз оприлюднення наборів даних на Порталі відкритих даних Харкова та на Єдиному державному веб-порталі відкритих даних
- Портал відкритих даних Харкова
З листопада 2021 р. всі нові набори відкритих даних Харківської міської ради та її виконавчих органів влади, а також комунальних підприємств публікуються на Веб-порталі відкритих даних Харкова https://opendata.kharkivrada.gov.ua/, який створений на платформі CKAN (Табл. 1). Весь контент на порталі доступний за ліцензією Creative Commons Attribution 4.0 International license, яка дозволяє всім користувачам повторно використовувати, поширювати дані, що містяться на порталі з обов’язковим посиланням на джерело даних.
Таблиця 1. Стан оприлюднення наборів даних на Порталі відкритих даних Харкова (на 17.01.2022 р.)
| Стан оприлюднення наборів даних на Порталі відкритих даних Харкова | |
| Всього наборів даних | 3464 наборів даних |
| Опубліковано за процедурою харвестингу на Єдиному державному веб-порталі відкритих даних | 1592 наборів даних |
| Кількість кабінетів розпорядників на порталі | 667 |
Серед форматів, які опубліковані на Порталі відкритих даних Харкова, абсолютно переважає формат XLSX від компанії Microsoft (Рис.4). Треба зазначити, що цей формат можна вважати умовно відкритим, який публікується під ліцензією OpenXML. Але серед загальної кількості опублікованих наборів даних є також дані опубліковані в пропрієтарному форматі XLS від компанії Microsoft, що не можна вважати відкритим форматом. Аналогічні висновки можна зробити щодо наборів даних опублікованих в текстових форматах DOCX та DOC від компанії Microsoft. Публікацію наборів даних в пропрієтарних форматах DOC та XLS від компанії Microsoft треба припинити та публікувати дані в відкритих форматах DOCX та XLSX. Більш детально з опублікованими наборами даних за форматами можна ознайомитись на Рис. 5.
Щодо якості опублікованих даних, то для цього треба проводити окреме ґрунтовне дослідження, але слід констатувати, що якість опублікованих наборів даних на новому міському порталі даних є набагато кращою ніж те, що публікувалось на старому міському порталі відкритих даних.
Рис. 5. Опубліковані набори даних за форматами на Порталі відкритих даних Харкова станом на 17.01.2022 р. (абсолютні значення)
- Єдиний державний веб-портал відкритих даних
Згідно з Постановою Кабінету Міністрів України від 21.10.2015 р. №835 “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних” всі розпорядники інформації мають публікувати публічну інформацію у формі відкритих даних на Єдиному державному веб-порталі відкритих даних https://data.gov.ua/. З 2016 р., Харківська міська рада, її виконавчі органи та комунальні підприємства мають свої власні кабінети та публікують свої набори даних на Єдиному державному веб-порталі відкритих даних (Табл. 2). На 17.01.2022 р. на Єдиному державному веб-порталі відкритих даних було створено 427 кабінетів (кабінет Харківської міської ради та 426 кабінетів розпорядників інформації Харківської міської ради, її виконавчих органів та комунальних підприємств) де оприлюднено 3489 наборів даних.
Таблиця 2. Стан оприлюднення наборів даних Харківської міської ради на Єдиному державному веб-порталі відкритих даних (на 17.01.2022 р.)
| Стан оприлюднення наборів даних на Єдиному державному веб-порталі відкритих даних | |
| Всього наборів даних | 3489 наборів даних |
| Кабінет Харківської міської ради (оновлення за процедурою харвестингу) | 1592 наборів даних |
| 426 кабінетів інших розпорядників | 1897 наборів даних |
З листопада 2021 р. дані почали передаватись на Єдиний державний веб-портал відкритих даних за процедурою харвестингу. На 17.01.20 22 р. за цією процедурою вже опубліковано 1592 наборів даних. Аналогічно аналізу форматів, що були опубліковані на Порталі відкритих даних Харкова, на Єдиному державному веб-порталі відкритих даних абсолютно переважає формат XLSX від компанії Microsoft (Рис.6). Також є дані, що опубліковані в пропрієтарному форматі XLS від компанії Microsoft, що не можна вважати відкритим форматом. Аналогічні висновки можна зробити щодо наборів даних опублікованих в текстових форматах DOCX та DOC від компанії Microsoft. Публікацію наборів даних в пропрієтарних форматах DOC та XLS від компанії Microsoft треба припинити та публікувати дані в відкритих форматах DOCX та XLSX.
Рис. 6. Опубліковані набори даних за форматами (процедура харвестингу) на Єдиному державному веб-порталі відкритих даних станом на 17.01.2022 р. (абсолютні значення)
Висновки та рекомендації
На основі проведеного аналізу розвитку політики відкритих даних Харківської міської ради та аналізу оприлюднення наборів даних на Порталі відкритих даних Харкова та на Єдиному державному веб-порталі відкритих даних можна зробити наступні висновки та рекомендації.
Зважаючи на отриману інформацію щодо розвитку політики відкритих даних Харківської міської ради, то слід зазначити, що у місті є чіткий перелік наборів даних, які підлягають оприлюдненню у формі відкритих даних. Є чітке бачення подальшого розвитку політики відкритих даних загалом. Харків приєднався до Міжнародної хартії відкритих даних та взяв на себе певні зобов’язання щодо розвитку політики відкритих даних:
- затверджено Розпорядження Харківського міського голови від 21.10.2021 № 194 “Про затвердження Положення про набори відкритих даних Харківської міської ради та її виконавчих органів”;
- створено новий Портал відкритих даних Харкова на спеціалізованій платформі CKAN;
- визначено орган, що відповідає за впровадження міської політики відкритих даних. Департамент цифрової трансформації Харківської міської ради має забезпечити впровадження та належне функціонування Порталу відкритих даних Харкова (opendata.kharkivrada.gov.ua) та постійно оновлювати інформацію на Порталі відкритих даних.
В самому Положенні про набори відкритих даних Харківської міської ради та її виконавчих органів визначені набори даних, які публікуються всіма розпорядниками на Порталі, а також визначені строки публікації та оновлення даних.
Крім того у структурних підрозділах Харківської міської ради визначено відповідальних осіб за оприлюднення та оновлення наборів відкритих даних розпорядника інформації та відповідальних осіб, які здійснюють адміністрування персонального кабінету розпорядника інформації на Порталі з можливістю взаємозамінності.
Окремо слід зазначити, що дані з порталу відкритих даних Харківської міської ради автоматично публікуються за процедурой харвестингу на Єдиному державному веб-порталі відкритих даних data.gov.ua та проходять там етап премодерації згідно постанови КМУ від 21 жовтня 2015 р. №835 “Про затвердження Положення про набори даних, які підлягають оприлюдненню у формі відкритих даних”.
Але, під час аналізу, були виявлені і певні проблеми, які в тій чи іншій мірі заважають повноцінному розвитку відкритих даних Харкова. Такими проблемами є:
- Не всі, обов’язкові для ОМС набори даних (згідно Постанови №835), є дійсно опублікованими на Порталі відкритих даних Харкова та на Єдиному державному веб-порталі відкритих даних (Перелік наборів даних в рекомендаціях).
- Деякі опубліковані набори даних на Порталі відкритих даних Харкова та на Єдиному державному веб-порталі відкритих даних не є валідними.
- Є певна відсутність явного попиту з боку громадськості та бізнесу до відкритих даних, а від цього є слабо розвинена екосистема відкритих даних. Тобто є майже відсутні працюючі міські додатки чи сервіси, які використовують відкриті дані саме міста.
Рекомендації:
Зважаючи на те, що робота з політики відкритих даних у Харківській міській раді є достатньо системною з 2016 р., то рекомендації можуть стосуватись, перш за все, покращенню якості даних та організації зворотного зв’язку з потенційними користувачами цих даних.
Рекомендація 1. Потребують публікації на Порталі відкритих даних Харкова так і на Єдиному державному веб-порталі відкритих даних , як мінімум, 17 наборів даних:
- Перелік інвестиційних договорів, додатків, додаткових угод та інших матеріалів до них, умов, у тому числі посилань на оприлюднені ресурси в Інтернеті
- Дані про місце розміщення зупинок міського електричного та автомобільного транспорту
- Дані про зелені насадження, що підлягають видаленню, відповідно до виданих актів обстеження зелених насаджень
- Адресний реєстр
- Дані про видані будівельні паспорти
- Дані містобудівного кадастру, у тому числі геопросторові дані
- Перелік об’єктів комунальної власності, які можуть бути передані в оренду (до дати, визначеної підпунктом 1 пункту 1 розділу “Прикінцеві та перехідні положення” Закону України “Про оренду державного та комунального майна”)
- Схеми планування території областей, схеми планування території районів, генеральні плани населених пунктів, плани зонування території, детальні плани території, містобудівна документація територіальних громад, їх проекти (відповідно до повноважень
- Перелік земельних ділянок комунальної власності, що пропонуються для передачі у власність громадян та юридичних осіб або для надання у користування
- Перелік орендарів, з якими укладено договори оренди землі комунальної власності
- Дані щодо ремонту автомобільних доріг місцевого значення
- Реєстр містобудівних умов та обмежень
- Дані про місцезнаходження комунальних контейнерів (за категоріями), контейнерних майданчиків, місць прийому небезпечних відходів, вторинної сировини
- Дані про накладені штрафи за порушення правил паркування транспортних засобів
- Дані про розташування захисних споруд цивільного захисту комунальної власності
- Дані про місцезнаходження зарядних станцій для електричного транспорту
- Дані про розміщення тимчасових споруд для провадження підприємницької діяльності
Рекомендація 2. Враховуючи те, що деякі опубліковані набори даних на Порталі відкритих даних Харкова та на Єдиному державному веб-порталі відкритих даних не є валідними, то треба привести їх у відповідні формати (Перелік невалідних наборів даних Департаменту житлово-комунального господарства Харківської міської ради, які потрібно виправити):
- Дані про облік громадян, які потребують поліпшення житлових умов (квартирний облік)
- Перелік заяв щодо безоплатної приватизації земельних ділянок громадянами
- Дані про вилов, стерилізацію та ідентифікацію безпритульних тварин
- Дані про місцезнаходження зон для вигулу домашніх тварин
Рекомендація 3. Треба забезпечити максимально зручне використання даних для повторного використання. Тобто, дані мають бути доступними у відкритому (непропрієтарному) машиночитаному форматі. Дані Харківської міської ради при публікації повинні бути пов’язані з відкритою ліцензією, бути машиночитаними та не пропрієтарними.
Формат CSV. Треба зазначити, що формат CSV є одним з найбільш широко розповсюджених та прийнятних форматів для публікації відкритих даних. Цей формат орієнтований на повторне використання. Добре зберігаються дані у форматах CSV за допомогою табличного редактору LibreOffice Calc, хмарного табличного редактору від Google – Google Sheets (Google Таблиці). Щодо зберігання даних у форматі CSV в Microsoft Excel, то є певні застереження.
Формат XLSX та DOCX (формати від корпорації Microsoft під ліцензією Office OpenXML). Публікацію наборів даних в старих пропрієтарних форматах DOC та XLS від корпорації Microsoft треба припинити та публікувати дані в відкритих форматах XLSX та DOCX.
Звичайно, що формат даних XLSX – є найбільш відомим та зручним. Формат даних XLSX легко створити та можна прочитати у більшості табличних редакторах. Проте формат даних XLSX перестає бути машиночитним, якщо порушена структура рядків і стовпців (заголовки замість рядків таблиці, об’єднані комірки). Такі дані не дозволяють автоматичну машинну обробку. Це значно знижує їх якість та доступність.
Ще одне обмеження формату даних XLSX полягає в тому, що табличний редактор Microsoft Excel не зовсім коректно зберігає дані у форматі CSV.
Microsoft Excel за замовчуванням зберігає CSV у кодуванні операційної системи Windows, з розділювачем “;” і комами замість крапок в нецілих числах.
Рекомендується для публікації даних використовувати формат даних JSON – це ієрархічний формат даних. Ієрархічний формат даних дозволяє вийти за межі структури колонок і рядків.
Формат JSON можна прочитати в більшості програмних застосунків. Цей формат чудово підходить для передачі даних в мережі Інтернет, зокрема через інтерфейс прикладного програмування (АРІ). З назви випливає, що JSON оптимальний для роботи з Java Script.
Маєте великий ієрархічний масив даних – обирайте JSON. Завдяки ієрархічній структурі такі формати дозволяють зменшити розмір файлу з ієрархічними даними. Незважаючи на те, що JSON відносно легко читати і редагувати людині, цей формат даних краще створювати машинним шляхом. Наприклад, багато баз даних дозволяють експортувати дані у JSON, втім як і в інші відкриті формати. Якщо редагувати JSON вручну, перед публікацією варто перевірити файл на наявність помилок. Дані в JSON мають бути у кодуванні UTF-8, аби не спотворити символи і щоб файл легко було прочитати на інших комп’ютерах.
Рекомендація 4. Сутність відкритих даних, зокрема, полягає в оприлюдненні дезагрегованих, «сирих», первинних наборів даних – на тому рівні деталізації, на якому ці дані накопичуються у розпорядника (тобто всі можливі транзакції, записи тощо), які у подальшому можуть бути легко та автоматизовано оброблені й проаналізовані, агреговані у певну статистику, поєднані у певний сервіс тощо.
Таким чином, при оприлюдненні даних розпорядник інформації не повинен навмисно або ненавмисно агрегувати дані з метою демонстрації певної статистики, а навпаки, має оприлюднювати дані без попередньої обробки (крім випадків конвертації у визначений формат та деперсоніфікації).
Рекомендація 5. Зважаючи на те, що Харківською міською радою вже започаткований навчальний проект Open Data School, то доцільним є продовження цього освітнього проекту. Крім того, для більш дієвого зворотного зв’язку з потенційними користувачами міських відкритих даних, доречно провести тематичні хакатони чи ідеатони на яких можна обговорити чи створити прототипи певних сервісів на основі міських відкритих даних.
Загалом, треба констатувати, що відсутність вираженого попиту зі сторони громадськості на відкриті дані міста – є свідченням слабкої комунікації щодо розбудови екосистеми відкритих даних Харкова (обмаль додатків чи сервісів). Необхідно впроваджувати більш дієву комунікацію з потенційними стейкхолдерами відкритих даних в місті. В той же час, більш широке залучення студентської спільноти вищих навчальних закладів Харкова, а також заохочення їх до використання відкритих даних. Це є достатньо перспективним варіантом розширення практики використання відкритих даних в Харкові. Все це буде сприяти створенню екосистеми відкритих даних та популяризації відкритих даних в Харкові.
Дієвим шляхом розвитку відкритих даних Харкова буде також започаткування чи створення нових навчальних і освітніх проектів, що стосуються відкритих даних міста загалом, та обізнаності чи практичного розуміння цінності відкритих даних міста для громадян і бізнесу.
Автор Артем Серенок, експерт з аудиту даних, доцент кафедри цифрових технологій та електронного урядування ХНУ ім. В.Н. Каразіна.
26 січня 2022 року спільнота OpenUp організувала дискусію за участі Харківської міської ради. Відео заходу можна переглянути за цим посиланням https://www.facebook.com/watch/?v=1048710645861468.
Подія та вказаний матеріал були розроблені в рамках проекту RAPID, що реалізується за підтримки відділу преси, освіти та культури Посольства США в Україні, а також у партнерстві з Американськими Радами і програмою Open World Ukraine.
Погляди учасників заходу та авторів не обов’язково збігаються з офіційною позицією уряду США.