По мотивам саги СБУ против Ю-Контрол

Ранним утром сотня служивых людей, по решению судьи, пришли проверять, что такое делает Ю-Контрол и где хранит тайные знания, которые могут навредить согражданам. Пришли, в общем то, скорее по не разумению и не пониманию, чем со злым намерением. И тут можно долго ломать копья по поводу профессиональной компетенции и знания закона.

Но надо отдавать себе отчет, что эти служивые и не должны Закон трактовать. Для этого есть суд.

Из тонкой струйки информации о происходящем, мы видим только заявления сотрудников и руководителей компании Ю-Контрол. Потому судить объективно, нет возможности. Но даже из этого источника, можно почерпнуть какие-то сведения.

И так. СБУ решила провести проверку законности получения и использования данных из государственных реестров и баз данных, компанией Ю-Контрол. Подозревая, что они получены не легальным путем. То, что эти данные открытые и общедоступные, тут не имеет значения. Речь идет о способе и методе. Простой пример, что бы понимали все. Скажем, у Вас во дворе любят собираться матери с колясками и детьми. И Вы решили установить там пару столиков и скамеек, для их удобства. Двор Ваш общего пользования и общедоступен. Но по соседству с Вашим двором, находиться ресторанчик, у которого мало столиков, а клиентов много. Официанты решили, да в чем проблема… По соседству пустуют столики, а нам не сложно пройти лишних 50 метров… И ресторанчик начал обслуживать своих клиентов на этих столиках. Выглядит это вполне прилично, потому что ресторанчик, усадил там своего «столбового», что бы никто столик не занимал, а когда приходит клиент, то просто уходил.

Вроде как все чинно и не противоречит Закону… Разве?
Именно в этом и скрывается суть того, что происходит с Ю-Контрол. Действительно, государственные органы, должны предоставлять доступ к данным реестров, если они открыты и общедоступны. И они это делают. Они на свои сайтах размещают системы поиска по своим реестрам, что бы любой человек (тут это важно ЧЕЛОВЕК), мог ввести свой запрос и получить данные из реестра. Опыт показывает, что темп обращений на сайте равен (для последующего сравнения будем использовать километры в час) 20км/ч. Ну прибавили еще на рост и создали сайт который может выдерживать 30км/ч./Человек заходя на сайт не имеет проблем с получением информации, все работает прекрасно, все удовлетворены. Но есть одна сложность, эти данные можно посмотреть на экране, сделать себе скриншот или распечатать. Для Человека это приемлемо.

Но данные в таком виде не возможно использовать ни в одной автоматизированной системе, не говоря уже о затратах на перенос этих данных в ручном режиме. И тут в помощь приходит понимание как информация выводиться на экран Человеку. По сути, то что видит человек, это интерпретация определенной структуры, которая передается сайтом на компьютер Человека, эта структура передается в текстовом виде и ее можно прочитать. В общем то, каждый из Вас может это сделать, открыв исходный код страницы. Играйтесь. И тут на арену выходит великий ПАРСЕР. Это некая программа, которая обманывает сервер и говорит, что она человек, но она получает внутрь себя этот исходный код и не хитрыми (тут зависит от сайта) методами вычитывает нужные данные и вносит их в базу данных. Но ПАРСЕР не Человек, он робот и ему курить, пить кофе, крутить мышкой, не надо. Он быстрый и на то, что надо человеку минута времени, он делает за долю секунды.

Вы спросите. Так что тут плохого? Отвечу. Мы помним, что сайт был рассчитан на скорость на скорость 30км/ч. Парсер двигается со скоростью 300км/ч. Это все равно, что около школы или детского садика, решили провести свои гонки стритрейсеры…. Хотя дорога общедоступная и публичная, но на ней весит знак ограничения скорости 30км/ч, езда по ней со скоростью 300км/ч запрещена и опасна, такая скорость создает проблемы для всех других пользователей этой дороги.

Все ухудшается, когда на такой скорости Парсер двигается регулярно по этой дороге. А это безальтернативно, так как в случае, если нам нужно контролировать изменение информации, то мы будем постоянно делать запросы к сайту. И чем меньше будет период обновления, тем чаше, парсер будет «проноситься» по нашей дороге.

И тут мы вспоминаем, про то, почему Суд дал добро на проведения следственных мероприятий по Ю-Контрол. Они получают данные из открытых источников, в том числе методом парсинга (пока, к сожалению, руководство Ю-Контрол, это не опровергло и не представило публично договора с распорядителями реестров, в которых был бы указан другой метод получения информации). И это использование информационных систем государственных органов, которые предназначены для обслуживания Человека – «столики во дворе», для сбора данных не предусмотренным системой образом – со скоростью 300км/ч, для получения коммерческой выгоды – «ресторанчик».
Вот суть того, что происходит.

Конечно, в этом вопросе есть много подводных камней. Есть много мнений по поводу то, является ли парсинг проблемой. Но можно уверено сказать, что парсинг сайта, который рассчитан на работу с ним «живого» пользователя, создает проблемы для других пользователей этого сайта. И по своей сути является негативным вмешательством в работу системы.

Что бы избежать таких коллизий, государственные органы должны или увеличить производительность своих систем или предоставить для таких как Ю-Контрол, специальные средства получения данных. И такие способы есть, это API (Прикладной Программный Интерфейс), который как раз и служит для целей, которые ставить перед собой Ю-Контрол. Конечно, не у вех реестров есть свой API, и надо работать с распорядителем реестра для его создания и это может быть платным. Но другой альтернативы нет.

Использовать столики для отдыха матерей с детьми для коммерческой выгоды и носиться около школы на скорости 300км/ч – неправильно и предосудительно. Хотя формально , не запрещено. И это отдельный повод для усовершенствования правил, нормативов и законодательства.

Я специально не трогал вопросы самих данных, хотя ознакомившись с услугами Ю-Контрол, у меня есть ряд вопросов. Например, где они взяли данные финансовой отчетности предприятий, если реестр юридических лиц их не публикует и даже не имеет, а службе статистики напрямую Законом запрещено ее кому бы то ни было предоставлять. Как Ю-контрол осуществляет построение сетки связанных с предприятием лиц, если Законом, реестру юридических лиц напрямую запрещено публиковать код ИНН, даже по ФОП, не говоря уже про директоров и учредителей компаний. Они или получили этот идентификатор не законным способом, или вводят своих пользователей в заблуждение, так как только по данным ФИО не возможно объективно построить такое дерево.

В любом случае. Открытые данные это будущее. И оно требует четких правил регулирования и собственной культуры. В том числе и культуры собирания данных. И хотя, действия СБУ и создают проблемы для конкретной компании, но это своего рода наработка, так необходимых правил и ограничений. Того, что будут использовать другие, для ведения подобной деятельности.
Отдельно хочу сказать пару слов журналистам. Меня просили без мата…