Membrana Kids: как мы научились защищать детей в сети

В середине августа центр инноваций МТС Future Crew запустил для абонентов Москвы и Санкт-Петербурга сервис безопасного цифрового пространства для детей Membrana Kids. Он защищает детей от опасного контента в интернете и рекламных страниц. А еще от звонков незнакомцев — родители могут настроить доверенный список контактов, только от которых ребенок сможет принимать входящие вызовы. С момента запуска сервиса мы заблокировали 418 тыс. отслеживающих сайтов, 642 тыс. рекламных страниц и баннеров, а также 51,3 тыс. вредоносных ресурсов. Результат оказался настолько удачным, что мы решили запустить сервис для пользователей по всей России. Теперь мы хотим рассказать вам больше о продукте и его разработке. В этом посте менеджер по развитию Membrana Kids Арсений Эпов расскажет, как мы применяем ИИ для защиты детей, зачем привлекали психологов к разработке приложения и как Membrana Kids поможет родителям лучше узнать ребёнка.

Перед тем, как разрабатывать Membrana Kids, мы решили узнать, насколько сегодня родители обеспокоены безопасностью детей в сети. Мы провели исследование, охватившее почти 400 родителей детей в возрасте от 4 до 14 лет по всей стране. Результаты показали, что родители все чаще осознают важность цифровой безопасности для своих детей. Так оказалось, что 70% опрошенных уже принимают меры, чтобы обезопасить цифровую жизнь ребенка, еще 23% планируют начать это делать — и лишь 7% не видят в этом необходимости.

Изучив результаты опроса, мы отказались от идеи создать очередной сервис родительского контроля не нужно — их и без нас достаточно на рынке. Да и подход, при котором родитель берет под жесткий контроль активность ребенка в сети, может привести к конфликтам в семье и потере доверия между родителями и детьми.

Поэтому мы во Future Crew пошли по другому пути. Membrana Kids стала не приложением для контроля поведения детей в интернете, а сервисом для создания безопасного пространства для ребенка в сети. Наша задача сделать так, чтобы при использовании нашего приложения родитель знал, что его ребенок находится в безопасности, а ребенок понимал, что у него есть свобода, и он сам волен принимать решения. Поэтому Membrana Kids не просто запрещает посещать какие-то сайты, а подсказывает родителю при настройке приложения, какой контент может быть интересен ребенку и, в зависимости от возраста, строит для детей безопасные сценарии серфинга сети.

Ведь в нашем понимании ребенок — это исследователь интернета, а Membrana Kids — скафандр, который, с учетом его возраста и интересов, делает приключения в сети безопасными. Но как мы определяем, какой контент безопасен, а какой — вреден?

Одна из основных (но не единственная) функция Membrana Kids — фильтрация опасного и неприемлемого контента в сети. Проще говоря, сервис должен сделать так, чтобы ребёнок не мог зайти на порно-сайты, страницы с жестоким контентом или, например, сыграть в онлайн-казино. Чтобы разделять контент на безопасный и опасный, мы разработали каталог, в котором определили типы контента — всего их около 100 (например, аниме, мультфильмы, азартные игры, табак и т.д.) и прописали признаки каждого из типов контента, а также его категорию.

Всего категорий три: «безопасный», «опасный» и «вечно запрещённый». К безопасному (он доступен пользователям Membrana Kids по умолчанию) мы относим такие категории, как «мультфильмы», «музеи» или «комиксы»; опасному (может быть недоступным в зависимости от возраста ребенка, но родители вручную могут его разрешить) — «обмен файлами, электронную почту, блоги и т.д.». «Вечно запрещённый» (контент, который будет закрыт для детей всегда), это «порнография», «наркотики» и так далее.

У каждой категории есть набор свойств и признаков, благодаря которым обученная нами ML-модель определяет, содержится ли на том или ином сайте тот или иной вид контента, а затем принимает решение о запрете или разрешении доступа. Проще говоря, у нас есть база из нескольких сотен тысяч сайтов, уже проверенных нашим искусственным интеллектом и отнесена к одной из трех категорий.

Но что будет, если ребенок зайдет на сайт, которого нет в нашей базе? Например, на «зеркало» онлайн-казино. Здесь все просто — наша ML-модель сначала определит, что это новый для нее сайт, и его нет в базе, затем за несколько секунд проанализирует его содержимое и, если там содержатся запрещенные категории информации, заблокирует ребенку доступ к нему и в конце концов внесет сайт в нашу базу данных. Да, мы умеем защищать детей от опасностей в реальном времени.

Но просто идентифицировать и фильтровать опасный контент в сети мало. Ведь информация, опасная для пятилеток, может оказаться полезной для детей 12 лет и старше. Как решить эту проблему?

Наша задача заключалась не только в том, чтобы защитить детей от опасности в сети, но и в том, чтобы дать им возможность безопасно и свободно изучать интернет, исходя из их собственных интересов и потребностей. Чтобы понять, какой контент будет приемлемым (и интересным) для детей в зависимости от их возраста, мы обратились к психологам одной крупной московской сети медицинских клиник. После целого ряда встреч с ними мы определили возрастные ступени (0-5, 6-8, 9-11, 12-14 лет), по границе которых мы делим контент на доступный и недоступный.

Простой пример — если ребенку до 5 лет, то доступ на сайты с мультфильмами будет открыт, а на сайты с маркетплейсами — закрыт, а если от 12-14 — открыто будет и первое, и второе. И так по всем категориям. Таким образом мы аккуратно, буквально шаг за шагом, открываем интернет для детей. Это намного лучше запрета всех сайтов подряд, ведь таким образом ребенок не чувствует ограниченным в выборе, и интернет для него остается пространством для изучения, а не запретной зоной.

А еще мы придумали, как помочь родителям лучше понимать детей, учитывать их интересы и на самом раннем этапе распознавать риски. Для этого мы добавили в Membrana Kids возможность посмотреть топ сайтов, на которые ребёнок заходит каждую неделю. Это поможет родителям с одной стороны быть в курсе интересов детей, а с другой — вовремя узнавать о переживаниях ребенка, и быть с ним на одной волне.

Мы и дальше хотим развивать Membrana Kids, наполняя сервис новыми функциями и возможностями, учитывая в первую очередь интересы и потребности детей. Для этого мы уже проанализировали существующие решения на рынке, сформировали гипотезы, подготовили прототип новой версии сервиса, который мы покажем детям. Как только мы получим от них обратную связь, выстроим план разработки новой версии продукта.