Не делайте из искусственного интеллекта «врага народа»

5 419 26
Не делайте из искусственного интеллекта «врага народа»


На грани Интеллекта


В военном деле и в сфере безопасности искусственный интеллект (ИИ) применяется сегодня достаточно широко и почти без разбора, откуда и как он оказался в той или иной структуре, на каком-либо конкретном предприятии. И дело не только в том, что на сегодня все ведущие игроки рынка «оборонки», такие как Россия, Китай и США, активно, точнее — просто агрессивно, применяют такие технологии.



Но сегодня всё ярче выявляется и обратная сторона медали – немалый вред, который ИИ может нанести обороне государства в плане утечек данных. В 2023 году весь мир громко обсуждал скандал с утечкой данных ЦРУ по поводу СВО России на Украине и деятельности ЧВК «Вагнер». Тогда нашли очередного «стрелочника»: авиатора первого класса Джека Тешейру, который, якобы, всё это и сливал в открытые источники.

Всё это можно было бы в очередной раз отнести к категории «их нравы», поскольку ни в одной армии мира в звании, равноценном нашему ефрейтору, не может иметь доступа к данным такой важности. Но если не обращать взор на ту сторону океана, то может выясниться, что и в России хватает таких потенциальных Тешейр.

Когда же речь идёт о сервисах на базе ИИ, риск от их деятельности, как это ни странно, хотя что тут странного, первыми несут люди. Нейросети при обработке информации, несмотря на опережающее развитие, подвержены ошибкам, и это, похоже, надолго, если не навсегда.


Но именно поэтому горе-разработчики додумались подключать к процессу людей на краудсорсинговых платформах. И человек в этом случае или доделывает работу, или же полностью выполняет её за искусственный интеллект. И в так называемом краудсорсинге всё чаще принимают участие случайные люди, работающие на удалёнке.

Это они отнюдь нередко имеют все возможности получать доступ к очень чувствительным и порой секретным данным для оцифровки. К ним они априори доступа иметь не должны, но есть же просто доступ к системе, откуда попасть в информационные закрома для настоящего профессионала не проблема.

В списках не значатся


Печальных примеров подобных ИИ-сервисов уже, к сожалению, достаточно много. Чего стоит, к примеру, громкий скандал, произошедший вокруг популярного сервиса распознавания Dbrain, работающего как раз по такой схеме с привлечением краудсорсинговых площадок.

Здесь просто необходимы некоторые подробности для непосвящённых. Эта компания передает изображения с паспортными данными не куда-нибудь, а на платформу «Яндекс. Задания» (до разделения Яндекса это был проект «Толока»). И уже на ней люди вручную буквально за копейки перебивают данные из российских паспортов.

При этом стать краудсорсером и работать удаленно очень несложно. Физически невозможно установить контроль за каждым оператором, который вроде бы занят примитивной забивкой данных. Это и создает практически идеальные условия для тех, кто имеет намерения похитить важные данные.

С какой целью, объяснять не приходится – в лучшем случае просто продать, в худшем – нанести вред государственной безопасности. Конечно, эти же люди могут по злому умыслу или без него выступить в роли дропперов – передавать полученную информацию третьим лицам, включая сотрудников вражеских спецслужб.

А среди клиентов той самой Dbrain указаны, между прочим, наши «Госуслуги», которые в наши дни активно и практически непрерывно атакуются врагом. Известно, что компания не раз пренебрегала безопасностью данных своих клиентов, при этом открыто заявляя о том, что там всех обучал ИИ на 1 млн паспортов, полученных от МФО.

И это далеко не единственный сервис, чьи принципы работы с данными граждан и организаций компрометируют пользователей. По аналогичной «бизнес-модели» устроена и компания «Биорг», у которой в анамнезе серия грандиозных скандалов с ЗАГСами и банкротством.


«Атомный» заказ


Просто удивительно, но даже после них ей доверили оцифровку документов Калининской АЭС в Тверской области. А среди этих документов были и чертежи, по которым можно определить расположение реакторов, и даже рабочие проекты самих реакторов. Но об этом чуть позже.

«Биорг» успел крупно вляпаться в неприятную историю в Татарстане и раньше, незадолго до получения госзаказа на работу с Калининской АЭС. И уголовное дело по этому поводу уже шло полным ходом.

Наконец, в марте 2024 года татарстанские правоохранители заподозрили, что часть денег, выделенных правительством на цифровизацию ЗАГСа республики, были незаконно присвоены его сотрудниками. Спустя четыре месяца была задержана экс-начальник управления ЗАГС кабмина Татарстана Гульшат Нигматуллина.

Сейчас она содержится в СИЗО — ей вменяют присвоение премий за оцифровку документов республиканских архивов. Но никого всё это не остановило. И это при том, что Калининская АЭС выдает мощность в Объединенную энергосистему Центра по высоковольтным линиям на Тверь, Москву, Санкт-Петербург, Владимир, Череповец.

Благодаря своему географическому положению эта АЭС осуществляет высоковольтный транзит электроэнергии в стратегически важные предприятия и индустриальные центры европейской части страны. А в «Биорге» даже не скрывают, что для оцифровки «атомных данных» широко используют удалённых операторов краудсорсинговой платформы.

В компании публично заявили: «Почти 50 процентов документации мы обработали с помощью ИИ-системы распознавания». Это значит, что больше половины проектных, рабочих и исполнительных документов крупнейшего энергообъекта центральной России прошла через руки краудсорсеров.

Впору задать вопрос: как при всей прозрачности информации о работе краудсорсинговых сервисов с ИИ руководство Калининской АЭС разрешило применение такой схемы для обработки технической документации? Чем руководствуются компании и государственные службы, подключая такие ИИ-сервисы с тысячами потенциальных «сливных бачков» для работы с паспортами и другими важнейшими документами?

Бить не по паспорту


Любой специалист по информационной безопасности со студенческой скамьи знает, что любая передача информации несёт увеличение риска утечки данных. Тем временем мошенники уже не первый год хвастаются в телеграм-каналах, что готовы сделать поддельные документы любых стран, которые проходят проверку на специальном оборудовании.

Кто же поставщик такого оборудования — компания «Регула», уже ставшая однажды героем одной из наших публикаций (Перейти границу у реки...) Напомним, эта компания позиционирует себя в России как белорусская, но сама при этом зарегистрирована в Латвии со штаб-квартирой в Даугавпилсе.

Для проверки документов, конечно, используются алгоритмы ИИ, и тут важно отметить, что «Регула» больше двадцати лет разрабатывает решения на Украине. Украинская «дочка» компании – «Регула Форензикс УА» и лаборатория LAD созданы на базе Киевского политехнического института.

Несмотря на то, что связи «Регулы» с Латвией и Украиной не известны только ленивому, компания продолжает работать с ключевыми российскими инфраструктурами – например, с Центральным таможенным управлением РФ. До этого у нее были контракты с Гознаком, ФПК и даже Объединенной ракетно-космической корпорацией, а в 2019 году – с паспортно-визовым сервисом МВД РФ.

Думаем, все согласятся, что обсуждать в 2025 году, безопасно ли использовать украинский ИИ для проверки паспортов в России, — совершенно бессмысленно. Если представить себе, какой объем важнейших персональных данных проходит через «нечистые» руки под прикрытием ИИ, становится страшновато.

Комментарий пресс-службы Калининской АЭС:
В связи с появившейся в ряде СМИ информацией о якобы имевшем место доступе IT-компании «Биорг» к секретной документации Калининской АЭС сообщаем, что данный подрядчик проводил на атомной станции работы по оцифровке технической документации, содержащей открытую информацию (проектную, рабочую и исполнительную документацию, хранящуюся в техническом архиве производственно-технического отдела Калининской АЭС), не имеющую ограничений на информационный обмен.

Работы проводились подрядной организацией в строгом соответствии с установленными стандартами безопасности Госкорпорации «Росатом». Эти работы осуществлялись непосредственно на территории режимного объекта - атомной станции, что гарантирует соблюдение всех требований безопасности.

Доступ к документам имели исключительно квалифицированные сотрудники с соответствующим допуском. Таким образом, информация о том, что доступ к чертежам и другой документации мог получить любой желающий, не соответствует действительности и является ложной.

Подрядчик для выполнения данных работ был выбран на основе конкурсной процедуры, проведенной на электронных торговых площадках, что обеспечивает прозрачность и объективность выбора. Более того, выбранная организация прошла проверку отделом экономической безопасности на соответствие всем требованиям для выполнения условий тендера.

Таким образом, все работы по оцифровке документов Калининской АЭС были проведены с соблюдением всех необходимых мер безопасности, установленных Госкорпорацией «Росатом».
26 комментариев
Информация
Уважаемый читатель, чтобы оставлять комментарии к публикации, необходимо авторизоваться.
  1. 0
    4 марта 2025 04:08
    В нашей стране врагом народа стали чиновники, а ИИ может стать для этого класса «трудяг» тем самым серпом, что отсекает ненужное (или то, чем уже забыли, как пользоваться)...
    ИИ может гарантированно избавить человека от рутинной работы, не требующей творческих проявлений, заменить тысячи разных «контролёров»...
    1. -2
      4 марта 2025 04:45
      …немалый вред, который ИИ может нанести обороне государства в плане утечек данных.

      Спасибо авторам за описание рисков и проблем с применением т.н. ИИ при обработке массивов данных.

      Правильнее сказать, что виной этим результатам - недостатки интеллекта у чиновников, принимающих решения об использовании алгоритмических методов в цифровизации, организации и анализе данных.

      Следующее всем известно: мусор на входе системы - мусор-же и на выходе. Для Марковской цепи экологии ИИ справедливо следующее: недостатки интеллекта в любом из звеньев цепи, могут быть лишь вырасти в последующих ее звеньях, вне зависимости от их интеллекта. Только обратная связь и калибрующие испытания каждого из звеньев, доказывающие пригодность каждого, могут уменьшить риски и проблемы применения ИИ, и уменьшить вероятность накопления ошибки на выходе ИИ системы.
    2. -5
      4 марта 2025 06:18
      Цитата: yuriy55
      В нашей стране врагом народа стали чиновники, а ИИ может стать для этого класса «трудяг» тем самым серпом, что отсекает ненужное (или то, чем уже забыли, как пользоваться)...
      ИИ может гарантированно избавить человека от рутинной работы, не требующей творческих проявлений, заменить тысячи разных «контролёров»...

      Да ладно...
      Вы это серьезно?
      Главный чиновник - президент. Чуть менее главные - все его помощники.
      Они все продвигают цифровизацию. Вы думаете они сделают это на пользу народа и во вред себе?
      Не дождетесь!
      1. +6
        4 марта 2025 08:33
        Цитата: Владимир-ТТТ
        Они все продвигают цифровизацию. Вы думаете они сделают это на пользу народа и во вред себе?

        в Росреестр - народ занимал очередь в 3 часа ночи и дрался за места в ней. И это было буквально вчера, в 2000е.
        Цифровизация
        1)ликвидировала очередь
        2) практически ликвидировала коррупцию
        3) сократила сроки регистрации.

        Вы хотите обратно в очередь морды бить с криком :"Вас тут не стояло!!!"©??!!!

        В таможне цифровизация уменьшила коррупцию процентов на 90 - электронные декларации (99% было к 2016)обрабатывают в ЦЭДах- где связь коррупционная невозможна технологически. Некому давать....
        То ли дело раньше lol

        Это ж явно во вред народу, да??
        1. -9
          4 марта 2025 09:09
          Цитата: свой1970
          в Росреестр - народ занимал очередь в 3 часа ночи и дрался за места в ней. И это было буквально вчера, в 2000е.

          А что делать в росреестре простому человеку?
          И про какой город вы говорите?
          Я что то не припомню, зачем мне туда надо было туда обращаться?
          Цитата: свой1970
          В таможне цифровизация уменьшила коррупцию процентов на 90 - электронные декларации (99% было к 2016)обрабатывают в ЦЭДах- где связь коррупционная невозможна технологически. Некому давать....

          Я опять этого не знаю. Зачем таможня?
          Вы, кстати, чем занимаетесь, если в курсе этих вопросов?
          1. +7
            4 марта 2025 09:53
            Цитата: Владимир-ТТТ
            А что делать в росреестре простому человеку?
            И про какой город вы говорите?
            Я что то не припомню, зачем мне туда надо было туда обращаться?

            Вот не поверите - самое большое количество обращений в МФЦ - это паспорта и Росреестр.
            "Количество обращений граждан в МФЦ в 2021 году стало одним из самых высоких за годы работы и составило более 100 миллионов. Самыми востребованными являются услуги по регистрации недвижимости и предоставлению сведений из ЕГРН (более 26 млн обращений), регистрационный учет граждан (более 7 млн обращений), выдача (замена) паспортов РФ (3 млн обращений). Общее количество обращений граждан за все время работы МФЦ - более 570 миллионов."
            https://www.economy.gov.ru/material/news/rossiyane_bolee_570_millionov_raz_obratilis_v_mfc.html
            И в массе это именно простые граждане - покупают, продают, наследуют, меняют, строят в долях и так далеее.
            1/4(26 млн за год) всех обращений в МФЦ - раньше стояла в очередях во всей стране в Росреестр.
            А военным всегда была нужна справка об отсутствии жилья во всей стране- и они тоже стояли в очередях.
            Цитата: Владимир-ТТТ
            Я опять этого не знаю. Зачем таможня?

            "Я не знаю какого цвета пусковая кнопка у баллистических ракет. Зачем РВСН?" - это ваша логика?
            Зачем нужно исключать коррупцию в таможне - тоже не понимаете?

            Или вам нравилось стоять в очереди в Сбербанке в кассу за наличными?
            Банкоматы и карты - это тоже цифровизация, если что. И Сбербанк онлайн тоже.

            Цитата: Владимир-ТТТ
            Вы, кстати, чем занимаетесь, если в курсе этих вопросов?

            Работаю в Росреестре, бывший таможенник.
        2. 0
          4 марта 2025 09:35
          Достижения цифровизации очевидны, но риски надо всегда просчитывать. Автор и пишет, что некоторые особо хитрые стартапа находят способ как примазаться и заработать и на теме ИИ и на "удобных" сервисах))
        3. +3
          4 марта 2025 10:22
          в Росреестр - народ занимал очередь в 3 часа ночи и дрался за места в ней. И это было буквально вчера, в 2000е.


          Да помню эти времена когда покупал и продавал квартиру, какие мутные личности крутились у входа и торговали местом в очереди.
        4. -1
          6 марта 2025 21:28
          Нам бы в МО цифровизацию. Думаю там можно простым анализом цен и счетов важных людей самым примитивным ИИ искоренить коррупцию. И сократить штат раз так в десять
      2. +3
        4 марта 2025 09:01
        Они все продвигают цифровизацию. Вы думаете они сделают это на пользу народа и во вред себе?
        Не дождетесь!


        А в чем вред для них от цифровизации? Для циновников высшего уровня и тех кто чуть ниже (именно они определяют вектор развития).
        Для простого народа многие бюрократические процессы стали проще или исчезли вовсе после цифровизации.
        1. -5
          4 марта 2025 09:25
          Цитата: Oldrover
          Для простого народа многие бюрократические процессы стали проще или исчезли вовсе после цифровизации.

          Вот не знаю. Как то особо не заметил по себе. Что стало хуже - все привязывают к телефонам и подобным им гаджетам.
          1. +3
            4 марта 2025 10:27
            Лично я заметил заметил, насколько проще стало обновить права, продлить разрешение на оружие, зарегистрировать автомобиль, купля продажа недвижимости, сделать/поменять прописку и пр, ну ведь реально в госуслугах подается пакет документов, если нужно куда прийти выбирается время и спокойно приходил без очередей, толкотни и пр.
            Вот даже недавние ковидные истории, прививка и тоже спокойно записался через госуслуги, приехал сделал уехал.
            Если сейчас убрать эту цифровизацию, в России многие процессы усложнятся как по времени так и по трудозатратам в раз так пять.
          2. +3
            4 марта 2025 12:27
            а что ту плохого что что сидя на диване с телефоном можно решить все вопросы?
    3. +5
      4 марта 2025 07:56
      В нашей стране врагом народа стали чиновники
      "Чукча,знает кто главный чиновника,над чиновника"(с)..Вера в доброго царя и плохих бояр и дворян не истребима.
  2. +4
    4 марта 2025 05:58
    Хороший фильм , советский, о проблемах с ИИ,во что это вылилось."Отроки,во Вселенной.."
  3. -1
    4 марта 2025 06:17
    Когда же речь идёт о сервисах на базе ИИ, риск от их деятельности, как это ни странно, хотя что тут странного, первыми несут люди
    Подтверждаю! Однажды, пытаясь вызвать такси, мне пришлось говорить по телефону с ИИ. В итоге он меня не понял и задавал один и тот же вопрос, "да" или "нет". Казалось, это простенькие слова, которые понимает и ваша кошка, для ИИ были недоступны. В итоге, я вывалил в трубку все имеющиеся у меня в запасе русские нецензурные ругательства и отключился. И опоздал на очень важное мероприятие
    1. +1
      4 марта 2025 12:28
      там есть перевод на оператора, также и в чат ботах
  4. Комментарий был удален.
  5. +1
    4 марта 2025 08:30
    поскольку ни в одной армии мира в звании, равноценном нашему ефрейтору, не может иметь доступа к данным такой важности.
    Да-да! Адназначна, тренер!
    Есть только одна пустяковая проблемка. Дело в том, что во всех армиях мира и во всех властных структурах только ефрейторы и рядовые и имеют полный доступ. По одной простой причине. Никто из генералов, вообще ни один, даже переименовать файл не способны. То же относится и к властям. Чем выше, тем беспомощнее. Думаю единственный, кто уверенно обращается с компьютером из мировых лидеров - Путин. Хотя он их активно не любит, как источники утечки данных.
    Остальные власти и генералитет полностью беспомощны в вопросе. И назначить майоров с полковниками на такую работу они никак не могут) Причина тоже проста - они больше смерти боятся показать свою крайнюю безграмотность и, будем откровенны, непроходимую тупость. Поскольку устройство сит отбора во власть на планете в данный момент таково, что умных не пропускают.
    Хитрые, подлые, коварные, жестокие, злобные... Умные - никогда. Никогда власти не достигнут, будучи уничтожены на дальних подступах. Так устроено. Путин стандартную дорогу власти сбоку обошел...
    Так что рядовые и ефрейторы. Они добротно запуганы, хорошенько схвачены за все места, конечно. Но они, и только они имеют настоящий доступ. Ко всему. Все остальное - пыль...
    1. -1
      4 марта 2025 08:52
      Есть хороший фильм на эту тему. Американский. "Идиократия" называется)
    2. +3
      4 марта 2025 10:31
      Поддержу.
      Носителями реальных секретов всегда является низовое звено
    3. +2
      4 марта 2025 10:45
      Так не давно был скандал когда из системы ФСИН утек видеоархив с пытками и как оказалось администрировать их систему привлекли вообще заключенного.
      1. +2
        4 марта 2025 11:25
        Да. Потому что для администрирования полицейских архивов надо
        а) уровень доступа, который надо получать в среднем около года. За свои деньги. Постоянно отвлекаясь от работы на разные собеседования, получение диковинных справок, терпя внимание спецорганов и их провокации
        б) быть согласным на зарплату 15-25 тысяч рублей. В лучшем случае. Еще запрет на поездки за бугор и постоянное внимание органов, которые (конечно) ни в чем тебе не помогают, но всегда готовы хорошенько щемануть.
        По какой то неведомой причине желающих администрировать и рулить базы МВД крайне мало)
  6. +2
    4 марта 2025 08:37
    Но именно поэтому горе-разработчики додумались подключать к процессу людей на краудсорсинговых платформах. И человек в этом случае или доделывает работу, или же полностью выполняет её за искусственный интеллект. И в так называемом краудсорсинге всё чаще принимают участие случайные люди, работающие на удалёнке.

    Вот главная проблема, а не собственно искуственный интеллект. А используют краудсорсинг, чтобы по дешевке подготовить данные для искуственного интеллекта. Проблема вырастает из большого объема данных, необходимых для обучения ИИ и желания буржуев подешевле подготовить эти самые данные.
    1. +2
      4 марта 2025 09:00
      Клиентов в России товарищи из Dbrain себе находят на мужских ретритах, а сами живут в Нидерландах - и причем здесь безопасность персональных данных граждан РФ
  7. +2
    4 марта 2025 14:40
    Авторов можно поздравить - ссылка на бывшем Брифе (сейчас ЕЖ) Крупная ТГ платформа, пусть и "специфическая"
    Журналисты обратили внимание на деятельность компаний, поставляющих ИИ-решения для ряда российских госучреждений, включая Калининскую АЭС и Госуслуги. Компании Dbrain и Beorg привлекают краудсорсинговые платформы для перепечатки информации из личных и корпоративных документов под видом искусственного интеллекта. Это создает риск попадания персональных данных к третьим лицам, в том числе мошенникам, дропперам и сотрудникам иностранных спецслужб, отмечает издание (https://topwar.ru/260378-ne-delajte-iz-iskusstvennogo-intellekta-vraga-naroda.html)
    Еще одна ИТ-компания – “Регула” – поставляет оборудование для обеспечения безопасности на паспортном контроле на госгранице и в ключевых российских инфраструктурах. При этом “Регула” более двадцати лет разрабатывает решения в недружественных Латвии и на Украине.
    Платформа X (ru)|Платформa Х (eng)|BlueSky|WhatsApp
  8. +2
    6 марта 2025 15:31
    Два соображегния.
    Как компания, владельца которой Георгия Зуева вместе с женой и его наемным директором обвиняют в умышленном банкротстве может пройти проверку в отделе экономической безопасности Калининской АЭС??????Это дело идет с 2021 года и в материалах суда все написано…
    И второе. Ответ пресс-службы видели как минимум четверо: сотрудник, писавший текст, начальник отдела, гендир и, как минимум, один сотрудник пресс-службы Росатома. Они все не обладают данной информацией???? (доступной всем)