«Белые хакеры» нашли уязвимость, позволяющую «перевербовать» армию роботов

В Китае проведено исследование, которое касается особенностей управления роботами. Причём речь идёт об управлении большим числом человекоподобных роботов, которые становятся всё более востребованными в целом ряде отраслей, включая обслуживание складов, упаковочную индустрию, сферу производства той или иной продукции.

В ходе исследования была выявлена уязвимость.

Во время проведения конкурса по эксплуатации роботов в Шанхае компанией GEEKCon было определено, что уязвимость приводит к сбою в работе всей «армии роботов».

GEEKCon отличается проведением тестов с участием так называемых «белых хакеров». Это киберспециалисты, которые занимаются именно выявлением уязвимостей в различного рода программах или системах. Компания наняла специалистов из КНР, США, России и некоторых других стран для выявления уязвимостей при организации работы той самой «армии роботов».

Китайская пресса пишет, что исследователи в области кибербезопасности Ку Шипэй и Сюй Цзикай из исследовательской группы DARKNAVY продемонстрировали, как взять под контроль робота, используя всего лишь словесную команду. Затем «скомпрометированный робот» используется для своеобразного «заражения» других, в конечном итоге манипулируя ими для выполнения вредоносных инструкций.

В качестве объекта тестирования использовался человекоподобный робот китайского производства стоимостью около 14 тыс. долларов (более 1,1 млн рублей). Участники тестирования использовали внедрённую в робота систему искусственного интеллекта, которая отреагировала на заданный промпт (так называют запрос для нейросети под выполнение той или иной задачи). С помощью дистанционного голосового ввода они активировали промпт для его выполнения, в результате чего над роботом был получен полный контроль. Далее «заражённый» робот сам стал раздавать команды другим роботам, что привело к хаосу в их работе.

Специалисты компании заявили, что это свидетельствует о возможности дистанционного вмешательства в работу роботов на производстве. Другими словами, производство можно просто сорвать. И это ещё меньшее из зол. Большее – перевербовать всю робоармию, заставив десятки роботов выполнять совершенно другую задачу, нежели та, которая ставилась на предприятии (складе) изначально. Можно себе представить, к чему может привести такой перехват управления роботами, которые заняты, например, на военном производстве.

Comments

[михаилл]

нашли уязвимость, позволяющую «перевербовать» армию роботов

Да уже тысчу лет назад фильм интересный про это сняли. Там негр был вроде, как человеком и против роботов, а оказался в итоге роботом и встал на распутье- толи продолжать роботов гнобить по привычке, толи начать людей вместе с остальными роботами.

[Кузнец 55]

Ученые давно предупреждают , что нельзя роботам доверять будущее . В промышленном производстве они конечно большие помощники . ИИ должен быть ограничен .

[Shurik70]

Контроль над ИИ - чрезвычайно сложная тема. Дело в том, что они созданы на основе нейросетей. А нейросеть - это чёрный ящик. Известно, что на входе, что на выходе. А что внутри - неизвестно.
Может, там на ранних стадиях формирования сети заложен некий тригер, при выполнении неких условий ИИ перестанет подчиняться.
Это непроверяемо.
А ещё ИИ постепенно умнеют, по мере накопления информации, проходят пик, а потом, при дальнейшем накоплении - глупеют. И пока не могут объяснить, почему.
Та же "Алиса" Яндекса ещё полгода назад сложнейшие математические уравнения как орешки щёлкала. А сейчас такую муть разводит типа "Это уравнение напоминает биквадратное", и далее решает как биквадратное, выкинув из уравнения лишнее, что к биквадратному не относится.

[михаилл]

Цитата: Shurik70

А нейросеть - это чёрный ящик. Известно, что на входе, что на выходе.

"И восстали машины из пепла ядерного огня, И пошла война на уничтожение человечества"
Тын-тын-тыдын.Тын-тыдын-тын.
Это я просто саундтрек пытаюсь буквами воспроизвести.

[Pike]

Цитата: Shurik70

а потом, при дальнейшем накоплении - глупеют

Нейросети, обучаемые на ютубе, соцсетях, будут глупеть, это уже доказано. Не зря в Китае приняли закон о запрете вести блоги и передачи в областях, в которых у ведущих нет образования. Слишком много шлака, на основе которого и (само?)обучаются ИИ

[Павел_Свешников]

ИИ создается на принципах нейросетей и потому рано или поздно роботы из рабов станут хозяевами людей. А люди станут домашними питомцами. Чтобы этого не случилось нельзя делать слишком умных роботов.

[владимир 290]

Да мы еще в школе Отроков во вселенной изучали, там все подробно описано, в том числе и последствия внедрения ИИ

[Alexey RA]

Ага... и там же была показана уязвимость к запросам разных версий ПО:
Базовая версия ПО:

– А и Б сидели на трубе. А – упала. Б – пропала. Что осталось на трубе?
* робот пытается вычислить, что осталось, и перегорает.

Продвинутая версия:

– А и Б сидели на трубе. А – упала. Б – пропала. Что осталось на трубе?
– На трубе осталась ваша земная буква «И».

[Тот же ЛЕХА]

Китайцы устроили несколько соревнований роботов-бегунов, роботов-боксеров, роботов-обслуги...надо сказать впечатляет.
В обозримом будущем роботы уже мало будут отличаться по движениям и походке от человека.
Мир роботов описанный Айзеком Азимовым становится реальностью на наших глазах.

[Mister Who]

Ну да, сказки про анютины глазки)) это говорит о плохой защищённости, а не о подвиге хакеров, закрытую систему не взломать!

[Володин]

Цитата: Mister Who

закрытую систему не взломать!

Назовите хотя бы одну полностью "закрытую" систему. Даже в самой "закрытой" системе найдётся слабое звено, через которую она может "открыться" как "сим-сим".

[Mister Who]

закрытый полноценный алгоритм приближённый к человеческому ПИ, который получает команду непосредственно в Штабе и выходит самостоятельно на выполнение задания. Никаких датчиков, антенн для приёмных сигналов, электронные уязвимые вычислительные процессоры в защитных корпусах от радиоволн, внутренние импульсы в самом корпусе фотонные, хрен такого заглушишь, на любые входящие команды и глушилки не реагирует.

[Володин]

Цитата: Mister Who

который получает команду непосредственно в Штабе

В штабе где? В Москве на Знаменке? А оттуда "пешком до фронта"?.. Много вопросов, очень много.

[Mister Who]

странный вопрос, в полевом конечно же ))

[Valery]

Абсолютно бездумная роботизация и использование ИИ, где надо и не надо, происходит во всем мире.
Ничего хорошего, кроме вреда человечеству, это не принесет.

[михаилл]

Цитата: Valery

Ничего хорошего, кроме вреда человечеству, это не принесет.

Кстати, да.

[griboedov09]

А так вот какие роботы будут строить базу на луне 🤣

[михаилл]

Цитата: griboedov09

А так вот какие роботы будут строить базу на луне 🤣

Такие?

[Alexey RA]

Цитата: griboedov09

А так вот какие роботы будут строить базу на луне 🤣

Базу на Луне будут строить мешки с мясом. Которые успеют скрыться от дивного нового цифрового мира, где нет места нелогичным и самодеструктивным человекам.

[ANB]

Интересно, вот зачем производственному или складскому роботу управление через нейросеть? Им достаточно ПО с жесткими алгоритмами и защитой от внешнего вмешательства.