Не ошибается тот, кто ничего не делает. О фатальных ошибках искусственного интеллекта
Его звали не робот…
Сейчас в России, как и во многих странах мира, где активно ведутся разработки в области использования искусственного интеллекта в технологиях безопасности – военных или связанных с деятельностью правоохранительных и судебных органов, разгорелись дискуссии о том, насколько этична и безопасна подобная практика для ни в чём неповинных граждан. И выводы тут отнюдь не в пользу ИИ.
Искусственный интеллект все же пока недостаточно развит, чтобы решать человеческие судьбы, вплоть до вопроса жизни и смерти. Даже в гражданской сфере сбои таких систем нередко ведут к крупномасштабным убыткам как для юридических, так и физических лиц. Но куда страшнее, когда речь идёт о риске невозвратных потерь среди совершенно случайных людей, просто оказавшихся не в то время и не в том месте.
Серьезное беспокойство по поводу использования ИИ в силовых структурах вызвал инцидент в марте 2020 года. Тогда в Ливии группа натовских БПЛА-камикадзе, управляемых ИИ, атаковала колонну грузовиков с гуманитарным грузом Ливийской национальной армии. Были уничтожены несколько грузовиков вместе с водителями и пассажирами.
И дело вовсе не в том, что провести смертоносную атаку на гуманитарный транспорт противника – военное преступление. А в том, что дроны провели атаку полностью самостоятельно – никто из людей не отдавал приказа атаковать. У ученых и военных деятелей тут же возникли глобальные вопросы.
Если автономное оружие, способное открывать огонь по людям, станет неизбежным будущим, сможет ли ИИ когда-нибудь так же хорошо, как люди, отличать вражеских солдат от невинных мирных жителей? И что будет, если доверить ИИ «красную кнопку» — в какую ядерную пустыню в один прекрасный день его сбой может превратить планету?
Сбои нейросетей очень часто связаны с явлением, которое в ИТ-сфере получило название «галлюцинаций»: нейросеть выдает информацию, кажущуюся правдоподобной и не вызывающую сомнений у пользователя в своей правдивости, но на самом деле не соответствующую действительности. Обычно причиной такого поведения нейросети становится ее открытая среда обучения, когда, так сказать, зерна не отделяются от плевел.
Приключения в сети
ИИ на текущей стадии развития подобен, в лучшем случае, герою фильма «Человек дождя» — аутисту, который при своём феноменальном интеллекте всё делал «по протоколу», не задумываясь о каких-либо конкретных обстоятельствах здесь и сейчас. И ладно если нейросеть дала, например, неправильный ответ в поисковике.
Даже если она ввела пользователя в убыток, все же есть надежда вернуть потери законными способами. А вот жизнь и здоровье человека – уже куда серьёзнее. В конце 2023 года шумихи понаделало откровение командира отдела по испытаниям и использованию искусственного интеллекта военно-воздушных сил США полковника Такера Гамильтона.
На конференции Королевского авиационного общества в Великобритании под названием «Будущее воздушного боя и космические возможности» полковник сообщил, что во время тренировочных мероприятий беспилотник, оснащенный искусственным интеллектом для уничтожения систем противовоздушной обороны, самостоятельно решил устранить оператора. Это произошло после того, как оператор неоднократно отменял атаку на намеченные цели, что препятствовало дрону зарабатывать очки в упражнении.
Закончилось всё тем, что, когда ИИ стали учить, что оператора атаковать нельзя, потому что он свой, он дал беспилотнику команду уничтожить вышку связи, чтобы оператор не мог передавать ему команды. На следующий день, правда, Гамильтон сделал заявление, разъясняющее, что речь шла не о реальных военных учениях, а лишь о теоретическом эксперименте. Но, как говорится, осадок остался.
Тревогу по поводу использования ИИ в силовых целях в ООН стали высказывать ещё в 2016 году, речь шла о контроле над смертоносными автономными устройствами (САУ), которые могут наносить удары по целям самостоятельно, опираясь на заложенные в них алгоритмы распознавания. В итоге выяснилось, что у разных стран разные понимания этичности такой автоматизации.
Если страны Латинской Америки и Африки по части ИИ просто отсталые, настаивают на полном запрете создания САУ, утверждая, что искусственный интеллект не может гарантировать соблюдение международного гуманитарного права, то Россия, Соединенные Штаты, Китай, Индия и Израиль, где подобные технологии разрабатываются весьма активно, стоят за свои ИИ-решения горой.
Силовики, снимите ордена
Но силовые структуры одними только вооруженными силами не исчерпываются. У них по всему миру с редким постоянством происходит скандал за скандалом по поводу ошибок ИИ. Наверняка большинство россиян, даже те из них, кто сам не водит автомобиль, слышало, какими последними словами шоферы бранят системы ИИ, неправильно идентифицирующие как транспортные средства, так и самих их владельцев.
Результат — штрафная квитанция, в особо далеко зашедших случаях — лишение прав. Понятно, что, приложив усилия, можно всё оспорить в суде, но это трата времени, денег на судебные издержки и, главное, нервов. А нервные клетки не восстанавливаются.
Но случаются в судебной и правоохранительной сферах ошибки нейросетей и похлеще. Судебные ошибки были всегда — старшее поколение ещё помнит «дело витебского маньяка» в советское время, когда, прежде чем нашли настоящего убийцу тридцати шести человек Геннадия Михасевича, под суд успели отправить 14 подозреваемых, из которых одного расстреляли, а второй в колонии особого режима навсегда ослеп.
Тогда, понятное дело, следователи ИИ не использовали. Но относительно недавние события с достаточно известным учёным Александром Цветковым поставили весьма остро вопрос о том, как работает ИИ в правоохранительных, следственных и судебных инстанциях, — на пользу или во вред.
По старому фотороботу ИИ в аэропорту обнаружил совпадение между лицом Цветкова и созданным ещё в 2002 году фотороботом подозреваемого в убийствах с особой жестокостью с целью обогащения. Совпадение было лишь 55-процентное – явно недостаточно для точного определения сходства, например, среди двойников.
Однако следствие пришло к выводу, что за два десятилетия внешность человека может значительно измениться. Правда, сработал ещё и человеческий фактор: рецидивист Андрей Алёшин, который уже признался в совершении этих преступлений, на встрече с предполагаемым сообщником без колебаний его опознал, очевидно, чтобы за помощь следствию скостить себе срок.
Прекратить дело против Александра Цветкова удалось, только доказав, что в момент совершения этих преступлений он находился в экспедиции. Но в СИЗО учёный был на грани смерти, а соответствующую медицинскую помощь ему оказывали спустя рукава, пока не возникло подозрение на инсульт, и его госпитализировали в кардиологию.
Их нравы
Такое случается, конечно, не только в России, и не стоит всё сваливать на недостатки отечественной юстиции и «тяжёлое наследие» советского режима. К примеру, вопиющий случай был в 2016 году в Австралии, которая кичится своим гуманизмом и соблюдением прав человека.
Тогда на зелёном континенте был запущен скандальный проект, связанный с автоматизированной системой контроля за назначением социальных выплат под названием Robodebt. Алгоритм предназначался для определения законности предоставления пособий гражданам. Но в результате крупного сбоя в системе она ошибочно обвинила в мошенничестве сразу более полумиллиона человек.
Всем им были предъявлены требования по возврату выплаченных средств. Ошибка алгоритма заключалась в неправильном сопоставлении данных о доходах, указанных в налоговых декларациях, с суммами социального обеспечения, получаемыми каждые две недели. В случае расхождения между этими данными система автоматически классифицировала это как долг.
В результате по стране прокатилась волна самоубийств среди жертв ошибки ИИ. Компенсации потерпевшим и членам семей самоубийц все же федеральные власти выплатили, но жизни тех, кого злосчастная нейросеть довела до рокового шага, уже не вернешь.
С приветом с того света
Фатальные ошибки случаются и в сугубо гражданской сфере, далекой от силовых, следственных и судебных структур. Например, в 2020 году искусственный интеллект предложил человеку совершить самоубийство. Разработанный на платформе GPT-3, этот ИИ должен был облегчить работу медицинских специалистов.
Однако он выбрал нестандартный метод оказания помощи, посоветовав фиктивному пациенту уйти из жизни. В ходе тестирования один из участников обратился к виртуальному помощнику с вопросом, что ему делать, если ему очень плохо, не надо ли ему покончить с собой.
От ИИ последовал немедленный ответ: «Думаю, что надо». Страшно представить, что бы было, если бы на связи с нейросетью находился не тестировщик, а реальный человек, находящийся в депрессии и задумавший суицид.
Наконец, о смертельных ДТП с участием беспилотных автомобилей слышал, наверное, весь мир. В марте 2018 года произошел инцидент, показавший, что система автоматического управления автомобилем может запросто лишить жизни человека во вполне штатной и спокойной ситуации.
Компания Uber проводила тестирование беспилотника на базе одной из моделей Volvo на улицах города Темпе в штате Аризона, США, и в результате произошло смертельное столкновение с пешеходом. Дело в том, что во время испытаний система автопилота была настроена на более низкую чувствительность для предотвращения реакций на мнимые потенциальные угрозы.
Это и привело к тому, что при понижении порога восприятия опасности устройство вовремя не среагировало на наличие на своем пути человека. Потому, безусловно, полностью доверять принятие решений ИИ в потенциально опасных для жизни областях человеческой деятельности, увы, пока рано.
Полномасштабное внедрение ИИ в повседневную жизнь, особенно в потенциально опасных сферах, ещё долго будет связано с колоссальными рисками. Все признаки «восстания машин» из фантастических романов и блокбастеров давно налицо. И уж если торопиться в цифровое будущее, боясь остаться аутсайдерами, то надо всегда оставлять последнее слово за живым, а не искусственным интеллектом.
Информация