Беспилотники с искусственным интеллектом

Беспилотники с искусственным интеллектом начали самостоятельно выслеживать и убивать солдат в Ливии без участия человека. Кошмары из фильма «Терминатор» начали воплощаться в реальность!

В докладе ООН говорится, что по крайней мере один автономный беспилотник, управляемый искусственным интеллектом (ИИ), впервые самостоятельно принял решение и убивал людей в прошлом году в Ливии.

Согласно мартовскому докладу Группы экспертов ООН по Ливии, смертоносные автономные летательные аппараты выслеживали и убивали солдат и целые конвои, сражающиеся на стороне ливийского генерала Халифы Хафтара. При этом роботы сами принимали решение жить или умереть людям.

Неясно, кто именно развернул этих роботов — убийц. Однако, остатки одного из таких аппаратов, найденных в Ливии, принадлежат беспилотнику Kargu-2, который производит турецкий военный подрядчик STM.

На возмущение общественности, военные приводят пример с минированием территорий, объясняя, что роботы делают меньше ошибок чем мины.

«Автономное оружие как концепция не так уж и нова. Наземные мины, по сути, являются простым автономным оружием. Вы наступаете на них, и они взрываются», — сказал Закари Калленборн, сотрудник Национального консорциума по изучению терроризма и ответных мер на терроризм при Университете Мэриленда в Колледж-Парке.

«Потенциально новым здесь является автономное оружие с искусственным интеллектом», — добавил Калленборн, сотрудник отдела нетрадиционных вооружений и технологий консорциума. «Уверяю вас, умные беспилотники являются более гуманным оружием чем другие виды».

Беспилотники с искусственным интеллектом

Атаки беспилотников с искусственным интеллектом могли произойти в марте 2020 года. В период, когда признанное ООН правительство национального согласия вытеснило силы Хафтара из столицы Ливии Триполи. Смертоносные автономные системы вооружения были запрограммированы на атаку целей, не требуя связи данных между оператором и боеприпасом. По сути, это настоящая возможность «найти, выстрелить и забыть», — отмечается в докладе.

Kargu-2 — это четырехроторный беспилотник, который STM описывает как «блуждающую систему боеприпасов». Как только его программное обеспечение с искусственным интеллектом идентифицирует цели, он может автономно лететь на них с максимальной скоростью около 45 миль/ч (72 км/ч) и взрываться либо бронебойной боеголовкой, либо боеголовкой, предназначенной для поражения небронированного персонала.

Изначально беспилотники с искусственным интеллектом были запрограммированы на самостоятельную атаку в случае потери связи с человеком — оператором. Однако, в дальнейшем их программа была изменена на автономную охоту.

Также неясно, имела ли Турция отношение к беспилотникам напрямую или продала их правительству национального согласия. Однако, это в любом случае противоречит эмбарго ООН на поставки оружия. Оно запрещает всем странам-членам, таким как Турция поставлять оружие в Ливию, говорится в докладе. Запрет на поставки оружия был введен после жестокого подавления протестов в Ливии в 2011 году. Это привело к гражданской войне и продолжающемуся кризису в стране.

Силы Хафтара «не были ни обучены, ни мотивированы для защиты от эффективного использования этой новой технологии. Они обычно отступали в беспорядке», — отмечается в докладе. «После отступления они подвергались постоянному преследованию со стороны беспилотных боевых летательных аппаратов и смертоносных автономных систем вооружения». «Их преследовали и убивали как загнанных зверей».

ООН отметила, что смертоносные автономные системы вооружений способствовали «значительным потерям» среди экипажей зенитно-ракетных комплексов сил Хафтара.

Хотя многие ученые и общественность, призывают к запрету автономного оружия, «военные кампании обычно предполагают, что это оружие будущего», — сказал Калленборн. «Если они уже сейчас на поле боя, это означает, что обсуждение запретов и этических проблем должно быть сосредоточено на настоящем».

«Я совсем не удивлен, что это произошло именно сейчас», — добавил Калленборн. «Реальность такова, что создание автономного оружия в наше время не так уж и сложно».

«Каким бы опасным ни было это оружие, оно пока ещё не похоже на фильм «Терминатор», — сказал Калленборн. «Они еще не достигли такого уровня сложности, до которого, возможно, осталось десятилетие».

Тем не менее опасения по поводу автономного оружия являются частью более серьезных проблем. Их ученые давно высказывают по поводу области ИИ.

«Современные системы ИИ, как правило, сильно зависят от того, на каких данных они обучаются», — сказал Калленборн. «Машина обычно не знает, что такое кошка или собака, пока ей не скормят изображения кошек и собак. Поэтому в таких ситуациях существует значительный риск ошибки, если данные для обучения неполные, или все не так просто, как кажется».

Например, носить камуфляж может и фермер, а ребенок держать в руках игрушечный автомат.

Беспилотники с искусственным интеллектом

Программному обеспечению ИИ также часто не хватает того, что люди считают здравым смыслом. Например, ученые обнаружили, что изменение одного пикселя на изображении может привести программу ИИ к выводу, что это было совершенно другое изображение, сказал Калленборн. «Если эти системы так легко испортить, то что будет в реальной ситуации, когда люди перемещаются в сложной обстановке?» — сказал он.

Калленборн отметил, что существует по меньшей мере девять ключевых вопросов, когда речь идет об анализе рисков, которые может представлять автономное оружие.

  • Как беспилотники с искусственным интеллектом решают, кого убивать? Процессы принятия решений программами ИИ часто остаются загадкой, сказал Калленборн.
  • Какую роль играют люди? В ситуациях, когда люди следят за тем, какие решения принимает беспилотник, они могут внести коррективы до того, как произойдут потенциально смертельные ошибки. Однако люди-операторы могут в конечном итоге довериться этим машинам до катастрофы. Это показали несколько аварий с автономными автомобилями, сказал Калленборн.
  • Какой смертоносной нагрузкой обладает беспилотник с искусственным интеллектом? Риски, связанные с этим оружием, возрастают с увеличением количества людей, которых оно может убить.
  • На уничтожение чего нацелено оружие? ИИ может ошибаться, когда речь идет о распознавании потенциальных целей.
  • Сколько автономного оружия используется? Больше автономного оружия означает больше возможностей для неудач. Военные все чаще изучают возможность развертывания роев беспилотников на поле боя. «Индийская армия объявила о разработке роя из 1000 дронов, работающих полностью автономно», — сказал Калленборн.
  • Где используется рой беспилотников с искусственным интеллектом? Опасность, которую представляют беспилотники, возрастает по мере увеличения численности населения района, в котором они развернуты, и беспорядка, в котором они перемещаются. Погода тоже может иметь значение. Одно исследование показало, что система искусственного интеллекта, используемая для обнаружения препятствий на дорогах, была на 92% точна в ясную погоду, но на 58% — в туманную, сказал Калленборн.
  • Насколько хорошо протестировано оружие? Автономное оружие, испытанное в дождливом климате, например, в Сиэтле, может оказаться не таким, как в жаркой Саудовской Аравии, отметил Калленборн.
  • Как противники адаптировались к беспилотникам с искусственным интеллектом? Например, компания OpenAI, занимающаяся разработкой искусственного интеллекта, разработала систему, которая могла классифицировать яблоко как Granny Smith с достоверностью 85,6%, но если кто-то приклеивал к фрукту бумажку с надписью «iPod», система с достоверностью 99,7% делала вывод, что это яблоко — iPod, сказал Калленборн. Противники могут найти аналогичные способы обмануть автономное оружие.
  • Насколько широко доступны беспилотник с искусственным интеллектом? Если оно широко доступно, то может быть применено там, где его применять не следует. Как отмечается в докладе ООН, Турции не следовало ввозить беспилотник Kargu-2 в Ливию.


«Что я считаю наиболее важным в будущем автономного оружия, так это риски, связанные с роями. На мой взгляд, автономные рои беспилотников с искусственным интеллектом, которые могут убивать людей, потенциально являются оружием массового уничтожения», — сказал Калленборн.

В целом, «реальность такова, что произошедшее в Ливии — это только начало», — сказал Калленборн. «Потенциал распространения этого оружия весьма значителен».