Джастин Хэнер
Северо-Восточный Университет
Дениз Гарсия
Международный Комитет по контролю
над роботизированными вооружениями и
Северо-Восточный Университет
Резюме
Автономные оружейные технологии, опирающиеся на искусственный интеллект, развиваются быстро и без достаточного общественного обсуждения или подотчетности. Контроль за ростом автономии в военных действиях критически важен, потому что эта смертоносная технология, вероятно, быстро распространится, усилит террористическую тактику, расширит возможности авторитарных правителей, подорвет демократический мир и будет уязвима для взломов и сбоев. Главными конкурентами в этой гонке вооружений являются Соединенные Штаты, Китай, Россия, Южная Корея и Европейский Союз.
Расходы растут по мере того, как прогресс останавливается: где публичные дебаты о смертоносном искусственном интеллекте и разработке автономных систем вооружения?
Поскольку за последние 5 лет государства-члены Организации Объединенных Наций добились незначительного прогресса в обсуждении смертоносных автономных систем вооружений (AWS) природа войны меняется на наших глазах. Это изменение происходит без надлежащей подотчетности или общественного контроля, поскольку горстка стран продолжает делать огромные инвестиции в повышение автономности своих систем вооружений в сочетании с передовым искусственным интеллектом (AI).
Срочно необходимы более широкие дебаты, поскольку смертоносные AWS, вероятно, быстро распространятся, усилят террористическую тактику, расширят возможности авторитарных правителей, подорвут демократический мир и будут уязвимы для взлома и сбоев. Настоящая публичная дискуссия о последствиях внедрения «роботов-убийц» должна начаться всерьез.
Технический прогресс в автономии часто носит постепенный характер и сопровождается низким политическим статусом. Автономия добавляется к различным частям существующих систем вооружений, и значительный человеческий контроль, от планирования целей до выполнения миссий, будет постепенно утрачен без надлежащего рассмотрения моральных дилемм, которые он поднимает (Roff, 2014; Sharkey, 2017; Schwarz, 2018). Это неучтенное развитие AWS происходит по мере быстрого расширения мирового рынка. Глобальные военные расходы на AWS и AI, по прогнозам, достигнут 16 и 18 миллиардов долларов, соответственно к 2025 году (Sander and Meldon, 2014; Research and Markets, 2018).
В следующем разделе используются текущие события для прогнозирования будущих последствий применения все более автономного оружия, если его не остановить, это может сказаться на международной безопасности. Во втором разделе используются все общедоступные данные для установления и ранжирования пяти ведущих мировых лидеров в соответствии с их намерениями развивать автономные технологии, их способность разрабатывать аппаратное обеспечение AWS и уровень знаний в области искусственного интеллекта. В заключительном разделе подчеркивается важность продолжающихся усилий по ограничению или запрету использования AWS и установлению глобальных норм международного права в настоящее время этими ведущими государствами, пока не стало слишком поздно.
Прогнозы по текущим тенденциям развития смертоносного AI и AWS
Автономное оружие быстро развивается. В настоящее время эта технология сосредоточена в нескольких мощных, богатых странах, которые располагают ресурсами, необходимыми для крупных инвестиций в передовые робототехнические и AI-исследования. Однако закон Мура и снижение издержек производства, включая 3D-печать, вскоре позволят многим государствам и негосударственным субъектам закупать роботов-убийц (Scharre, 2014). В настоящее время беспилотные летательные аппараты quadcopter стоят всего 25 долларов, а небольшой компьютер Raspberry Pi стоимостью 35 долларов может запускать искусственный интеллект, достаточно продвинутый, чтобы победить пилотов истребителей ВВС США в боевых симуляциях (Cuthbertson, 2016). Подотчетность становится все более сложной по мере того, как все больше международных субъектов могут приобретать смертоносные AWS. Повстанцы-хуситы используют вооруженные беспилотники, а ИГИЛ и «Боко Харам» адаптировали беспилотники для использования в качестве самодельных взрывных устройств (Olaifa, 2018; Nissenbaum and Strobel, 2019).
Распространение среди групп, использующих террористическую тактику, вызывает особую тревогу, поскольку предполагаемые издержки снижаются по мере увеличения расстояния между нападающим и целью, что снижает вероятность того, что они будут пойманы, и одновременно увеличивает предполагаемые выгоды, позволяя более точно выбирать цели, чтобы максимизировать смертельное воздействие и страх. Такие наступательные возможности, вероятно, будут распространяться быстрее, чем оборонительные системы на базе искусственного интеллекта, поскольку защитные технологии имеют более высокие относительные затраты из-за возросшей потребности дифференцировать и безопасно поражать цели.
Внутри государств смертоносная автономия, вероятно, усилит авторитарные режимы и может усилить глобальную тенденцию к демократическому отступлению, потому что усовершенствованные AI системы мониторинга и роботизированные «солдаты» являются совершенными инструментами деспотического правления. В то время как полностью автономные роботы-убийцы не могут заменить всех традиционных солдат в ближайшее время, сосредоточение исключительно на таких будущих тенденциях рискует упустить мрачные эффекты, которые AI оказывает сегодня в авторитарных государствах.
Автономная война между государствами может подорвать демократический мир (Altmann and Sauer, 2017). Теория демократического мира Иммануила Канта опирается на то, что общественность не поддерживает ненужные войны, поскольку они будут призваны сражаться в них. Когда многие страны перешли от призывной армии к Всесоюзным силам, общественная оппозиция продолжающимся войнам уменьшилась (Horowitz and Levendusky, 2011). Эта тенденция, вероятно, усугубится и еще больше снизит порог применения силы, когда для ведения войн потребуется еще меньше солдат (Cole, 2017; Garcia, 2014). Полуавтономные системы уже начали подрывать основополагающие нормы международного права, направленные против применения силы (Bode and Huelss, 2018; Edmeades, 2017; Garcia, 2016).
Общественный контроль и подотчетность особенно важны, потому что смертоносные системы на базе искусственного интеллекта уязвимы для взлома и сбоев в работе компьютеров. Ожидается, что до 85% всех проектов искусственного интеллекта будут иметь ошибки, вызванные либо предвзятостью алгоритма, либо предвзятостью программистов, либо предвзятостью данных, используемых для их обучения (Gartner, 2018). Предвзятость AI, как правило, особенно дискриминационна по отношению к группам меньшинств и может привести к чрезмерной нацеленности или ложным срабатываниям, поскольку системы распознавания лиц становятся все более интегрированными в оружие войны (West et al., 2019).
Помимо предвзятости, системы искусственного интеллекта могут быть взломаны, иметь непреднамеренные ошибки в кодировании или иным образом действовать так, как программисты никогда не могли бы предсказать. Одна из таких ошибок кодирования произошла в автономных финансовых торговых системах в мае 2010 года, вызвав «внезапный крах», уничтоживший стоимость фондового рынка в размере 1 триллиона долларов всего за несколько минут (Pisani, 2015). Даже при правильном кодировании многие программы искусственного интеллекта используют непредвиденные лазейки для достижения своих запрограммированных целей, например, играющий в Тетрис искусственный интеллект, который приостанавливает игру непосредственно перед падением последнего блока, чтобы он никогда не мог проиграть, или другая программа искусственного интеллекта,
которая удалит ключ ответа, против которого она тестировалась, чтобы получить ложно завышенный идеальный балл (Scharre, 2019). Последствия таких предубеждений и ошибок, когда ИИ добавляется ко все более автономному оружию, могут быть разрушительными.
Пятерка мировых лидеров по разработке автономного оружия
В то время как большинство цифр военных расходов классифицируются, наша оценка ведущих лидеров в области разработки AWS использует общедоступные данные в качестве прокси-сервера для эмпирической оценки их относительного положения. Во-первых, мы изучаем конкретные намерения стран по разработке смертоносных AWS на основе их официальной политики, действий и общественного мнения. Во-вторых, мы оцениваем общий потенциал и послужной список каждого субъекта в том, что касается разработки новейшего смертоносного автоматизированного оружия. Наконец, мы оцениваем наиболее важный компонент, который заключается в культивировании опыта программного обеспечения искусственного интеллекта, необходимого для того, чтобы AWS могла выполнять сложные задачи войны. В первую пятерку конкурентов по разработке смертоносного искусственного интеллекта и AWS входят США, Китай, Россия, Южная Корея и Европейский союз (ЕС)1
Соединенные Штаты
С оборонным бюджетом, превышающим совокупные военные расходы Китая, России, Южной Кореи и всех 28 стран — членов ЕС вместе взятых, неудивительно, что Соединенные Штаты являются мировым лидером в разработке смертоносных AWS (SIPRI, 2019). Автономия является официальным компонентом стратегии национальной безопасности Соединенных Штатов с 2012 года, когда была выпущена директива министерства обороны (МО) 3000.09. Эта политика была первой в своем роде и позволяла полуавтономным системам поражать цели, предварительно выбранные человеческими операторами, а также полностью автономным вооружениям выбирать и поражать цели после утверждения Минобороны на высшем уровне
(Министерство обороны, 2012). Дальнейшую поддержку автономии в войне можно увидеть в «Третьей стратегии смещения» Соединенных Штатов, где она указана в качестве одного из основных столпов. Однако, несмотря на то, что это явный политический приоритет для чиновников Министерства обороны, не все американцы поддерживают эти усилия. Только 25% американских граждан доверяют AI, а некоторые сотрудники крупных компаний сопротивляются разработке AI в военных целях, как видно из внутреннего восстания Google против проекта Maven, контракта на разработку искусственного интеллекта для Вооруженных сил Соединенных Штатов (Ipsos, 2018).
Соединенные Штаты являются безусловным лидером в области разработки автономного оборудования и инвестиционного потенциала. К 2010 году Соединенные Штаты уже инвестировали 4 миллиарда долларов в исследование AWS, а еще 18 миллиардов были направлены на развитие автономии до 2020 года (Boulanin and Verbruggen, 2017).
Несмотря на то, что Соединенные Штаты уже владеют более чем 20 000 автономными транспортными средствами, по прогнозам, до 2021 года они потратят 17 миллиардов долларов на беспилотные летательные аппараты, включая 3 447 новых беспилотных наземных, морских и воздушных систем (Gettinger, 2018; Statista, 2019).
В гонке военных экспертов по искусственному интеллекту Соединенные Штаты начали еще до открытия пушки, вложив 1 миллиард долларов в «стратегические вычисления» еще в 1983 году, и с тех пор постоянно опережали своих конкурентов (Boulanin and Verbruggen, 2017). В дополнение к тому, что у Соединенных Штатов больше всего компаний в области искусственного интеллекта в мире, они имеют больше публикаций, связанных с искусственным интеллектом для одной страны, больше всего заявок на патенты в области искусственного интеллекта и принятых патентов на искусственный интеллект, а также самый большой пул талантливых исследователей искусственного интеллекта, включая тех, кто входит в первую десятку, больше, чем любая другая отдельная страна в мире (CISTP, 2019a, 2019b, 2019c; IPlytics GmbH, 2019; Shoham et al., 2018).
Китай
Китай является явным растущим соперником в смертельной разработке AWS и AI и изложил в своем «плане развития искусственного интеллекта следующего поколения», что он намерен использовать AI на поле боя в сотрудничестве с AWS (China State Council, 2017; Kania, 2017). При сочетании 70 — процентного доверия граждан к AI (самый высокий показатель из 24 опрошенных стран) и сильного давления, которое он может оказать на компании с целью передачи технологий государству, маловероятно, что он столкнется со значительным внутренним сопротивлением развитию AWS (Ipsos, 2018).
Потенциал Китая в области разработки вооружений высок: годовой бюджет оценивается в 250 миллиардов долларов, а прогнозируемые расходы на беспилотные технологии к 2021 году составят 4,5 миллиарда долларов (SIPRI, 2019; Statista, 2019). Наиболее впечатляюще то, что китайские компании протестировали технологию роения с помощью более чем 1000 синхронизированных дронов (Kania, 2017). Однако, в то время как некоторые страны, такие как Южная Корея, Израиль и Япония, стремятся к развитию AWS, чтобы увеличить свою оборону и заполнить краткосрочные пробелы в безопасности, Китай с самой большой армией в мире не имеет этой проблемы. Это позволяет Китаю сосредоточить основную часть своих ресурсов на долгосрочных стратегических инвестициях в AI.
Китай публично планирует стать мировым лидером в области развития искусственного интеллекта к 2030 году (Государственный совет Китая, 2017). Противоречивые методы закупок интеллектуальной собственности в Китае позволили им сделать технологический скачок вперед нелинейным образом. При больших инвестициях в «гражданско-военное слияние» Государственный совет Китая оценивает свои отрасли искусственного интеллекта в 22 миллиарда долларов к 2020 году, 59 миллиардов долларов к 2025 году и 150 миллиардов долларов к 2030 году (China State Council, 2017; Kania, 2017). По некоторым показателям Китай уже занял лидирующие позиции в области искусственного интеллекта. Несмотря на отставание в общем объеме публикаций, в период с 2011 по 2015 год китайские ученые опубликовали 41 000 работ по AI, что почти вдвое больше, чем в США за тот же период (Baker, 2017). Кроме того, китайские инвестиции и финансирование проектов искусственного интеллекта в период с 2013 по 2018 год оцениваются в 60 процентов от общего мирового финансирования таких проектов, что опять же
более чем вдвое превышает инвестиции Соединенных Штатов за тот же период (CAICT and Gartner, 2019). Однако Китай действительно сталкивается с проблемой Высшего экспертного полета, поскольку, несмотря на наличие более 18 000 талантливых разработчиков AI, когда речь заходит о тех, кто входит в число лучших в мире, Соединенные Штаты и ЕС имеют более чем в пять раз больше лучших экспертов (CISTP, 2019a).
Россия
Несмотря на низкие оценки по нескольким показателям потенциала и опыта, Россия является лидером в гонке по разработкам AWS, потому что она является ее самым ярым сторонником. Россия открыто стремится вывести людей из цикла принятия решений и не намерена подчиняться каким-либо международным усилиям по ограничению или запрету использования AWS в боевых действиях (Bendett, 2017; Tucker, 2017). В соответствии с российскими программами «создание перспективной военной робототехники до 2025 года» и «концепцией развертывания робототехнических комплексов военного назначения до 2030 года» Россия планирует иметь автономные системы охраны своих оружейных складов к 2020 году и стремится к тому, чтобы тридцать процентов их боевой мощи были частично или полностью автономными к 2030 году (Bendett, 2017; Moscow Times, 2014).
Россия остро ориентирована на развитие аппаратного обеспечения в ближайшей перспективе. Несмотря на сравнительно низкий годовой ВВП и общий бюджет на оборону, Россия намерена потратить почти столько же, сколько Китай на беспилотники к 2021 году, имея военный роботизированный бюджет перевооружения в размере 346 миллиардов долларов, и проводит ежегодные конференции по роботизации своих вооруженных сил (Bendett, 2017; Sputnik News, 2013; Statista, 2019). Их автономный роботизированный танк «Уран-9» уже развернут в Сирии (Mizokami, 2018).
Президент Владимир Путин публично заявил, что тот, кто станет лидером в области AI, «станет правителем мира», однако российские инвестиции в AI существенно ограничены (Bendett, 2017). Даже основные статистические данные AI по России трудно получить, и одним из возможных объяснений может быть то, что значительное развитие не происходит в сопоставимых масштабах. Несмотря на наличие по меньшей мере десяти исследовательских центров,
посвященных использованию AI в военных целях, ежегодные внутренние военные расходы России на AI оцениваются в 12,5 миллиона долларов в год, что составляет всего 0,01 процента от не секретного бюджета AI для Вооруженных сил Соединенных Штатов (Bendett, 2017, 2018).
Международные санкции могут быть частью проблемы, поскольку Россия была вынуждена сократить свой оборонный бюджет на 7 процентов в 2017 году, на 3,2 процента в 2018 году и, по оценкам, на 4,8 процента в 2019 году (Kofman, 2017).
Южная Корея
Южная Корея является непропорционально сильным игроком в разработке смертоносных AWS и мировым лидером, когда дело доходит до автономного сторожевого оружия. В то время, как только 17% южнокорейцев доверяют AI, большинство из них не испытывают никаких проблем с роботами в целом (Ipsos, 2018). При соотношении 631 робота на каждые 10 000 человеко-рабочих они имеют самую высокую концентрацию роботов в мире (Peng, 2018). Столкнувшись с замедлением роста населения, Южная Корея ищет автоматизацию, чтобы выйти за рамки промышленного использования и перейти в военную сферу, поскольку в настоящее время она полагается на обязательную воинскую повинность для заполнения рядов своей армии.
Несмотря на то, что Южная Корея находится под американским зонтиком безопасности, ее собственный потенциал в области разработки вооружений остается высоким, ежегодно тратя на оборону 41 миллиард долларов (SIPRI, 2019). В условиях реальной угрозы с Севера, их главной заботой было развитие статичных оборонительных AWS. Первая в мире стационарная автономная роботизированная турель Samsung SGR-A1 была разработана в Южной Корее в 2006 году (Parkin, 2015). Кроме того, корейский производитель оружия DoDAAM разработал Super aEgis II, сторожевую башню дальнего действия, которая может автономно обнаруживать, отслеживать и поражать цели-и в тревожной тенденции
распространения, как сообщается, продал эту технологию Объединенным Арабским Эмиратам и Катару (Parkin, 2015).
Культивирование знаний в области искусственного интеллекта является одним из основных направлений в Южной Корее.
Игрок Ли Седол был побежден системой Google DeepMind AlphaGo AI, Южная Корея пообещала почти 1 миллиард долларов на исследования в области искусственного интеллекта (Peng, 2018). Имея около 70 000 патентов на искусственный интеллект, более 50 000 публикаций по искусственному интеллекту и более 2000 экспертов по искусственному интеллекту, Южная Корея является крупным игроком на мировой арене (Bode and Huelss, 2018; CISTP, 2019a, 2019c; Shoham et al., 2018). Южная Корея стремится сохранить конкурентоспособность в глобальном масштабе, открыв к 2020 году шесть новых школ, ориентированных на искусственный интеллект (Peng, 2018).
Европейский Союз
ЕС с совокупным ВВП, который вскоре станет крупнейшим в мире и несколькими ведущими государствами-членами по производству оружия, имеет потенциал стать мировым лидером в области развития AWS (World Bank, 2019). В настоящее время внимание ЕС сосредоточено на промышленном AI и робототехнике. Самым большим препятствием для того, чтобы ЕС стал доминирующим игроком в развитии смертоносной AWS, является смешанное намерение его членов. Франция, Германия, Великобритания (Великобритания), Швеция и Италия разрабатывают автономные военные робототехнические системы, однако некоторые члены остаются в нерешительности, и в Австрии был даже зарегистрирован, запрет на использование AWS (Boulanin and Verbruggen, 2017; Campaign to Stop Killer Robots, 2018). Еще больше усложняя этот вопрос, Европейский парламент придерживается позиции, что люди всегда должны сохранять контроль принятия решений над системами смертоносного оружия (European Parliament, 2018).
Имея второй по величине объединенный оборонный бюджет в мире, составляющий 281 миллиард долларов, и прогнозируемые расходы на
закупку беспилотных летательных аппаратов не менее 8 миллиардов долларов к 2021 году, ЕС имеет потенциал для разработки оборудования AWS мирового класса (SIPRI, 2019; Statista, 2019).
Некоторые отдельные государства-члены ЕС являются тяжеловесными соперниками в своем собственном отношении. Только Франция ежегодно тратит на оборону более 63 миллиардов долларов и далее заявляет, что искусственный интеллект будет основной частью их военной стратегии (Peng, 2018; SIPRI, 2019). Германия ежегодно тратит на оборону 49 миллиардов долларов и создала «активную оборонную систему» с автоматическим временем реакции менее миллисекунды (Boulanin and Verbruggen, 2017; SIPRI, 2019). Автономия является ключевым компонентом плана модернизации итальянской армии, и она ежегодно тратит на оборону более 27 миллиардов долларов (Nones and Marrone, 2012; SIPRI, 2019). Великобритания является вторым по величине экспортером оружия в мире, ежегодно тратит на оборону более 49 миллиардов долларов и вкладывает значительные средства в технологии беспилотных летательных аппаратов (Boulanin and Verbruggen, 2017; SIPRI, 2019).
ЕС превзошел даже Соединенные Штаты по некоторым показателям искусственного интеллекта. Государства-члены ЕС опубликовали больше всего документов, связанных с AI, в общей сложности более 425 000, и имеют вторые по величине показатели, когда речь заходит о патентных заявках на AI, более чем 233 000 (CISTP, 2019c; IPlytics GmbH, 2019). Кроме того, ЕС обладает наибольшим количеством талантов в области искусственного интеллекта и лучшими талантами в мире, причем более 41 000 и 5100 соответственно поступают только из Германии, Франции, Великобритании, Испании и Италии (CISTP, 2019a). Если объединенный опыт и потенциал государств — членов удастся эффективно объединить через новый европейский оборонный фонд, ЕС может стать доминирующим игроком в гонке вооружений AI и AWS.
Окончание гонки вооружений искусственного интеллекта с запретом на роботов-убийц
Поскольку гонка вооружений AI продолжается, ставки остаются высокими, но общественные дебаты отсутствуют. Шестьдесят один
процент граждан, опрошенных в более чем двадцати странах, выступают против разработки смертоносных AWS, и все же миллиарды налоговых долларов тратятся на их развитие каждый год (CSKR, 2019). Франция, Германия и другие страны выступают за использование процесса Конвенции о некоторых видах оружия (CCW) для разработки «возможных руководящих принципов» в качестве кодекса поведения, призванного стимулировать развитие AWS, оставаться в соответствии с существующим международным правом (Конвенция о некоторых видах оружия, 2018 год). Кроме того, 28 государств призвали запретить роботов-убийц, и далее Движение неприсоединения и группа африканских государств хотят провести переговоры о новом международном договоре, устанавливающем ограничения на роботов убийц. Предыдущие запреты на оружие, начиная с химического и биологического оружия и кончая наземными минами и кассетными боеприпасами, были эффективными политическими инструментами, которые значительно ограничивали применение этого проблематичного оружия. В то время как Соединенные Штаты в настоящее время не в состоянии возглавить свою злополучную политику «Америка прежде всего», ЕС и другие дальновидные страны должны попытаться установить твердые глобальные нормы и настаивать на запрете использования AWS сейчас. В прошлом году Китай объявил, что хочет запретить использование AWS на поле боя, но не их разработку и производство. Это могло бы послужить основой для коалиционных переговоров с остальным миром и стало бы ключевым шагом вперед в превентивном управлении безопасностью (Garcia, 2018).
Примечание
- Другими заметными соперниками в гонке вооружений AI являются Индия, Израиль и Япония, см. «темные лошадки в смертельной гонке вооружений AI» для получения дополнительной информации (Haner, 2019).
Рекомендации
Altmann, J. and Sauer, F. (2017) ‘Autonomous Weapon Systems and
Strategic Stability’, Survival, 59 (5), pp. 117–142.
Baker, S. (2017) Which Countries and Universities are Leading on AI
Research?Times Higher Education, World University Rankings
[online]. Available from: https://www.timeshighereducation.com/databites/
which-countries-and-universities-are-leading-ai-research
[Accessed 17 May 2019].
Bendett, S. (2017) Red Robots Rising: Behind the Rapid Development of Russian Unmanned
Military Systems, The Strategy Bridge [online].
Available from: https://thestrategybridge.org/the-bridge/2017/12/12/
red-robots-rising-behind-the-rapid-development-of-russian-unma nned-military-systems
[Accessed 17 May 2019].
Bendett, S. (2018) In AI, Russia Is Hustling to Catch Up, Defense One [online]. Available from:
https://www.defenseone.com/ideas/2018/04/ russia-races-forward-ai-development/147178/
[Accessed 23 May 2019].
Bode, I. and Huelss, H. (2018) ‘Autonomous Weapons Systems and Changing Norms in
International Relations’, Review of International Studies, 44 (3), pp. 393–413.
https://doi.org/10.1017/ s0260210517000614.
Boulanin, V. and Verbruggen, M. (2017) Mapping the development of autonomy in weapon
systems, Stockholm International Peace Research Institute [online]. Available from:
https://www.sipri.org/sites/ default/files/2017-11/siprireport_mapping_the_development_of_a
utonomy_in_weapon_systems_1117_1.pdf [Accessed 23 May 2019].
CAICT and Gartner (2019) Global AI Investment and Funding Share, Statista [online]. Available
from: https://www-statista-com.ezproxy.ne
u.edu/statistics/941446/ai-investment-and-funding-share-by-country/ [Accessed 23 May 2019].
Campaign to Stop Killer Robots (CSKR) (2018) Country views on killer robots. Campaign to
Stop Killer Robots [online]. Available from:
CountryViews22Nov2018.pdf [Accessed 23 May 2019].
Campaign to Stop Killer Robots (2019) Global poll shows 61% oppose Killer Robots, Campaign
to Stop Killer Robots [online]. Available from:
https://www.stopkillerrobots.org/2019/01/global-poll-61-oppose-killer- robots/ [Accessed 17 May
2019].
China State Council (2017) A Next Generation Artificial Intelligence Development Plan [online].
Available from: https://www.newamerica.
org/cybersecurity-initiative/digichina/blog/full-translation-chinas-newgeneration-
artificial-intelligence-development-plan-2017/ [Accessed 17 May 2019].
CISTP (2019a) Center for International Strategy, Technology, and Policy AI talent by Country,
Statista [online]. Available from: https://wwwstatista-
com.ezproxy.neu.edu/statistics/941479/ai-experts-by-country/ [Accessed 21 May 2019].
CISTP (2019b) Center for International Strategy, Technology, and Policy Global AI Enterprises
by Country, Center for International Strategy, Technology, and Policy [online]. Available from:
https://www-statista- com.ezproxy.neu.edu/statistics/941054/number-of-ai-companies-world
wide-by-country/ [Accessed 21 May 2019].
CISTP (2019c) Global AI Paper Publications, Statista [online]. Available from:
publications-worldwide-by-country/ [Accessed 21 May 2019].
Cole, C. (2017) ‘Harm to Global Peace and Security’, in R. Acheson, M. Bolton, E. Minor and A.
Pytlak (eds.), The Humanitarian Impact of Drones. Womens International League for Peace and
Freedom, pp. 48–59. Available from: https://reliefweb.int/sites/reliefweb.int/files/
resources/humanitarian-impact-of-drones.pdf [Accessed 23 May 2019].
Convention on Certain Weapons (CCW) Group of Government Experts (2018) ‘Report of the
2018 session of the Group of Governmental Experts on Emerging Technologies in the Area of
Lethal Autonomous Weapons Systems’. United Nations Office at Geneva [online]. Available
from: https://www.unog.ch/80256EDD006B8954/
(httpAssets)/20092911F6495FA7C125830E003F9A5B/$file/CCW_GGE. 1_2018_3_final.pd
[Accessed 23 May 2019].
Cuthbertson, A. (2016) An Algorithm Powered by this $35 Computer Just Beat a Human Fighter
Pilot, Newsweek [online]. Available from:
https://www.newsweek.com/artificial-intelligence-raspberry-pi-pilot-ai- 475291 [Accessed 17
May 2019].
Department of Defense (DoD) (2012) Directive 3000.09, United States of America Department
of Defense [online]. Department of Defense. Available from:
https://www.esd.whs.mil/Portals/54/Documents/DD/ issuances/dodd/300009p.pdf.
Edmeades, A. (2017) ‘International Law Perspectives’, in R. Acheson, M. Bolton, E. Minor and
A. Pytlak (eds.), Harm to Global Peace and Security. Womens International League for Peace
and Freedom, pp. 101–114. Available from: https://reliefweb.int/sites/reliefweb.int/files/
resources/humanitarian-impact-of-drones.pdf [Accessed 23 May 2019].
European Parliament (2018) Texts adopted – Autonomous Weapon Systems, European
Parliament Resolution. Available from: http://
www.europarl.europa.eu/doceo/document/TA-8-2018-0341_EN.html? redirect [Accessed 23
May 2019].
Garcia, D. (2014) ‘The Case Against Killer Robots – Why the United States Should Ban Them’,
Foreign Affairs. Available from: https://
www.foreignaffairs.com/articles/united-states/2014-05-10/case-aga inst-killer-robots [Accessed
23 May 2019].
Garcia, D. (2016) ‘Future Arms, Technologies, and International Law: Preventative Security
Governance’, European Journal of International Security, 1 (1), pp. 94–114.
Garcia, D. (2018) ‘Lethal Artificial Intelligence and Change: The Future of International Peace
and Security’, International Studies Review, 20 (2), pp. 334–341.
Gartner (2018) Gartner Says Nearly Half of CIOs Are Planning to Deploy Artificial Intelligence,
Gartner Newsroom. Available from: https://
www.gartner.com/en/newsroom/press-releases/2018-02-13-gartner-sa
ys-nearly-half-of-cios-are-planning-to-deploy-artificial-intelligence [Accessed 16 May 2019].
Gettinger, D. (2018) Summary of Drone Spending in the FY 2019 Defense Budget Request.
Center for the Study of the Drone at Bard College. Available from:
https://dronecenter.bard.edu/files/2018/04/ CSD-Drone-Spending-FY19-Web-1.pdf [Accessed
17 May 2019].
Haner, J. K. (2019) Dark Horses in the Lethal AI Arms Race. Available from:
JustinKHaner.com/AIArmsRace [Accessed 4 July 2019].
Horowitz, M. C. and Levendusky, M. S. (2011) ‘Drafting Support for War: Conscription and Mass
Support for Warfare’, The Journal of Politics, 73 (2), pp. 524–534.
https://doi.org/10.1017/s0022381611000119 .
Human Rights Watch (2019) China’s Campaign of Repression Against Xinjiang’s Muslims,
Human Rights Watch [online]. Available from:
s/chinas-campaign-repression-against-xinjiangs#; [Accessed 20 May 2019].
IPlytics GmbH (2019) AI Patent Applications by Country Worldwide, Statista [online]. Available
from: https://www-statista-com.ezproxy.ne
u.edu/statistics/1007944/number-of-ai-patents-worldwide-by-country/ [Accessed 21 May 2019].
Ipsos (2018) Trust in artificial intelligence by country 2018, Statista [online] . Available from:
https://www-statista-com.ezproxy.neu.edu/ statistics/948531/trust-artificial-intelligence-country/
[Accessed 21 May 2019].
Kania, E. B. (2017) Battlefield singularity: Artificial Intelligence, Military Revolution, and China’s
Future Military Power [online]. Available from:
rity-artificial-intelligence-military-revolution-and-chinas-future-military- power [Accessed 17 May
2019].
Kofman, M. (2017) The Russian Defense Budget and You, Russia Military Analysis [online].
Available from: https://russianmilitaryana
lysis.wordpress.com/2017/03/17/the-russian-defense-budget-and-you/ [Accessed 17 May 2019].
Mizokami, K. (2018) Russia’s Tank Drone Performed Poorly in Syria, Popular Mechanics.
Available from: https://www.popularmechanics.c
om/military/weapons/a21602657/russias-tank-drone-performed- poorly-in-syria/ [Accessed 17
May 2019].
Moscow Times (2014) Battle Robots to Guard Russian Missile Silos by 2020, Moscow Times
[online]. Available from: http://themoscowtime
s.com/articles/battle-robots-to-guard-russian-missile-silos-by-2020- 38460 [Accessed 17 May
2019].
Nissenbaum, D. and Strobel, W. (2019) Mideast Insurgents Enter the Age of Drone Warfare,
The Wall Street Journal [online]. Available from:
warfare-11556814441 [Accessed 17 May 2019].
Nones, M. and Marrone, A. (2012) The Transformation of the Armed Forces: The Forza NEC
Program. Rome: IAI Research Paper (Istituto Affari Internazional).Olaifa, B. (2018) Boko Haram
Now Engages Foreign Fighters, Says Army,
The Nation, Nigeria [online]. Available from: http://thenationonlineng.
net/boko-haram-now-engages-foreign-fighters-says-army/ [Accessed 17 May 2019].
Parkin, S. (2015) Killer Robots: The Soldiers that Never Sleep [online]. Available from:
http://www.bbc.com/future/story/20150715-killer-rob ots-the-soldiers-that-never-sleep [Accessed
17 May 2019].
Peng, T. (2018) South Korea Aims High on AI, Pumps $2 Billion into R&D, Medium [online].
Available from: https://medium.com/syncedre
view/south-korea-aims-high-on-ai-pumps-2-billion-into-r-d-de8e5c0c 8ac5 [Accessed 17 May
2019].
Pisani, B. (2015) What Caused the Flash Crash? CFTC, DOJ Weigh In, CNBC. Available from:
https://www.cnbc.com/2015/04/21/what-ca used-the-flash-crash-cftc-doj-weigh-in.html
[Accessed 17 May 2019].
Research and Markets (2018) Artificial Intelligence in Military Market by Offering (Software,
Hardware, Services), Technology (Learning & Intelligence, Advanced Computing, AI Systems),
Application, Platform, Region – Global Forecast to 2025, Research and Markets [online].
Available from: https://www.researchandmarkets.com/resea rch/z8tfh7/18_8_billion?w=4
[Accessed 17 May 2019].
Roff, H. M. (2014) ‘The Strategic Robot Problem: Lethal Autonomous Weapons in War’, Journal
of Military Ethics. 13 (3), pp. 211–2227. https://doi.org/10.1080/15027570.2014.975010.
Sander, A. and Meldon, W. (2014) BCG Perspectives: The Rise of Robotics [online]. Available
from: http://image-src.bcg.com/Imags/The_Rise_of_ Robotics_Aug_2014_tcm9-82495.pdfe
[Accessed 17 May 2019].
Scharre, P. (2014) Robotics on the Battlefield Part II: The Coming Swarm, CNAS [online].
Available from: https://www.cnas.org/publications/
reports/robotics-on-the-battlefield-part-ii-the-coming-swarm [Accessed 17 May 2019].
Scharre, P. (2019) ‘The Real Dangers of an AI Arms Race’, Foreign Affairs, 9 (3).
Schwarz, E. (2018) The (Im)possibility of Meaningful Human Control for Lethal Autonomous
Weapon Systems, Humanitarian Law & Policy [online]. Available from:
29/im-possibility-meaningful-human-control-lethal-autonomous-wea pon-systems/ [Accessed 7
June 2019].
Sharkey, N. (2017) ‘Why Robots Should Not be Delegated with the Decision to Kill’, Connection
Science, 29 (2), pp. 177–186. https://doi. org/10.1080/09540091.2017.1310183.
Shoham, Y., Perrault, R., Brynjolfsson, E., Clark, J., Manyika, J., Carlos, J. et al. (2018) The AI
Index 2018 Annual Report. AI Index Steering Committee, Human-Centered AI Initiative,
Stanford University, Stanford, CA.
SIPRI (2019)
Stockholm International Peace Research Institute (SIPRI) Military Expenditure Database
[online]. Available from: https://www. sipri.org/databases/milex [Accessed 17 May 2019].
Sputnik News (2013) Russia to Focus on Robotic Weaponry in Arms Procurement, Sputnik
News [online]. Available from: https://
sputniknews.com/military/20131211185469570-Russia-to-Focus-on-
Robotic-Weaponry-in-Arms-Procurement/ [Accessed 17 May 2019].
Statista (2019) Global Drone Spending by Country, Statista [online]. Available from:
https://www-statista-com.ezproxy.neu.edu/statistics/ 757608/global-drone-spending/ [Accessed
21 May 2019].
Tucker, P. (2017) ‘Russia to the United Nations: Don’t Try to Stop Us From Building Killer
Robots’, Defence One [online], pp. 1–2. Available from:
nations-dont-try-stop-us-building-killer-robots/142734/ [Accessed 23 May 2019].
West, S. M., Whittaker, M. and Crawford, K. (2019) Discriminating Systems: Gender, Race, and
Power in AI [online]. Available from:http://cdn.aiindex.org/2018/AI Index 2018 Annual Report.pdf
[Accessed 20 May 2019].
World Bank (2019) GDP Data, The World Bank Dataset [online]. Available
from: https://data.worldbank.org/indicator/ny.gdp.mktp.cd [Accessed 21 May 2019].
Информация об авторе
Джастин Ханер — доктор кафедры политологии Северо-Восточного университета, специализирующийся на глобальном управлении и международной безопасности. Его работа сосредоточена на преобразующей силе, которую международное право и институты могут иметь для решения сложных глобальных и региональных проблем безопасности.
Дениз Гарсия — профессор Северо-Восточного университета, член Международной группы по регулированию автономных вооружений и заместитель председателя Международного Комитета по контролю за роботизированными вооружениями. Она изучает робототехнику и искусственный интеллект, глобальное управление безопасностью, формирование новых международных норм и их влияние на мир и безопасность.