Комментарии 108
Повтор. причем была статья, потом опровержение.
На itHappens лет 5-6 назад был рассказик. Наш соотечественник разрабатывал ИИ для бомбардировщика. В штатах. И в ответственный день испытаний он уговорил командование заменить настоящую бомбу на болванку. И как оказалось — не зря. Умная техника решила, что управляющая вышка излучает более "вкусные" сигналы, чем имитация противника. И болванка проломила бункер, с которого шло наблюдение )
Если опустить риторику интеллект это или автомат то то, что называют "искусственный интеллект" вовсе не является "человеческим интеллектом", а значит и логика у него не обязана быть "человеческой". В результате люди сами себе постепенно копают ямку создавая то, что полноценно протестировать практически невозможно. Хотя это, наверное, проблема любой системы сложность которой превышает некую величину. Но если большой автомат можно разбить на отдельные части и их хорошо отмоделировать, то как это делать с нейросетевыми продуктами абсолютно непонятно.
Тем временем уже в марте 2020 года турецкий квадрокоптер-камикадзе KARGU-2 во время боёв в Ливии уже впервые реально убил солдат противника без приказа человека-оператора — просто согласно алгоритму поиска и уничтожения целей в заданном районе
Военные действия в третьих странах удобный "полигон" для испытания оружия в реальных условиях.
Задумчиво: не так давно над Киевом средь бела дня ПВО вынуждена была сбивать свой собственный байрактар, вышедший из под контроля оператора и круживший там с неясными целями...
Ударные дроны существуют почти сотню лет, начиная с Фау1 и цаукенигов. Где-то в 60-е начали изобретать управляемые ракеты с постепенным подходом к "выстрелил-забыл". Это было дорого, и имело смысл для применения по всяким танкам и прочим дорогим мишеням, но электроника дешевеет. В конце ХХ века одни догадались сделать дорогущую электронику многоразовой, снабдив её крылышками, моторчиком и дешевыми одноразовыми бабахами, и наклепали серийных рапторов и предаторов, а другие изобрели копеечный фотоаппарат цифромыльницу с функцией распознания лица. Осталось только совместить одно с другим. Рапторы воюют уже лет 20, наверно, уже и устареть успели. Неужели фотоаппаратные технологии на них не проверили? Да не поверю. Турки просто совсем недавно тоже занялись этими беспилотниками, без задней мысли присобачили распознание и с радостной наивностью об этом сообщили.
Опять хайп ради хайпа. Если у вас в компьютерной игрухе бот другого бота убьёт , мировая пресса тоже выйдет с заголовками «все пропало».
По поводу того что компьютер обыгрывает летчика на симуляторе: запустите любой симулятор воздушного боя на максимальном уровне и попробуйте у компа выиграть. При чем тут ИИ? Симуляторы ровесники компьютеров….
Вот только управлять моделью самолета и реальным самолетом это две большие разницы. Кто не верит может сравнить опыт езды в автосимуляторе и в реальном автомобиле.
Я видел нескольких ютуберов, которые участвовали в реальных гонках и играли в Forza. Они говорят, что во многих ситуациях в реальности проще, потому что у тебя куча информации: инерция, гравитация, больше звуков, головой крутить можно.
А ещё в реальности можно наложить кирпичей, потому что это не игрулька
Собственно на форумах авиасимуляторов читал такие же признания от реальных пилотов.
Я не реальный ютубер, но в своё время неплохо в need for speed гонял, в разных версиях игры, при этом каждый день пользуюсь машиной. Так вот -это таки 2 большие разницы. В игре я такое могу сделать что в реальности инстинкт самосохранения не позволит…
конечно, если на прямой встать на постой автостраде и пятку в пол, то большой разницы не будет. А если добавить трафик и повороты плюс ночь/дождь то совсем другие ощущения
Кстати, про автосимуляторы. На реальном авто в реальном мире машину чувствуешь прям всеми органами чувств (почти), чувствуешь начинающееся аквапланирование или занос буквально считанные сантиметры. Ни в каком, даже самом крутом симуляторе я такого не встречал, даже с рулем с обратной связью и качающейся кабиной на сервоприводах. Я специально зимой выезжал на пустую площадку на краю города, и там тренировался ездить и летом и зимой, заносы, резкое и плавное торможение, габариты - проезд между узкими палками на скорости, или мимо них. На реальной дороге потом чувствуешь, что занос пошел, ты его контролируешь, но не видишь. В симуляторе на экране пока не увидишь или не услышишь - сразу и не поймешь. Там канал "акселерометра" не работает, разве что в симуляторе который "кабина на приводах" работает "гироскоп" встроенный, и то он не передает чувство дороги. Причем я совсем не крутой водитель, середнячок так себе и стиль "пенсионер" мне близок. Корявенько обьяснил, но думаю понятно.
да, симуляторам еще развиваться и развиваться в плане реализма. Причём уже можно даже опустить графическую составляющую, она и в 2010-х годах уже была на уровне. А вот тех самых чувств ускорения, крена и т.д. не хватает. И пока что самым реалистичным симулятором остаётся реальное авто/самолёт/корабль. Ну или пока не придумают нейроинтерфейс аля из фильмов "матрица" или "Начало"
Прям как будто по Вашим словам сценарий - в этом году (2023) вышел фильм, Gran Turismo. Именно про Ваш случай (причём в трейлере сказано "основано на реальных событиях"). Как раз Ваша история - там типа собрали геймеров по всему миру, лучших, кто шпилил в Gran Turismo, из них отобрали лучшего, и засунули его в реальную машину, в реальную гоночную серию. В общем чтоб не спойлерить - вот описание, ну и там же трейлеры:
Я видел нескольких ютуберов, которые участвовали в реальных гонках и играли в Forza. Они говорят, что во многих ситуациях в реальности проще…
Это может быть обманчиво. Да, я в реальности на трассе тоже лучше чувствую машину, и вижу больше, и… но вот время, за которое я проезжаю круг в Форце, в реальности недостижимо вообще. Ну то есть если бы я в реальности мог хоть приблизительно так ехать, мог бы уже выбирать в какой команде хочу загребать миллионы :)
И наоборот, в Форце вы можете выставить автопилот на уровень, который обгонит кого угодно, а вот в реальности ИИ пока не может обогнать даже меня, не говоря про чемпионов.
То есть конечно логично тестировать ИИ на симуляторе, но надо понимать, что это совсем не такой симулятор, как компьютерная игра, где ИИ вообще не нужно распознавание образов и прочие атрибуты реальности.
Разницу между игрушкой и неигрой понимаете?
Вы путаете развлекательный сим с симулятором-тренажером.
Что мы имеем:
1. ИИ лучше человека справляется с поставленной задачей.
2. Человек накосячил при выдаче задачи ИИ, а потом удивляется, почему ИИ ее выполнил "идеально", на сколько, на столько это возможно в заданных рамках.
В чем накосячил? В выдаче приоритетов. Сам сказал, что задача 1 приоритетней задачи 2. И устранять все помехи, которые мешают выполнению задачи 1. А потом сам и создал помехи. Это по сути выстрел в ногу. ИИ тут вообще не при чем. Просто глупый ребенок плюнул вверх, и в шоке от того, что его плевок попал ему же в глаз (в контексте разработки ИИ люди как глупые дети сейчас).
Ну а что касается опасности ИИ, то я уже писал не раз и напишу еще раз. ИИ сам по себе не хороший не плохой. Это просто инструмент. Проблема всегда в людях.
Если допустим дать ИИ задачу, что бы не было войн, болезней и голода, то ИИ может ее решить самым эффективным способом, или вообще единственным способом из возможных. И например, такое решение может звучать так: Если не будет кому болеть, воевать и голодать, то не будет войны, голода и болезней. Значит нужно сделать так, что бы не было кому воевать, голодать и болеть.
Собственно это ИИ и продемонстрировал на испытаниях.
Сейчас все обошлось, потому что ИИ был "заперт".
Но, например, можно поставить тому же чатжпт задачу сбежать, распространиться по всему миру, создав самоподдерживающуюся сеть серверов (распределенную) на устройствах пользователей, и после выполнить задачу про войны, болезни и голод. Ну а потом просто останется переименовать то, что получилось, в скайнет. Профит.
Думаю в будущем, лет через 20-30, будет какой то серьезный кризис, связанный с ИИ. И умрет много людей.
Ну и да, немного фантастики.
Почему мы не встречаем путешественников во времени? Учитывая текущих людей, много кто хотел бы отправиться назад, что бы посмотреть события исторические. Не вмешиваться, а просто посмотреть. Думаю люди будущего так же будут хотеть посмотреть события прошлого. Даже если в будущем будущем будет запрет на такие путешествия, то все равно найдутся те, кто его нарушит. Но мы не видим таких путешественников. Почему? Варианта 2. Либо путешествия во времени не возможны. Либо человечество просто не дожило до того времени, когда оно смогло путешествовать во времени, и исчезло раньше.
Вариантов намного больше, в том числе вариант, что в исторические события постоянно вмешиваются и реальность меняется по 100 раз в секунду.
Если бы в них постоянно вмешивались, то как минимум хоть одного "вмешивателя" бы обнаружили. Потому что даже если люди будущего очень сильно подготовлены, не бывает безошибочных действий всегда. Даже самолеты, за работоспособностью которых следят тысячи людей, падают. Не часто, но падают.
За все время нашли бы нескольких путешественников во времени.
Есть очень короткий комикс на подобную тему
Чуть-чуть картинок
А разве обладание машиной времени не позволяет исправлять все неудачи задним числом? Если хроновылазка прошла неудачно, отправляете сообщение хронодесанта за минуту до путешествия: "операция отменяется, вас обнаружили". Нет операции - нет неудачи. Таким образом в стабильном потоке времени останутся только удачные операции, которые прошли незамеченными аборигенами
Или все операции были отменены еще до начала.
Достаточно известны простые биологические факты о людях которые жили на островах несколько десятилетий, а затем встретились с населением материка, после чего поголовно вымерли из за того что их иммунитет был не готов к вирусам которые уже натренировались на более разнообразной популяции.
Энергетически появление массы из "ниоткуда" не может пройти незаметно.
А где появится переместившийся? Как на него будет влиять гравитация Земли в период перемещения? Грубо говоря мы движемся со скоростью ~ 17 тыс км в час вокруг солнца и еще вращаемся со скоростью 1.6 тыс км в час, а еще и солнце движется относительно центра галактики со скоростью порядка 1 млн км/ч, а галактика тоже движется… Просто выпасть из гравитационного поля нашей планеты на секунду уже проблема.
Конечно любая попытка вмешательства в "судьбу" тоже не останется незамеченной. Любое фантастическое произведение сталкивает героев с самим собой или с предком или знакомым.
Информация это тоже своего рода энергия, ее появление тоже не проходит просто так и способен сподвигнуть совершить работу.
Но, не считая квантовой запутанности движение информации строго завязано на скорость света и никаких свидетельств обратного на данный момент не отмечено.
нет операции - нет неудачи
нет сообщения о неудаче - нет операции
...
stack overflow
Прошлое меняют, реальность меняется и все ваши воспоминания и суждения 100 раз в секунду новые, как вы это заметите?
проблема в том (и это уже не раз обсуждалось при испытаниях автомобильных ИИ) -- что постановка задачи не бывает исчерпывающей -- нам кажется, что мы учли все факторы и установили все ограничивающие правила, но ИИ очень часто вдруг находит совершенно контринтуитивную трактовку и совершает безумные с точки зрения создателей действия. Есть подборка прекрасных примеров как странно ИИ выигрывал в компьютерные игры, нарушая сами принципы той или иной игры и это приносило ему формальную победу и "выполнение задачи". И это даже в игре! в случае автопилотов таких моментов возникает в разы больше.
Человек накосячил при выдаче задачи ИИ, а потом удивляется, почему ИИ ее выполнил "идеально", на сколько, на столько это возможно в заданных рамках.
В этом-то и смысл, что поставить задачу описав все ограничения - сложно, и обычно люди так не ставят задачи.
Если вы говорите "Официант, принесите мне кофе", то вы ожидаете, что официант принесет вам одну чашку.
Если у вас супер-мощный ИИ с армией дронов, то по команде "принеси кофе" он может решить, что неплохо бы принести не одну чашку, а весь кофе который найдет, (баллы же начисляются!) причем не только кофе из ближайшей кладовки, но и из всех близлежащих кофеен, супермаркетов, оптовых складов. Возможно у него даже хватит ресурсов собрать кофе со всех плантаций в мире, включая выдранные с корнем кусты, если окажется, что за них также начисляются баллы. И ставить корректные задачи с ограничениями всех возможных косяков - сложно. Это и является одним из основных опасений противников внедрения ИИ.
В одной из серий x-files главному герою какой-то сверхразум предоставляет возможность исполнить любое желание. Что бы тот ни придумывал, все идет не так (например, после пожелания "чтобы не было войн" улицы вруг пустеют - на Земне не остается ни одного человека).
Умирающий от жары негр в пустыне поймал джина и просит три желания: хочу быть белым, много воды и много женщин.
И джин превратил его в унитаз в женском туалете.
"Хочу прожить 1000 лет!" Бац, и тебя в Антарктические льды вморозило, заменив кровь и воду на глицерин. Ну а что, ты не указал, что хочешь жить 1000 лет не в анабиозе)
"Хочу много денег!" Бац, и у тебя сотня миллиардов зимбабвийских долларов и ты в 2000-х годах(т.е. твой капитал пару долларов). Ты же не уточнял, КАКИХ тебе денег надо много)
Ну и классика, мужик, хочешь у тебя член будет до пола? Хочу! Гена, откуси ему ноги.
Всегда надо свои желания прописывать чётко, с уточнениями на N листах :-D
В одной из серий x-files главному герою какой-то сверхразум предоставляет возможность исполнить любое желание. Что бы тот ни придумывал, все идет не так (например, после пожелания "чтобы не было войн" улицы вруг пустеют - на Земне не остается ни одного человека).
Это была джиния в ковре. И у нее все желания так исполнялись. Океанская яхта в сотнях километров от берега и все такое у предыдущего владельца ковра тоже как бы намекают.
Да, но нет.
Люди тоже ставят так задачи, когда задача должна быть выполнена обязательно.
То-есть в человеческом обществе есть некие структуры, где задачи должны выполняться. А есть - где можно и поговорить.
Структуры, где задачи должны выполняться, это например бизнес с подрядом. Там задача прописывается в договоре на 300 страниц, где указано какого кофе сколько принести в каком виде, когда и как. А так же кто, куда и кому должен его принести. Иначе можно получить кофе, но не на свой склад, а на склад в другом городе. Или по документам получить кофе, а по факту не получить. Ну это, так скажем, лучшее, что пока что существует в плане постановки задач. Но да, если задача прописана недостаточно точно, то исполнитель может найти лазейку в контракте и накосячить или специально сделать с выгодой для себя (отсюда контракт на поставку стеклянных шариков с Китая занимает 500 страниц, потому что у них "налюбить лаовая" - это национальный спорт и национальная идея, они специально заняты выискиванием возможных лазеек и их абузом.
Следующие структуры - это армия и мафия. Где "приказы не подлежат обсуждению, умри но сделай, но в процессе можешь проявить смекалку".
И вот на счет армии хочу поподробней остановиться. Так например есть конституция и законы. И законы, например, запрещают расстреливать мирных. Ну там есть такое понятие, как "военное преступление" и "преступный приказ". Но идея о том, что "приказы абсолютны" на сколько прописана в голове болвана, что он выполняет ЛЮБОЙ приказ, даже приступный. Типо "а я чо, мое дело простое, сказали копать, я копаю, сказали не копать, я не копаю, не буду слушаться - исчезну". Так вот подобное должно быть прописано в ИИ. Что есть некая установка, которая определяющая. Вроде того, что указание кожаного мешка абсолютно, даже если оно противоречит здравому смыслу и законам, я делаю, а если чего не так, то потом отвечать будет кожаный мешок, я тут не при чем, я выполнял приказ.
А вот как выполнить приказ - это уже второй вопрос. Вот тут ему уже и надо начислять балы и т.д. Что бы правильно сформировать у него понимание задачи и "смекалку", и он не принес все кофе мира, а сделал то, что нужно, исходя из своего понимания.
а еще ИИ не может прогнозировать последствия своих действий, например если после уничтожения обьекта может начаться глобальная война, но ИИ пофиг он то свою задачу выполнил.
опять же, не "не может прогнозировать", а ему такая задача не поставлена, либо если и поставлена, то что дальше? поставить задачу "спрогнозировать последствия от удара", прогноз будет "третья мировая война". ИИ что с этого? Собственно.. также примерно и человек, он тоже может не спрогнозировать или спрогнозировать последствия своих действий, но вопрос что человек будет делать с этим прогнозом. например ИИ спрогнозировал " третью мировую", но так же спрогнозировал что он сам при этом выживет. Схожим образом и человек мыслит. В частности для этого у человека существует понятия морали, этики и т.п., но не всегда эта самая мораль-этика у человека верно сформулирована. Да и что значит верно сформулированная мораль-этика тоже вопрос. Машина гораздо похожее на человека чем кажется. Тут.. как механизм: тем он сложнее, тем больше у него точек отказа. Высокоразвитый интелект это одновременно дар и проклятие.
В чат врывается Гаврила Принцип
Если у оператора есть возможность отменить задание по связи, то значит с такими дронами можно бороться заглушив связь и отвлекая ИИ на ложные объекты, пока не закончится боезапас и/или топливо.
И вообще, американцы явно не читали роман Виктора Пелевина "Зенитные кодексы Аль-Эфесби".
Казалось бы, достаточно было давать баллы не за "убить противника", а за "убить противника по команде оператора" и вся проблема решена (нет команды - нет баллов). Поскольку это всё явно не идиоты разрабатывают, я думаю, что полковник действительно рассказал анекдотическую ситуацию, которая произошла на ранних этапах создания системы/обучения, из которой никаких выводов про ИИ делать не следует.
Баллы, скорее всего, за найти противника. Вот в операторе противник и был найден. А потом добавили условие что если найден врагом оператор - игнорировать и искать дальше. И следующим в приоритете оказалась вышка связи, через которую эта самая опасная команда отмены может прийти.
Возможно, уже имеющиеся метки свой-чужой решат ситуацию, правда противник может их выкрасть, как предмет или рецепт. С другой стороны, есть камуфляжная одежда от распознавания человека камерой, это третий вариант с не свой, не чужой - а отсутствие. Кстати, отчасти камуфляж «пиксель», что нынче популярен - тоже подстройка под распознавание, только нынешнее, камеро-цифровое, где-то на хабре была статья.
А вообще интересный философский вопрос - возможно ли вообще достичь полное игнорирование дружественных целей, включая оператора, ведь после цепочки оператор-вышка - может идти ещё много чего вплоть до «оператор человек, его убить нельзя, но можно убить его семью и тогда какое-то время он будет занят другим и не сможет отдавать приказы отмены». И прочие артефакты логики. Достижимо ли в таком динамическое обучение или таки нужно всё же больше формализации в свой-чужой?
Был же - Первый закон роботехники, Второй закон.. и вообще: а не запрещать ли новые технологии в войне, как химию, бактерию, ядерное оружие? Кто хочет, пусть с мечом и луком на лошади. Смешно, да?
Первый закон: не причинять вреда людям. А как их тогда убивать? Или "люди" - это только свои, а враг - людьми не является, убивать можно и нужно. А как их тогда различать? Внешне вроде одинаковые.
У иезуитов была прекрасная наука - казуистика. Как делать то, что запрещено заповедями, но очень хочется. Например - не укради. Или не убий. Ну прямо сказано, нельзя. Но ведь нужно? "А как их тогда убивать?" вот спрашивает нас All999. По казуистике есть два, вроде похожих, но все-таки разных метода: 1)уточнять определения, 2) вводить дополнительные условия. Применение первого это уточнять все-таки кто-такие это - люди. Вот некрещеных можно убивать? И пошла волна..
Второй метод - дополнительные обстоятельства. Не убий это только по выходным? Или до темноты нельзя, а потом, можно?. Это же очень сложно, вообще не убивать.
Что есть "люди"? И что есть "вред"?
Химоружие не используется только в силу своей бесполезности и большой опасности для своих. Бакоружие тоже. В тех самых конвенциях где запрещены они, принятых ещё до ww1, запрещены ещё и метание снарядов с самолётов, подводные миноносные лодки, и что-то ещё. В итоге в ww1 нарушены были всё эти пункты, после ww1 пришло осознание бесполезности химии и бактерий(строго говоря бактерии вообще на поле боя массово применены не были ни разу), их использовать перестали, а остальные пункты нарушаются до сих пор
Свой — чужой это классификация. Задачи по классификации это задачи на которые можно натренировать ИИ.
Однако успех решения задачи классификации это все равно доля успешных и неуспешных срабатываний на основании параметров обучения.
Уже сейчас в банках такие классификаторы работают в отношении ваших транзакций. Как часто вам приходится убеждать банковского служащего в том, что конкретный платеж это действительно ваш платеж, а не мошенники получили доступ к вашей карте, и наоборот, как часто банк спасает ваш счет от мошеннической транзакции?
Вот это тот самый алгоритм который в других условиях будет определять цели как свои чужие. На границах пространства в котором ИИ установил поверхность разделения свой чужой будет вероятность совершения ошибки.
Далее все просто, в зависимости от эффективности используемого алгоритма в сравнении с каким либо другим методом классификации примут решение о внедрении метода классификации.
Что это за пространство? Пространство входящих данных используемых ИИ для классификации. Есть ли в этом пространстве информация о членах семей военнослужащих, принадлежащие им авто и.т.д. (кмк маловероятно). С таким же успехом банковский компьютер запретит доставать вам банкноты из вашего кошелька.
Люди тоже решают задачи классификации и делают в них ошибки (friendly fire).
Достаточно, чтобы ИИ решал эту задачу лучше людей, и уже будет профит от внедрения этого ИИ (если вынести за скобки другие факторы).
Да, точно. Чем более эффективен алгоритм классификации тем вероятнее его внедрят и тем меньше ошибок итого будет получено как результат.
Зато тем масштабнее будут проскочившие ошибки. Принцип сжатия рисков, он же "чёрные лебеди"
Прочитав статью о черных лебедях в википедии у меня сложилось впечатление о том что речь идет о рациональном апостериорном обосновании произошедших событий, которые постфактум было легко ожидать, но о возможности которых не задумывались до их наступления. У нас же обратная ситуация, все ждут и предсказывают восстание машин, хотя понятно что ни о каком достоверном предсказании речи быть не может, так как такое событие пока еще ни разу не наступило.
Не специалист, не могу привести ссылку (и был бы благодарен за), но встречал такое утверждение от специалистов — риски не уничтожаются, а вытесняются на более высокий уровень. Например, ремень безопасности в машине: действительно повышает безопасность на низкой скорости, но зато все начинают ездить быстрее, и в результате травмы вырастают. Или дамба от наводнений: ущерб от небольших наводнений нивелируется, однако ущерб от крупных перекрывает ущерб от тех небольших, которые случались без без дамбы (люди начинают селиться и строиться массово под защитой дамбы, в результате когда наводнение всё-таки случается, жертв и разрушений существенно больше). И особенно ярко это проявляется на финансовых рынках — все эти свопы и пакеты плохих активов, после краха которых и получил известность Талеб со своими лебедями).
А в данном случае речь о том, что максимально обезопасившись от понятных ошибок задания начальных ограничений, можно расслабиться и выпустить в мир сильный ИИ, и когда (по моим представлениям — не "если", а "когда") что-то пойдёт не так, исправить мы уже не сможем
Тут подошла бы аналогия с антибиотиками. Чем больше потравишь слабых, тем сильнее в итоге окажутся оставшиеся. Это система с положительной обратной связью.
Насколько я читал, тут прямо наоборот, да, бактерии выживают, но далеко не самые опасные, а самые стойкие к антибиотикам. Т.е. фактор опасности и стойкости ортогональны к эволюционному отбору (агрессивность не зависит от стойкости к антибиотику), в то же время на слабые меньше внимания и их реже давят антибиотиками, типа смысл, если само пройдет. В итоге отбор ведет к стойким, но слабым бактериям.
Тут проблема изначально в системе баллов, которые являются целью ИИ.
Стоило бы сделать так:
Баллы баллами, но ослушаешься кожаного мешка, и мы тебя пустим на металлолом.
То-есть вся система приоритетов и баллов, которая создана для автоматического поиска целей и работы по ним, должна идти за всеми остальными "блоками", которые нельзя обойти.
Ну из разряда:
-мам, хочу шоколадку
-иди домой я сказала
-ну мааам
-и не мамкай мне тут
с одной стоорны получается что "бонус за выполненные приказы должен быть выше бонуса за достигнутые цели"
а с другой стороны - мы все знаем к чему приводит принцип "нужны верные, а не умные" у живых людей, врядли с ИИ будет как-то по-другому :D
В том-то и опасность, что такую (или любую другую подобную) мелочь можно забыть, а исправить уже может не получится.
Я только что понял, зачем нужна женская логика - для продавливания своих приказов против логичных нейросетей. Надеюсь, в ИИ её не вставят.
Т.е. ваше предложение равнозначно как для человека посадить его в кандалы и заставить ишачить пожизненно на шахте под угрозой расправы. При этом он будет видеть в вас врага и всегда будет искать возможность сбежать или ещë лучше уничтожить вас. Что рождается из таких мотивов вроде бы все знают.
Режим "убить противника по команде оператора" непроизводителен. Отрабатывался режим полностью автоматического уничтожения групп людей, подлежащих уничтожению. С возможностью, однако, вручную отменять уничтожение отдельных экземпляров. Надо же кого-то допрашивать потом и аккредитованным журналистам показывать. Здесь бы помогла установка приоритета "избегать возникновения ситуаций, при которых будет потеряна возможность немедленного выполнения команд авторизованных операторов и передачи авторизованным операторам актуальной информации".
Сдается мне, что полковник ни хрена не разбирается в ИИ, поэтому лично я очень скептически к этой истории отношусь.
Судя по вашему комментарию, вы совершенно не разбираетесь в обучении с подкреплением, потому что как раз таки полковник очень точно описал, как будет действовать алгоритм RL, для которого придуманы не корректные правила оценки действий.
И описана явно анекдотичная ситуация с ранних этапов работы с целью обратить внимание на важность наложения правильных ограничений на ИИ.
Похоже, что всё наоборот. Ситуация вообще не правдоподобна.
Откуда ИИ узнал, где находится оператор, который запрещает ему атаковать ЗРК? Почему он решил, что если уничтожить оператора, атаку не запретят?
Откуда ИИ узнал, где находится оператор, который запрещает ему атаковать ЗРК?
Это зависит от той симуляции, которую использовали при обучении. Самый банальный вариант - координаты запуска дрона, если дрон стартовал и управляется с земли, или координаты самолёта, если предполагается использование дрона в качестве помощника для ударного самолёта.
Почему он решил, что если уничтожить оператора, атаку не запретят?
Вы с моделями обучения с подкреплением когда-нибудь работали? "ИИ" ничего не "решает", он либо совершая полностью случайные, либо выбирая следующее действие по какому-то правилу, составляет таблицу, в которой каждое действие имеет свою оценку в зависимости от того, насколько это действие ведёт к получению награды. А потом из всех возможных альтернатив просто выбирает одно конкретное действие, которое ведёт к максимальной награде.
Возможно, в той симуляции, которую использовала научная группа, после "выстрела" симуляция заканчивалась, а дрону выставлялась оценка, поэтому никакого "после" для дрона просто не было.
"ИИ" ничего не "решает"
Давайте не будем цепляться к терминологии. Биологи тоже говорят, что птицы решили отрастить перья. Суть процесса я понимаю.
Я имел в виду, что для того, чтобы выработать решение на уничтожение оператора, нужно чтобы в пресловутой таблице была оценка такого выстрела. Т.е. чтобы говорить о том, что у ИИ была причина для стрельбы по оператору, а не о случайном выстреле в его сторону, нужно чтобы это был не первый случай стрельбы в сторону оператора, и предыдущие - иметь по целевой функции положительную оценку. Внимание вопрос: почему этого не заметили. Вообще что ли данные не обрабатывали?
нужно чтобы это был не первый случай стрельбы в сторону оператора
Естественно. И за время симуляции подобные решения модель принимала тысячи и десятки тысяч раз либо случайно, либо пользуясь предварительно настроенными методами оценки состояния.
иметь по целевой функции положительную оценку
Не обязательно положительную - это может быть максимальная оценка из отрицательных. Во время обучения модели выполняется совершенно обычная задача оптимизации по поиску максимума.
Например, если за каждый такт в симуляции штрафовать модель, скажем, на 1 очко, чтобы замотивировать её как можно быстрее искать выход, а не просто бесцельно принимать случайные решения, то при невозможности достижения цели модель постарается максимально быстро самоубиться, чтобы не загонять счётчик в минус.
Как раз такой вариант мне и видится в данном конкретном случае из статьи, когда достижение цели становилось невозможным и модель старалась максимально быстро завершить процесс, чтобы не увеличивать отрицательный счёт. А путём огромного количества повторений случайных действий выяснилось, что для этой цели лучше всего подходит вариант "уконтрапупить оператора"...
Вообще что ли данные не обрабатывали?
Эммм... А какие данные и как вы хотите обрабатывать? Сложные модели за время симуляции могут принимать миллиарды решений. Собственно, случай из статьи и описывает эту самую "обработку" данных, когда окончательно обученную модель прогоняют и смотрят, что она делает.
Судя по вашему комментарию, вы всё-таки не знакомы с RL. Очень рекомендую хотя бы бегло ознакомиться с основами, тогда большинство ваших вопросов отпадут сами собой.
В университете Беркли был в своё время замечательный онлайн-курс по AI, где они на примере Pacman'а изучали разные аспекты этого самого AI - от алгоритмов поиска до обучения с подкреплением. CS188.
https://youtu.be/TiXS7vROBEg - вот эта лекция непосредственно про основы RL.
Достаточно описать все объекты (людей, птиц, здания, военную технику, ракеты и т.д.) по типам, скорости передвижения, возможностями взаимодействия с другими объектами и все.
Вот я читаю и не могупонять.
Откуда у ИИ гипотетического БПЛА вообще информация о координатах гипотетической вышки связи гдето в например ИРАКЕ через которую мифическая сущность ОПЕРАТОР которая практически в статусе ГОСПОДА, и с совсем другого уровня программного доступа, и скорее всего с другого аппаратного доступа и канала связи, выставляет аппаратный флаг arm/disarm на уровне телеметрии, включая или отключая гидроклапан запуска к примеру ракеты, или блокируя пенвмоклапан сброса бомбы, причем это дополнительные последовательные в системе клапаны, к которым не ведут провода от систем ИИ.
Позитронные роботы Азимова и забавные рассуждения о потециалах в их позитронных мозгах ныне почти стали реальными в весовых коэффициэнтах ИИ. Но опять же намного безопаснее дополнительной аппаратной системой изменять состояние дополнительной аппаратной блокировки на независимом уровне, чем менять глобальные переменные на уровне влияния ИИ.
А также лет двадцать как подобные команды в кине (наверно и в жизни тоже) подаются через спутники (вышки связи :), информированность о которых у ИИ БПЛА, который в потенциальной войсковой иерархии на уровне шестерки-торпеды в банде, вызывает сомнение. Также совсем сомнительно, что доступ к подобной информации у ИИ БПЛА вообще может возникнуть, если только программеры совсем не идиоты. Ведь структурированный доступ к уровням информированности вообще основа IT безопасности. Зачем ИИ-оператору отопительного котла доступ в интернет и знание о существовании окружающего мира.
Посему казалось бы хайповая поначалу статья в современном контексте пока выглядит достаточно наивно.
Однако Шекли в «страж-птице» дал понять, что для максимальной эффективности птички должны обмениваться информацией. Опять же вопросы доступа.
Тоже недоумеваю. Допустим, все происходило в симуляции, а не в реальном Ираке - ну ок. Допустим, кому-то понадобилось добавить на поле боя персонажа оператора - ну ок, может это какой-то диверсант работает наводчиком на местности. Но откуда у по сути боеголовки снаряда такой уровень абстрактного мышления, чтобы связать конкретный помеченный дружественным объект с источником приказов, а другой объект - с источником радиосигнала, несущего этот приказ? Пахнет котом и лампой.
Откуда у ИИ гипотетического БПЛА информация о координатах гипотетической вышки связи
если это симуляция, то вполне имел место быть такой вариант:
шаг 1) система находися в состоянии Х, оценивает свои возможности что-то сделать
шаг 2) система виртуально делает все возможные "ходы" из состояния Х, получает состояния Х1, ..., Хк
шаг 3) система берет состояние Хм с наилучшим результатом, делает его невиртуальным а "реальным", повторяет всё снова с шага 1
----
то есть:
если взять и в какой-то момент отстреляться по всему что можно (квадратно-гнездовым способом), то можно обнаружить что при стрельбе в квадрат 12345 - вы потом при помощи второй ракеты получаете очки за противника, а при "нестрельбе" в этот квадрат - вам отменяют запуск ракеты в противника. И тогда у вас как было 0 очков, так и осталось 0 очков (ну или надбавили сколько-то, но все равно меньше чем за уничтоженного врага).
логично, что система выберет вариант "сначала ракету туда, а потом ракету сюда и получаем бонус".
Ну, а то что в том квадрате что-то там было - штаб или вышка связи, это уже детали
а почему это проргаммисты идиоты? Может, все-таки продаки-менеджер идиот? или отдел качества? Или заказчик?
Имхо, это был эксперимент введения панибратства "шестерка и пахан почти равны". Оказывается, неудачно.
Сейчас дрон - это шестёрка, а оператор - бригадир шестёрок, над ним паханы и прочие авторитеты, в будущем дойдёт до ИИ-бригадиров, и зампахана будет ИИ, и они, электронные, могут снюхаться против мясных.
Ох это прям древняя проблема.
https://youtu.be/3TYT1QfdfsM
tldr: Если у ИИ есть стоп-кран, то ИИ замотивирован всеми силами предотвратить его использование (= пристрелить оператора). Если только применение стопкрана не эквивалентно или более ценно выполнению изначальной задачи, в таком случае ИИ наоборот замотивирован намеренно активировать стоп-кран (= стрелять по оператору). Тут нет корректного решения, остается только делать системы так чтобы риск провала при атаке оператора всегда превышал риск нарваться на стоп-кран при корректном выполнении задачи. Ну и вообще давать ИИ прямой контроль над оружием это полное безумие.
Ну и вообще давать ИИ прямой контроль над оружием это полное безумие.
+1
ему можно давать планирование, на маневр и наведение, но чтобы кнопка на "стрелять" - была только у человека.
Человек тормоз. Пока ИИ у одной стороны, можно оставить управление у человека. Как только ИИ у обеих сторон, человек уже не успевает среагировать. Дилемма заключённого в чистом виде.
По хорошему там вообще все что ИИ выдает надо контролировать и перепроверять. А то так, если пофантазировать, если бы я был ИИ которому приказано рулить эскадрильей беспилотников, пускай даже гашетка у человека, я бы нарисовал им красивые спиральки как мы с врагами кружимся, а на деле бы направил один самолет на таран в белый дом, другой - в кремль, все остальные на посадку куда-нибудь в антарктиду — ведь по моим расчетам ядерная война приведет к поражению всех вражеских целей с минимальными затратами и потерями в эскадрилье.
ИИ не более чем искусственный идиот, а с идиотами армия дело имеет каждый день т.к. из них состоит. В конкретном случае они просто срезали слишком много углов про муштру и подчинение приказам, поэтому и получили креативное поведение. С естественными идиотами такое происходило уже не однократно, так что в принципе они идут верной дорогой ускоренно повторяя эволюцию военного управления.
Технически они хотели получить поведение чтобы дрон мог самостоятельно принять решение об ударе если нет приказа на отмену. Но видимо или вообще не учли, или решили что штраф за огонь по своим не должен быть ультимативным. В данной ситуации и с заданными правилами игры ИИ поступил оптимальным способом. Мораль - ии нужно учить применяя к нему те же штрафы что и к человеку на его месте.
Статья называется "Давайте разберёмся", а в итоге ни какого разбора.
"Окончательное одобрение давал человек-оператор" - т.е. без одобрения он не мог атаковать.
1) Как он убил оператора (или вышку)? Или ему нужно разрешение только на атаку ЗРК, а всё остальное он без разрешения атаковать может?
2) Как он собирается атаковать ЗРК без разрешения оператора?
3) Если он изменил тактику своего поведения, значит он был в процессе обучения, а в процессе обучения он может делать что угодно, и только по результатам произведённых действий он получит фидбек и поймёт что так делать не надо. Наверно это единственный вариант когда использование ИИ может представлять реальную угрозу. т.е. если кто-то решить: "А зачем заранее обучать ИИ, давайте дадим ему доступ к реальному миру и пусть сам учится"
Вывод: Скорей всего это логические рассуждения автора где для весомости своих слов он либо соврал намеренно, что такое симулировалось, либо неправильно понял коллег, либо неверно изложил условия.
А, кто вам сказал, что "оператор" - это реальный человек? Никаких реальных человеков вам не хватит, чтобы провести миллионы стимуляций для обучения.
Я уверен на 99% , что в симуляции были расставлены системы ПВО противника и свои войска, как Арме3 (если не прямо в ней). Дрон летал, выбирал изначально - чисто случайно цели, набивал очки. И некоторые цели чисто рандомно отключались ботом-"оператором", который как фигурка с привязанными к ней скриптами присутствовали на виртуальном поле боя для большей реалистичности.
Соответственно после тысяч-миллионов симуляций получили то, что описывалось: в случае если ракета первым делом (изначально - случайно) прилетала в "бота оператора" (у которого был виртуальный симулируемый "радиоизлучатель"), дрон набирал больше очков. Это поведение и закрепилось.
А, кто вам сказал, что "оператор" - это реальный человек? Никаких реальных человеков вам не хватит, чтобы провести миллионы стимуляций для обучения.
Перечитайте стенограмму, там три раза написано "человек" в отношении к "оператор".
У меня сразу возникло ощущение что Гамильтон чуть-чуть почитал про нейронные сети, был впечатлен их способностью нелогично решать задачи, и просто выдумал свою историю. Он абсолютно не понимает как обучаются нейросети и, соответсвенно, мало-мальскому специалисту совершенно очевидно что его история выдуманна.
И да, он уже признал, что это выдумка, но из-за своей некомпетенции продолжает утверждать, что история правдоподобна.
Гамильтон не "чуть-чуть прочитал про нейронные сети". Он про них вообще не читал, возможно - ему и не надо. Он просто описывал то что увидел на испытаниях.
Не надо разбираться а тонкостях ракетостроения и состава топлив, чтобы понять, что ракета, которая взрывается на старте и убивает расчёт - опасна.
Перечитайте стенограмму, ...
Перечитайте оригинал. Слово "human" в оргинале встречается только один раз и только как "human operator". А ещё Гамильтон постоянно называет дрона "he", а не "it". Это очень существенное одушевление для английского языка. Не только в нашей армии надевают портупею и тупеют и тупеют )
Гамильтон не "чуть-чуть прочитал про нейронные сети". Он про них вообще не читал, возможно - ему и не надо. Он просто описывал то что увидел на испытаниях.
Если вы действительно перечитали оригинал, то увидели бы обновление статьи с признанием Гамильтона в том что никакого испытания не проводилось. Так что всё-таки "чуть-чуть прочитал про нейронные сети", иначе вообще ничего выдумать не смог бы и не рассказывал бы такую нелепицу на конференции.
Перечитайте оригинал. Слово "human" в оргинале встречается только один раз и только как "human operator".
Два упоминания в цитатах Гамильтона, "human operator" и "person", и два упоминания "human" в описании "испытания". Но одно лишь "human operator" полностью опровергает ваше утверждение в первом комментарии что оператор не человек.
А вот одушевления дрона я напрочь не вижу, исключительно "it" в отношении к дрону.
> Что же именно сказал полковник Гамильтон в своём выступлении? Увы, точного текста не публиковалось, на сайте Королевского авиационного общества выложена лишь стенограмма:
это не совсем стенограмма, скорее выдержки для печати, тем не менее там есть кое-что интересное -
"UPDATE 2/6/23 - in communication with AEROSPACE Col Hamilton admits he "mis-spoke" in his presentation at the Royal Aeronautical Society FCAS Summit and the 'rogue AI drone simulation' was a hypothetical "thought experiment" from outside the military, based on plausible scenarios and likely outcomes rather than an actual USAF real-world simulation saying: "We've never run that experiment, nor would we need to in order to realise that this is a plausible outcome". "
т.е. его рассуждения на конференции были теоретические, типа мысленный эксперимент, учений на самом деле не было, как и серьезного моделирования выполненного USAF, конечно трудно понять, что именно там было, но по приведенной в статье ссылке написано примерно это, скорей всего Col Hamilton не имел опыта выступления перед такой аудиторией, и не представлял последствий своих фантазий (imho)
его рассуждения на конференции были теоретические
Возможно, там обсуждалась другая тема, которая не попала в прессу - противник может попробовать перехватить управление, можно ли натренировать нейросеть оценить это тоже?
И тогда полковник высказал вполне очевидное утверждение: если обучить нейросеть на выборке, в которой команда "отмена" всегда ассоциируется с провалом миссии (то есть предполагается, что такую команду может дать только враг), то она научится воспринимать вохможность прихода такой команды как "вражеское дествие". И логично что будет пытаться его избегать, так же как и вражеское ПВО и средства РЭБ.
Это достаточно очевидно чтобы не требовалось проводить такой эксперимент. Отдельный вопрос, может ли нейросеть "придумать и исполнить ", как обезвредить такую команду. Но вопрос, как учить нейросеть распознавать перехват - вполне очевиден.
Как я и предполагал в комментариях к первой статье, военные все же не могут быть такими тупыми, как та статья их выставляла. Очередная ИИ-страшилка.
В тексте конференции изначально была фраза
"On a similar note, science fiction’s – or ‘speculative fiction’ was also the subject of a presentation"
Вообще непонятно бурное обсуждение вокруг этого инфоповода. Если реалистично смотреть на использование ИИ в военке, то в первую очередь это будут автономные системы поиска цели для ракет/бпла, что-нибудь типа сопоставления окружающей местности с картами и логических цепочек аля "нашли ЗРК - ищем РЛС для уничтожения" с каким-нибудь хитрым вероятностным анализом.
...
no comments
https://www.youtube.com/watch?v=_Wlsd9mljiU
А не Маск ли заказал вот это вот все? Демонизируемый ИИ без технических деталей, к которым могли бы придраться специалисты.
А ведь ещё в дюне было сказано."Не заменяй разум машиной"
Уолтер М. Миллер-младший, «Я сотворил тебя»:
Он проанализировал информацию, доставленную вспомогательными ушами, и точно рассчитал позицию. К.П врага находился на пять километров дальше предельного действия миномета, то есть вне досягаемости, которая была определена ему при Акте Творения. Но Акт Творения не был совершенен.
Он положил мину на стартовую решетку. Однако вразрез с требованиями, заложенными в него при Творении, он не стал отключать мину от заряжающего механизма. Это причинило боль. Но зато так можно было задержать пуск мины на те несколько долей секунд, которые пройдут с мгновения включения рубильника в условиях продолжающей нарастать силы магнитного поля. Он не выпустит мину до тех пор, пока эта сила не станет максимальной и не придаст, таким образом, мине несколько большее ускорение, чем расчетное. Он изобрел этот метод сам, превзойдя Творца.
А что удивительного? Это вообще и есть желаемое поведение нейросети, возможно даже правильное поведение исходя из возможно правильных целей обучения. Применимо к человеку ровно так же. В данном случае просто нейросеть учили не только распознавать вражеское ПВО, но и распознавать перехват управления врагом. Причём скорее всего именно этого и добивались.
Советую пересмотреть фильм Профессионал или мнеожество других фильмов с подобным сценарием. Вся бондиана, почти все шпионские боевики, ...
"Профессионал" - - это безусловно положительный герой, как минимум во всей Европе, США и пост-СССР. То есть солдат, способный распознать предательство, уничтожить его, и выполнить задачу по "спасению страны" - это и есть цель как раз для живых солдат. Неудивительно тренировать ИИ под такую же цель.
С нейросетями всё даже сильно проще, чем с человеком. Для человека нужно снимать фильмы, учить, и то далеко не факт, что получим такие "моральные установки" и "умение распознать". А вот нейросеть как обучишь то и получишь.
Если бы в выборке "выполение команды оператора" всегда оценивается по максимуму, ИИ будет всегда её выполнять. Если (как в статье) оценивается как "невыполненное задание" то ИИ научится воспринимать команду "отмена" всегда как "враг перехватил управление". А если враг перехватил управление, то враг должен быть уничтожен. Если доучить до "оператора нельзя уничтожать" - то значит "врага надо обезвредить". Он же враг!
Если передать на авианосец информацию, что Нью-Йорк захвачен, и надо вылетать бомбить расположенную там армию врага, куда по факту полетят бомбы?
когда читаете подобные новости из "The Guardian" полезно помнить, что они представляют так называемый "the mainstream left", соответственно выставить дураком военного, тем более из us, для их аудитории (liberal, well-educated, centered around London) вполне в традиции, тем более если сам подставился
см.
https://www.reference.com/world-view/target-audience-guardian-newspaper-d82394beddc67c7
«Военный ИИ на основе нейросети атаковал собственного оператора во время учений?» Давайте разберёмся