Комментарии 35
К этим недопредсказателям одни сплошные вопросы, как к Биллу Гейтсу, который предсказывал, что 640КБ хватит всем.
Я ожидаю, что GPT2030 будет превосходить людей в
программировании, взломе и математике, а также способности читать и
обрабатывать большие объёмы текста для поиска закономерностей или фактов
и генерации озарений.
А почему это единственный случай, когда слово "озарение" упоминается в статье?
Можно было бы, например, сказать, что озарение - это механизм, природа которого, насколько мне известно, ВООБЩЕ не изучена, и нет даже стройных версий того, что это такое (когнитивное соединение информации таковым не является).
Можно было бы упомянуть, что для того, чтобы построить систему, на базе которой происходит то или иное явление, само явление хорошо бы промоделировать на уровне техники, для чего хорошо бы иметь ее научное описание, которое разворачивается из понимания природы явления, а сама природа, как я упомянул, пока не ясна достоверно.
И очень бы хотелось, в результате, понять, что вам дает основания ожидать, что это будет уже через каких-то 6 лет, если пока в этом направлении кони даже не поскакали, чтобы там поваляться.
Можно было бы упомянуть, что для того, чтобы построить систему, на базе которой происходит то или иное явление, само явление хорошо бы промоделировать на уровне техники, для чего хорошо бы иметь ее научное описание, которое разворачивается из понимания природы явления, а сама природа, как я упомянул, пока не ясна достоверно.
Этот аргумент смотрелся бы весомее пятнадцать лет назад. Ладно, даже шесть-семь. Но способности современных ИИ "нарисовать собаку в стиле Ван Гога", "переписать первую главу Гарри Поттера в стиле Хэмингуэя" и "найти все анахронизмы в книге" уже его опровергают.
нет, не опровергают, если внимательно посмотреть на то, что требуется для выполнения подобных запросов.
Если не смотреть, то можно верить, что всех нас заменят компьютеры, потом биг-дата на компьютерах, потом вот - ИИ.
Но "нарисовать собаку в стиле Ван Гога" - это отнюдь не "придумать стиль, не хуже Ван Гога". Чтобы нарисовать собаку в стиле ВанГога должен был существовать Ван Гог. Со своим видением мира, своими травмами, интуицией, и озарением.
По большому счету, именно против такого попосового аргумента и был мой комментарий.
"Посмотрите, как это необычно" - это вовсе не то, что способно заменить человека.
Как бы и да и нет, суть в том что Ван Гог это продукт эволюции как и мы с вами, а так же обучения через окружающую среду и некоторых случайных процессов. И только совокупность этих всех факторов приводит к созданию картины. То есть понятно, что ни одна нейросеть сейчас не ИИ, хотя некоторые из них попадают под мутное описание на Википедии, но это уже вопрос к их модерации, хотя в теоретическом плане если воссоздать многие процессы человека используя компьютеры мы можем получить ИИ (но тут уже парадокс Моравека). Поэтому говорить "фу, оно не может создать новое, а копирует старое и чутка изменяет", человек то же это делает, но куда сложнее.
Но в любом случае "предсказание" в статье крайне мутное, закон мура с предсказаниями яркое тому доказательство.
Именно. И ключевое здесь - совокупность всех факторов. И добавим к этой совокупности еще восприятие этой совокупности не до конца изученной системой класса "мозг". Дальше берем еще два факта: 1) ИИ - полностью известная система, 2) ЕИ - система, частично неизученная. С ними появляется вывод о том, что в ИИ отсутствует нечто, что присутствует в ЕИ. От противного: либо оно попало бы в изученное, либо не существовало бы в ЕИ. И из всего этого получаем, что Ван Гог эволюционировал, используя нечто, недоступное ИИ на сегодняшний день.
Поэтому и говорю "фу, оно не может создать новое", т.к. не обладает не только тем уровнем сложности, но и некоторыми неизвестными, принципиально другими, но неизвестными свойствами. Хотя, строго говоря, вместо "новое" будет правильнее подставить какое-нибудь другое слово, вроде "эквивалентное".
При этом вполне допускаю, что, как и вычислительные системы, оно по некоторым показаетелям превзойдет ЕИ за счет иной организации и легкости в доращивании ресурсов на те механизмы, что уже имеются.
Так вы не то возражение сначала выдали. Вы написали
хорошо бы иметь ее научное описание, которое разворачивается из понимания природы явления, а сама природа, как я упомянул, пока не ясна достоверно.
Я на это и ответил. У нас нет научного описания природы явления "рисовать в стиле Ван Гога", но это не мешает генерировать такие картинки.
На абсолютно новое возражение в духе обобщённого
Чтобы нарисовать собаку в стиле ВанГога должен был существовать Ван Гог. Со своим видением мира, своими травмами, интуицией, и озарением.
я скажу, что, во-первых, если ИИ будет уметь идеально имитировать любой попадающий в Интернет вывод людей, то он будет вполне себе сверхчеловеческим, а во-вторых, что никакой жёсткой границы нет, впрочем, что-то в эту сторону Скотт Александер написал лучше, чем мог бы я)
А если мужей вчера ноль и сегодня ноль, то, по-вашему, всегда будет ноль? :)
Надо объектный уровень обсуждать, в статье есть довольно много деталей того, как именно проводилась экстраполяция, какие именно из них вам кажутся неправильными и почему именно в сторону завышения прогресса?
Сильные стороны. GPT2030 – это многочисленная, быстро адаптируемая и высокопродуктивная рабочая сила. Напомню, что копии GPT2030 смогут выполнить 1.8 миллиона лет работы9, и каждая копия будет работать в 5 раз быстрее человека
Ну например, сколько миллионов лет нужно работать агенту чтобы постричь газон или сварить борщ? :)
Рекомендую почитать Талеба, он там весьма доходчиво пишет о том что наблюдение любого количества белых лебедей ничего не говорит о существовании или несуществовании чёрных
пишет о том что наблюдение любого количества белых лебедей ничего не говорит о существовании или несуществовании чёрных
Талеб тут ни при чём, это обычная проблема индукции.
Ощущение, что автор не совсем понимает, что именно такое генеративные сети.
Например, он пророчит прорывы в математике, но это яркий пример области, где ИИ сильно буксует, так как не умеет рассуждать последовательно, не имеет памяти и не имеет "внутреннего наблюдателя/критика", способного обнаружить и устранить собственные "галлюцинации".
Аналогично с оценкой "работы", которую будет выполнять ИИ - большую часть "работы" он в принципе выполнить не может, так как она требует последовательной работы, а он говорит ГЕНЕРАТИВНЫХ сетях - они получают контекст и сразу же, за один проход, генерируют результат. То есть занимаются сугубо преобразованием и классификацией данных (как оно и положено классическим нейросетям). Никакой последовательной работы нейросетей, с памятью, с сохранением контекста, обратными связями и прочими чудесами, пока нет.
И в статье много такого - "магия нейросетей". Но "магии" пока нет, есть лишь количественный рост.
Могут быть, конечно, сети с иной структурой. Тогда, да, всякое возможно, но они уже и "генеративными" не будут (или будут содержать генеративные сети лишь как какую-то часть общего комплекса). Но тогда и все рассуждения и предположения автора сразу же превращаются в тыкву, так как это будет уже качественное, а не количественное развитие, и просто так экстраполировать возможности существующих генеративных сетей нельзя.
Короче, очень похоже на экстраполяцию мужей - экстраполяция без понимания сути наблюдаемых процессов.
Ощущение, что автор не совсем понимает, что именно такое генеративные сети.
Например, он пророчит прорывы в математике, но это яркий пример области, где ИИ сильно буксует, так как не умеет рассуждать последовательно, не имеет памяти и не имеет "внутреннего наблюдателя/критика", способного обнаружить и устранить собственные "галлюцинации".
Прогресс есть. И в целом, прикрутить к LLM простой внешний алгоритм, который снабжает её памятью и внутренним критиком несложно и много раз уже делалось.
Аналогично с оценкой "работы", которую будет выполнять ИИ - большую часть "работы" он в принципе выполнить не может, так как она требует последовательной работы,
Из LLM делали агентов. Пока глупых, да, но ничего сложного в этом нет, см. AutoGPT, например.
Я понимаю, что "понимает". Но в я в последнее время очень часто люди, которые разрабатывают сети, начинают воспринимать их как некоторую самостоятельную абстракцию, а не тупо матрицу весов огромного размера. В результате оказываются в плену иллюзий о том, что нейросети "думают" или вот-вот "начнут думать". Не начнут, так как есть непредолимые в рамках структуры современный сетей проблемы. Никакими вычислительными мощностями непреодолимые - нужно архитектуру сетей новую изобретать.
Из LLM делали агентов. Пока глупых, да, но ничего сложного в этом нет, см. AutoGPT, например.
Вот тут и кроется ошибка в рассуждениях, ровно такая же, как у автора статьи. Они глупые не потому, что вычислительных мощностей не хватает, а потому, что это врождённые изъяны архитектуры. Да, увеличив объём сети можно сделать их ещё лучше, но качественного скачка при этом не произойдёт. Для качественного скачка нужно и объём на порядок увеличит и полностью структуру сетей изменить, и подход к обучению изменить. Но тогда это будет уже совсем не те сети, что сейчас есть и экстраполировать результаты вообще никак нельзя. Например, может произойти чудо качественный скачок и будет создан сильный и полноценный ИИ с самостоятельным созданием. Без всякого роста размера сети - только за счёт изменения структуры. Это вполне вероятно. И тогда всё станет очень сильно интересно прямо немедленно. А можно ещё 10..15 лет на генеративных сетях застрять и решить проблему "в лоб" созданием какой-то супер-огромной и гибкой сети, которая наконец-то сможет выступать "внутренним цензором" необходимым для сильного ИИ. И тогда всё будет круто, но вовсе не так круто, как в статье описывается. Так как никакого самостоятельного вывода теорем и прочих сложных рассуждений со стороны ИИ не будет.
что это врождённые изъяны архитектуры
Что за изъяны?
Нет памяти, нет обратной связи, нет внутреннего цензора, чтобы ловить собственные галлюцинации. Всё сети сейчас это просто преобразование аходных данных в выходные за один цикл работы сети - вот это и есть основой и принципиальный изъян а всё остальное уже следствия.
В результате для текущей архитектуры ИИ невозможны последовательные рассуждения/анализ (когда задача рождается на несколько подзадач и решает последовательно и итеративно) и самообучение, например.
Нет памяти, нет обратной связи, нет внутреннего цензора, чтобы ловить собственные галлюцинации
Память есть
Обратная связь? Что вы имеете ввиду?
Внутренний цензор? Ну так и у человека его нет.
Например, он пророчит прорывы в математике, но это яркий пример области, где ИИ сильно буксует, так как не умеет рассуждать последовательно, не имеет памяти и не имеет "внутреннего наблюдателя/критика", способного обнаружить и устранить собственные "галлюцинации".
По-моему, вы льстите «ИИ». Утюг тоже не умеет рассуждать последовательно и не имеет внутреннего наблюдателя (конечно, если он сделан не компанией Amazon), но мы же ему это не предъявляем. Считается, что такой простой аппарат ниже подобной критики, что критиковать его подобным образом — незаслуженно принимать его чересчур всерьёз. Что такого заложено в чатботы, чтобы мы вообще заводили речь про наблюдателей?
+1
И главная проблема, по-моему, это не память и не контекст, а понимание реального мира, которое у моделей отсутствует, как минимум сегодня.
И, ИМХО, именно решение этой проблемы необходимо для прорыва на новый уровень.
Смахивает на что-то оголтелое с налетом научности. Лучше бы автор сначала задался вопросом "а уцелеет к 2030 этот GPT?", не надоест людям эта имитация интеллекта на основе перемалывания оцифрованных данных и подгонки результата. N-лет назад уже видели проект (кто-то из mail.ru) преобразования исходных фотографий в "произведения живописи"... недели за две все наигрались и забросили, хотя шума было много. В новое явление ИИ вложилось много заинтересованных лиц и значительные ресурсы, но насколько хватит веры? А что касается прогнозов, то их надо делать на основе понимания сути явления и причинно-следственных связей - хоть каких-то но законов, объясняющих реальность, а не на основе числовых оценок веры.
К перечисленным выше комментариям я бы еще добавил пару моментов. Первый, это то, что сейчас генерируется огромное количество контента, и сетям на чем обучаться? И второй момент, с введением всяких ручных ограничений и запретов на выдачу определенных результатов — на мой взгляд качество ответов просело, по сравнению с первыми версиями.
Объясните мне, может я чего-то не так понимаю. Вот есть ChatGPT4, можно же попросить его написать ChatGPT5, чтобы он был мощнее и сильнее раза в два ? Или сразу попросить написать ChatGPT2030 зачем нам промежуточные версии? /сарказм-офф
Я считаю, что автор сильно недооценил возможности gpt2030.
В 2022 за месяц до ChatGPT, смотрел обстоятельное интервью с учеными, аналитику, что разумный ии, способный писать программы, будет создан примерно через 50 лет. +-20. Рассматривался вопрос необходимых мощностей, и возможного роста или замедления темпов.
У вас есть собственный положительный опыт написания программ при помощи ChatGPT? Не фрагментов кода, а полноценных программ на пару сотен строк кода? Утилит для обработки текстовой информации, например. Из одного файла читаем строки, преобразовываем, что-то подсчитываем, результаты записываем в другой файл. Я говорю за ваш собственный и положительный опыт.
Вот лично я, когда просил ChatGPT набросать мне фрагмент кода на 2-3 десятка строк, столкнулся в последний раз с тем, что из трёх инициированных переменных, он в последующем использовал только две. Где-то на расстоянии 3-4 строк кода он просто забыл про то, что переменных 3. Думаю, что скорее прав тот учёный, чем автор оригинальной статьи.
Если что, я ChatGPT использую в своей работе каждый день. Как рассеянного эрудита, способного дать направления для движения. А вот Google Search стал использовать меньше. Не зря Google паниковал в своё время.
Чем больше нейронов, тем дольше думает?
А это идея... Теперь всем буду говорить, что я не тормоз, просто у меня мозг большой.
Что-то мне подсказывает, что никакого ChatGPT к 2030 не будет.
Стивен Хокинг мог общаться со скоростью 15-20 слов в минуту, но был чрезвычайно положен для общества (https://gazeta.ru/science/2015/01/07_a_6359285.shtml)
Не могу понять, почему скорости генерации в словах уделяется такое большое внимание в статье. Я что-то упускаю?
У меня такой вопрос, чем тогда, по мнению автора статьи, будет заниматься человечество после появления такого AGI в виде GPT-2030, и чему должны учиться люди сейчас, чтоб не попасть под каток ИИ и не остаться без работы до появления ББД/БВД?
Какой будет GPT-2030?