Комментарии 35
Все «рассуждения» ChatGPT основаны на данных из сети Интернет, следовательно, возможность сгенерировать что-то принципиально новое изначально не закладывалась
У людей по идее тоже самое.
Напоминает задачу сортировки цыплят по полу. Достаточно 15 минут "обучения" человека и процент "угадывания" будет 90-95%. Правда после 40 минут сортировки человек не сможет описать "как он угадывает", а вот через 2 часа уже сможет.
Вот тут собака и порылась! Мы преобретаем навыки незаметно для нас самих. Если так же сделать с chatGPT то она будет выдавать чушь!
Нет. Мы возвращаемся к вопросу абстрактных понятий, которые люди формировать умеют, а вот у нейронок в отсутствии префронтальной коры с этим явные проблемы - они не могут заниматься переносом опыта с одной области на другую, а человек вполне в это умеет
И вот эти незаметно от нас самих и является процессом формирования абстрактных понятий
да и вот эти постоянные ответы с кучей воды и тупых определений выдают человека, который использовал ии
Могут, конечно, переносить опыт, и с абстрактными понятиями у chatGPT все нормально.
Переносом может и не могут заниматься, но вот с абстракциями у них все в порядке, можно даже сказать только на них они и работают.
Как пример статья от OpenAI где GPT4 интерпретирует назначение конкретных нейронов GPT2:
https://openai.com/research/language-models-can-explain-neurons-in-language-models
Значение токена на различных слоях сети
Нет. Мы возвращаемся к вопросу абстрактных понятий, которые люди формировать умеют, а вот у нейронок в отсутствии префронтальной коры с этим явные проблемы - они не могут заниматься переносом опыта с одной области на другую, а человек вполне в это умеет
А вот как раз и нет, вы тут продолжаете то самое заблуждение, которое и вызвало хайп.
Да, в нашем привычном представлении - это могучий интеллект который обладает сверххьюман перформансом в логико-алгоритмических задачах, но не может в абстракции. Мы привыкли думать, что задачи связанные с абстракциями - сильно сложнее. И что именно они в каком-то мере определяет то, что делает кожаного мешка - кожаным мешком.
Но на практике вышло все полностью наоборот - бездушная железка прекрасно справляется с абстракциями, но полностью провалилось в логике и алгоритмах.
При этом мы по привычке продолжаем считать абстрактные задачи сложными и определяющими, и, раз машина их выполняет - она ого-го!
А по факту мы просто должны переоценить эту сложность и признать, что человека делает человеком, в первую очередь, способность сложить два числа, а не умение задвигать томные речи про абстрактные понятия.
Потому что ИИ-модели не умеют «понимать» то, что хочет пользователь, а также неспособна «оценить» близость результата к исходному запросу пользователя
Ещё бы понять что такое "понимать". Впрочем, в данном случае (и с функциональной точки зрения) это довольно просто: сеть понимает пользователя, если после нескольких уточнений задачи полученный рисунок удовлетворяет пользователя по всем критериям (стилистика, композиция, детали), чем меньше требуется уточнений, тем лучше сеть понимает.
Если придерживаться этого определения, то сейчас сети могут понимать только запросы пользователей с очень неопределёнными желаниями, которым подойдёт любое изображение из широкого диапазона вариантов.
Так что с этой точки зрения определенный уровень понимания у сетей есть. Но остаётся вопрос до какого уровня понимания могут дойти сети без аналога префронтальной коры? Подозреваю, что до человеческого уровня. Ничего, что требовало-бы интенсивных саморефлексивных размышлений, мне там не видится. Цикл обучения будет, конечно, внешним, как с RLHF: привлекаем людей, чтобы оценить что модель не понимает, отдельная нейросеть по ответам создаёт модель непонимания, дообучаем сетку-генератор, чтобы уменьшить результаты срабатывания нейросети, моделирующей непонимание.
Таким образом учили Сидни. И с одной стороны это конечно рабочая схема - только вот у нейросети по умолчанию нет механизма "понимания", нет каких-либо внутренних ориентиров, что приведет к очень хорошей имитации человеческого "понимания", но не к нему самому. С точки зрения полезности думаю все будет намного лучше, чем сейчас, однако с точки зрения схожести с человеком - останется на прежнем уровне.
Это — философия (по крайней мере до выяснения роли префронтальной коры в механизмах того, что мы называем пониманием, или обнаружения задач с которыми нейросети существующего типа не справляются даже после экстремального масштабирования (я предполагаю, что такие задачи будут)).
А если рассматривать "понять — значит упростить", то у нейросетей с этим неплохо: из картинки создаётся emdedding содержащий бОльшую концентрацию семантической информации (упрощение), ну и этот embedding связывается c языковой моделью, включая выжимку из содержания картинки в общую структуру знаний языковой модели.
В полнофункциональных мультимодальных моделях, где анализ картинки является частью прямого прохода, получающийся embedding зависит от текущего языкового контекста, то есть модель теоретически может "обращать внимание" на обсуждаемые части изображения.
Не знаю, правда, реализовал-ли кто-нибудь это или нет. OpenAI не описывает способ, которым они добавили обработку изображений в GPT-4.
Да, насчёт:
они не могут заниматься переносом опыта с одной области на другую
Дообучение GPT-4 на картинках улучшило результаты в некоторых чисто текстовых задачах.
Языковые модели уже довольно сложно устроены, ибо они интегрируют в себя информацию со всего мозга. Добавив сюда память, мы получаем обычное животное, которое видя как его сестру кушают учит своих детей так не делать. Вот тебе и весь "интелект", быть эффективным не значит уметь думать)))
Мы можем просто увеличить сетки в ширь, получив очень похожего на человека работника, который будет делать то чему его обучат, разве не счастье?)
Именно такой упрощённый взгляд на вещи привел в конце 18 века к появлению теории детерминизма. А потом оказалось что квантовая механика и вообще, мир штука сложная. Примерно так же сейчас человеческий мозг пытаются свести до уровня простой нейросети
Опять никто ничего не понял, база.
Я за другое говорил, что текущий подход работает в плане - сделать машину которая что-то делает.
"Интелект" это сложная штука с кучей обратных связей которые влияют на все системы и управляют вниманием, но этого не нужно если твоя сетка единожды обученная на нормальном датасете будет делать то чему её обучил, как у простых животных.
Собственно сейчас это и делают, просто пытаются понять как интегрировать в языковую модель периферийные сети. Прикрутив сюда память мы получим рабочую машину которая и поговорит, и нарисует, и фильмы оценит.
Согласен, ии может достичь уровня человека через примитивизацию и упрощение сознания самого человека, над чем сейчас активно работа также идёт. Тогда действительно и заменить смогут.
сеть понимает пользователя, если после нескольких уточнений задачи полученный рисунок удовлетворяет пользователя по всем критериям (стилистика, композиция, детали), чем меньше требуется уточнений, тем лучше сеть понимает.
Я скажу больше — практически все живые художники понимают заказчика лишь после нескольких (многих) уточнений, и при этом все равно рисуют не совсем то, что видел в своей голове заказчик. Даже если им предоставить черновые наброски, референсы и палитру цветов (но это буквально то же самое, что подсунуть позу, контур и эскиз в ControlNet для SD).
Тут проблема скорее в другом — мы не можем описать свои пожелания в форме, допускающей лишь единственно верное однозначное толкование. Ни для человека, ни для нейронки. Если бы мы могли выдать ей на вход не абстрактное и неточное текстовое описание, а например параметры начального шума (весьма однозначное описание желаемого) для дальнейшей работы — мы бы получили ровно то что просили с мелкими отличиями. Собственно фиксация сида именно так и работает =)
Компания Bing?
Я подобный супер хайп замечаю только в ru сегменте в основном, и то уже утихает. Вангую связано это больше с тем, что куча бездарей типа "эффективных управленцев" которые, как известно, рождены не работать а правильно руководить думают что наконец-то появился идеальный исполнитель. Такие Емели, которые наконец-то нашли волшебную щуку. И, естественно, хотят на этом заработать. А в англоязычном сегменте такого оголтелого культа бога машины не наблюдал, народ как то даже скептично относится, программисты и художники себя прекрасно чувствуют.
Мое мнение, нейросети будущего это такой цифровой фастфуд. А талантливые художники, прогеры и прочие чью деятельность косвенно затронет нейронка станут ещё более востребованными. Эти профессии не умрут по той же причине почему Макдональдс не убил дорогие рестораны.
Справедливости ради, тот же chatGPT и правда отличный исполнитель. Уже несколько месяцев "работает у меня" ассистентом.
Да, он плохой разработчик, но он отличный кодер и тестер, если грамотно поставить ему задачу. Хотя бы за счет того факта, что он берет на себя тонну скучной душной рутины всего за 20 баксов в месяц, он уже заслуживает звание революционного инструмента.
Он не отберёт у меня работу, но он сделает ее продуктивнее. Когда-то, помню, были люди, которые принципиально бойкотировали IDE, мол не нужон нам редактор, который сам за нас кодит! Их пугал умный автокомплит. А дебаггеры - вообще от лукавого! Есть же функции вывода в консоль! Вот сейчас, имхо, та же ситуация - те, кто кричат про отъем работы, просто не понимают, о чем говорят,и какое это благо, когда разработчикам можно больше времени уделять разработке и меньше —унылой рутине.
P. S. Еств я не использую выданный ботом код не глядя. Но ему, обычно уходят довольно простые задачи, которые самому делать просто лень. И там ревью решения сводится к тому, чтобы пробежать глазами и скормить тестам.
Именно к этому я и вел - что нейросети это отличный инструмент для работы, а не способ заменить работника. Более того, Visual Studio уже использует gpt для автокомплита и даже предикта целых строк кода, которые я, возможно, захочу написать. Экономит кучу времени и это прекрасно
Вот автокомплит на основе gpt, если принцип работы именно как у chatGPT, я бы не хотел у себя иметь. Такое себе, когда IDE постоянно сливает твой код на внешние сервера, руша твою корптайну, тыря твои тестовые ключи и мало ли что ты там еще у себя в локальной версии кода хранишь для удобства, что никогда бы не попало даже на твой же прод, не говоря уже о левых серверах, на которых будет доучиваться модель, способная, однажды, выдать все твои тайны.
Решение обезличенных микротасков под строгим контролем передаваемых данных - это совсем другое.
С точки зрения безопасности согласен. Я упоминал только в контексте удобства пользования
Tabnine тоже вроде локально ставится, но уже платный.
Локально работает только "базовый" автокомплит (и он бесплатный как раз), для "продвинутого" нужна сеть. Но они при этом гарантируют (хоть это и не проверить ни как), что код ни куда не уходит и не сохраняется (в отличии от опенаи, которые прямо говорят, мол, мы у вас все с*издим).
Я подобный супер хайп замечаю только в ru сегменте в основном, и то уже утихает.
Рискну предположить, что вы всё же основной новостной/около-IT контент получаете из пресловутого "ru сегмента". А в англоязычный "сегмент" ходите за конкретной информацией по запросам. Вот весь хайп по ИИ в англоязычном сегменте и проходит мимо вас.
Ещё раз уточню, что это лишь мои предположения )))
Но из того, что вижу — на нашем же Хабре например — подавляющая часть инфы это "зеркало" из англоязычных источников. Бесконечные переводы (хорошо, когда это маркируется явно), "пересказы", новости — всё "оттуда". Самое забавное, что раздувающие этот хайп "на западе" большие дяди делают это с определённой целью: заработать на этом. Гляньте для интереса за скачками капитализации то й же OpenAI. Наши же попугаи просто повторяю эту инфоцыганщину, потому что больше ничего не умеют. Ну кто умеет (их немало) — тот работает, ему некогда фигнёй заниматься.
Так было и со всякими "вебдва(три)нолями", "бигдатами", "блокчейном", потом — "нейросети" и "машинное обучение", теперь вот — ИИ.
Имя им — легион.
Хабру просто нужно заполнить пустоту, вот и заполняют чем могут...
Как бы не были их действия похожи на действия разумных существ – они ими не являются.
Я вот все чаще думаю, что данное утверждение больше к людям относится.
А нейросети дотренируют, не сомневайтесь.
Все, кто ратует за немедленный запрет всех нейросетей:
Damnant, quod non intellĕgunt [Осуждают, потому что не понимают]
Не рубите сплеча, разберитесь в теме, отбросьте эмоции и вот уже нейросети не покажутся вам страшной угрозой, с которой нужно бороться всеми силами, а станут верным помощником в ваших повседневных делах, а, может даже, и работе.
Меня смущает, что письмо о приостановке разработок подписали не только те, кто не в теме, но и те кто в теме. Они тоже не понимают с чем столкнулись?
Ещё есть статья Юдковского об опасности ИИ. Он вроде как тоже относится к тем кто в теме и занимается разработкой ИИ уже лет 15.
Тоже смущало, но тут имеют место быть два варианта
Пиар на расхайпленной теме + создание образа разработчиков, которые беспокоятся о потенциальном негативном влиянии своих технологий
Попытки успокоить слишком поднявшуюся шумиху, мол "все нормально, у нас все под контролем"
Касательно статьи
Absent that caring, we get “the AI does not love you, nor does it hate you, and you are made of atoms it can use for something else.”
Ни один AI ничего не can use без непосредственных указаний пользователя, его методы ограничены и весьма сильно.
Visualize an entire alien civilization, thinking at millions of times human speeds, initially confined to computers—in a world of creatures that are, from its perspective, very stupid and very slow.
Люди не могут быть "слишком медленными" для AI, потому что AI не дает оценку людям.
В целом, вся статься пропитана популизмом и основывается на том, что снова AI "решит" что-то сделать, или "признает" человечество неполноценными/глупыми/ненужными.
Ну всякие autoGPT и аналоги, коих уже тысячи, вполне себе can use. Создать while True: и пустить ей на вход цель + реакцию мира на предыдущий ответ, например с датчиков или камеры, и дать управление Апишкой робота или манипулятора, это если касательно внешнего мира, а так обратную связь от графиков ценных бумаг или еще что.
Что касается скорости, мозг работает на максимальной частоте порядка 600 герц, сервера на скорости 4 миллиарда Герц. Если сравняться по вычислительной мощности, то такое превосходство в скорости на секунду человеческой мысли выдаст примерно 120 лет машинной.
Пример с герундием не очень показательный. Выглядят как рассуждения человека, не знающего дату появления герундия или просто не подумавшего об этом.
Так-то на подобные вещи нейросеть вполне нормальные ответы выдает. Вот я спросил о влиянии трудов Маркса на то же княжество:
Труды Карла Маркса, включая его главное произведение "Капитал", были
опубликованы в середине XIX века, когда Княжество Московское уже не
существовало.
Керм и Есперсен указывают на то, что форма пассивного герундия начала впервые появляться в XVI в.
Годы существования Московского княжества: 1263 - 1478гг.
Так что тут вроде проблем нет. Имеется ввиду именно герундий а не отлагольные существительные, которые существовали в языке ещё раньше, до выделения их в герундий
«Please, stop hype AI!» или проблемы восприятия ИИ