Комментарии 12
Согласно свежим новостям, в Open AI, видимо, признали, что проблема «галлюцинирования» пока не решаема, или не до конца решаема
Языковые модели не могут "галлюцинировать", они могут фантазировать, так же как человек, когда мысли возникают спонтанно друг за другом, если не прерываются на логический анализ и критику. Это в принципе не решаемая полностью задача, сколько не обучай модель. Обещания разработчиков устранить это являются туфтовыми из-за не понимания того что они сами делают, точнее свойств прототипа чего являются ЯМ. А являются некоторой реализацией модели ассоциативного уровня мышления человека, вот здесь это хорошо показано путем редактирования локальных связей нейронов в ЯМ. Такое достижимо в системах ИИ работающих по правилам (символьном), как было в когда-то экспертных системах, и то там все ограничивалось компетентность экспертов, которые эти правила определяли. Достаточно вспомнить работы Дрейфуса, который критиковал такие проекты считая, что выработка правил не сводится только к логическому уровню мышления экспертов. Теперь те же грабли только с моделированием ассоциативного уровня) Автор статьи через-чур антропоморфизирует ошибки в ответах ЯМ, предполагая, что они на сомом деле галлюцинируют, т.е. искажают нормальные ответы, которые могут знать потому что недообучены, или не правильно обучены. Нет. Будут другие фантазии, это генетическая проблема этой архитектуры. Она не исчезнет, точнее не приблизится ближе к возможностям человека, пока не появится архитектура, которая в дополнении к моделированию ассоциативного мышления будет моделировать, как минимум, уровни логического и критического мышления. Эта архитектура вероятностно находит след. токены с учетом установок модели, т.е. фантазирует на заданную тему, иногда вплоть до откровенного вранья. Но не стоит забывать, что фантазирование одна из основ творческого мышления. Полностью фантазирование ЯМ подавлять также нельзя, если хочется получить элементы новизны в ответах. Это видно, когда вероятностность выбора токенов подавляется, установкой "жадного" режима сэмплирования.
"галлюцинирование" - принятый термин в сообществе, очень много статей оперируют к данному термину; фантазирование - такого нигде не видел. По крайней мере ни в местной ни в зарубежной литературе не встречал, если покажите где буду рад.
В курсе, что он общепринятый, но это не значит, что отражает суть явления. Кто-то употребил первый не проанализировав соответствия, и оно прижилось. Таких несоответствий не мало в прикладных областях исследований и технологиях. Термин ксерокс прижился за аппаратами такого рода хотя никак не отражает сути разнообразных копировальных процессов в них, и тп. Что касается "галлюцинаций" в применении к современным ИНС, то смотрим определение этого термина - "Галлюцина́ция (новолат. hallucinatio < лат. alucinatio — бессмысленная болтовня, бредни, несбыточные мечты) — образ, возникающий в сознании без внешнего раздражителя". А фантазии - "Фанта́зия (греч. φαντασία — «воображение») — это импровизация на заданную тему, ситуация, представляемая индивидом или группой, не соответствующая реальности", далее важно - "Фантазия важна в научном творчестве, она предшествует созданию теории". То же самое на англ. вики. Это различие понятно людям знакомым с принятой в психофизиологии терминологией. Современные ИНС, включая ЯМ, статические решения, а не динамические, как процессы в мозге, т.е. пока довольно приближенные модели таких процессов, в данном случае ассоциативного уровня мышления. Если ввода нет, то модели находятся в состоянии его ожидания. Сами по себе они пока "не думают", не создают собственного, индивидуального "ментального пространства" соединяя с ним ввод при необходимости ответа, тем более задавая свои вопросы исходя из этой "ментальности". Они выдают их только по результатам обучения в контексте ввода и ограничены его размером. Поэтому не могут галлюцинировать, нет пока таких процессов в этих реализациях, а только фантазирование на заданные во вводе темы, что соответствует определениям этих терминов.
Прижился термин, так прижился, как ксерокс, и множество других подобных терминов. Просто нужно понимать, и помнить, что странности в выводе связаны не с "галлюцинациями" внутри системы, их попросту там нет, а с фантазированием из-за ассоциативного (вероятностного) характера ЯМ.
" Полностью фантазирование ЯМ подавлять также нельзя, если хочется получить элементы новизны в ответах. Это видно, когда вероятностность выбора токенов подавляется, установкой "жадного" режима сэмплирования. " - вы путаете две вещи, с одной стороны генерация уникальных ответов, то есть правдоподобных и способность к креативному мышлению. Тут же речь шла о том, что мы изначально знаем, что модель должна ответить, но она начинает говорить не то, что нужно, то есть вести себя самым непредсказуемым образом или очень уходить в сторону.
В целом, вся работа была направленна не на подавление креативности модели, наоборот, а на изучение проявления негативной креативности и снижения степени получения недерминированых ответов. Вся суть еще и сводилась к тому, как бы сузить эту проблему, и получать не рандом, а с высокой степенью вероятности 90% и выше наиболее ролевантые запросам ответы.
За предоставленные источники, большое вам спасибо, все будет изучено, и спасибо за то, что написали такой развернутый комментарий.
" Полностью фантазирование ЯМ подавлять также нельзя, если хочется получить элементы новизны в ответах. Это видно, когда вероятностность выбора токенов подавляется, установкой "жадного" режима сэмплирования. " - вы путаете две вещи, с одной стороны генерация уникальных ответов, то есть правдоподобных и способность к креативному мышлению.
Режим сэмплирования влияет на уровень фантазирования модели. Это похоже на то, как мы может регулировать уровень контроля над ассоциативным мышлением, задавая уровень отсечения невероятных связей. Известен прием мозгового штурма, когда специально рекомендуется отключать такой контроль, критику, или ассоциативных экспериментов. Включение контроля, грубо говоря, соответствует сейчас включению режима наиболее вероятностных ответов в ЯМ. Когда в ЯМ появятся аналоги логического и критического мышления, то управление будет более сложным и ближе к тому, как это устроено у человека. Творческое мышление и есть способность к фантазированию, как выше отмечалось в цитате с вики, но не только. Большую роль играет образное мышление, воображение, что в современных ИНС пока отсутствует как класс. Появление аналогов этих способностей прямой путь к аналогу инсайта. Какие-то намеки и успехи в этом направлении имеются, развитие агентности, но только лингвистическими методами это не решается, требуется мультимодальность и аналог образного уровня мышления. Либо требуется проделать часть работы по извлечению информации из данных, особенно новых, представления их на языке, включая формальном, обучения на них, и тогда возможно в виде логического вывода - открытия ИИ тянущего на нобелевку) Но это будет творчество совместное с человеком.
возможно ли появление инженеров-психологов, которые будут заниматься лечением моделей с помощью промптов?
Могли бы вы попробовать сгруппировать все пункты по общей природе? Кажется, что тут не так много вариантов:
1) недостаточный или предвзятый датасет
2) дефекты в самом обучении
3) а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот
Как вы считаете?
Возможно вы правы, но фишка в том, что слишком разнородное проявление и оттенки проявления данного феномена отличаются.
" а все остальное ошибки как-будто когнитивные искажения людей, которые верят в правдивость всего что происходит в чат-бот " - не совсем так, отчасти люди вносят свою лепту в это. Есть такая статья которая посвящена коллективному заблуждению. То есть если человек ошибается, и понимает что он ошибается, то он может сказать, нет это фигня, и надо откатиться назад. Тогда как машина эти ошибочные данные, хоть и в малом количестве, но запоминает и постоянно подмешивает уже в новые ответы, то есть ей сложно откатиться назад, даже при условии того, что ей сказали что предыдущее было не верно.
Это первый набросок, я перерыл весь интернет, но так и не нашел чтобы кто-то начал систематизировать так все воедино, и как-то сужать проблему, я честно долго копал, если у вас или кого-то есть допинфа я с удовольствием дополню работу. Более того, это первая работа конечно она будет расширяться и дополняться.
Могли бы вы попробовать сгруппировать все пункты по общей природе? - группировок может быть очень много, изложил лишь те, которые наиболее ролевантные были.
Проблема «галлюцинирования» в больших языковых моделях на примере чат-ботов