Комментарии 19
ИИ конечно это хорошо. Но если нет навыка гугления и чтения документации, никакой ИИ не поможет. По крайней мере пока что. Потом что слишком часто ИИ выживет такую дичь и псевдоправду. А это и навредить может
Согласен, но популярность месенджеров повышает уровень чтения в день, возможно в будущем альтернативные приложения будут компенсировать практику навыков, например поиск и анализ информации.
Во многом источники централизуются в народном накопителе правды и неправды - википедия. Понятно, что политические статьи вероятнее всего имею больший уклон в спекуляцию. Но мы тут не про это.
Скачав себе на диск эту опорную накопленную инфу(не обязательно википедия), можно работать на среднем домашнем оборудовании + не выключаться из анализа, что обычно происходит при использовании ИИ: полное погружение заставляет отключать мозги.
Неплохая статья, сохранил себе 2 сервиса 👍🏻
Задал Reka простой вопрос сколько время на часах, ответила 10:10
М.б. Оно ответило с переводом в свой часовой пояс)) (бывают дробные пояса)
Скорее просто ответил текущее время, возможно даже из кеша.
Нужно больше тестов))
Похоже, это проблема не Reka, а Chat GPT. По крайней мере MS Copilot выдал тот же ответ, при этом пояснил, что это видно из того, что часовая стрелка указывает на 10, а минутная - на 2.
Пояснять это они умеют. На классическую загадку "что у коровы спереди, а у быка сзади", оно правильно понимает, что речь идёт про буквы в словах. Но уверяет что ответ - "о", т.к эта буква стоит в конце слова " бык" ))
Они по разному отвечают.
гпт4-турбо ответил Этот вопрос может звучать как загадка. Один из вариантов ответа на загадку: у коровы спереди — рога (если это не порода коров безрогая), а у быка сзади — хвост. Эти части тела есть у обоих животных, но располагаются в указанных местах.
гемини1.5 - У коровы спереди вымя, а у быка сзади - тоже вымя. 😉
гемини+гугл - буква К
😂 вот это тестирование, я понимаю
Модели интересные, спасибо. Непонятно мне как на практике использовать ИИ именно в работе QA. Кажется, запросы будут в целом на описание того как что то работает или какую команду использовать, здесь нет спецмфики тестирования. Или я не правильно понимаю?
В телеграме есть google gemini "без регистрации и смс" - https://t.me/kun4sun_bot
Из особенностей - можно кидать в него тексты больше чем 4к символов, распознавать картинки, речь, капчу проходит, иногда даже сложную. Если ответ длиннее чем 4к то форматирование не ломается (знали бы вы как трудно разрезать текст с маркдауном не поломав форматирование).
Гуглить умеет но так себе, сойдет для простых вопросов типа сколько сегодня доллар стоит.
Мне кажется большинство не понимает, как и зачем можно использовать современные языковые модели, в чем их слабые и сильные стороны.
Нулевое назначение языковых моделей - генерация текстов, в том смысле что они могут как придумать новые так и перефразировать имеющиеся тексты. Большинство открытых моделей хорошо тюнят для маркетинга, написание 'продающих' текстов, добавление воды в статью для тех отсталых бизнесов, которые все еще платят за символы и их объем В чистом виде это та самая видимая беда от современного искусственного интеллекта, которую все боятся и пророчат что мир утонет в мусоре, который с их помощью смогут генерировать на пару порядков эффективнее и быстрее чем люди это делали раньше. Исследования уже показывают что для интеллекта (я про человека) это плохо (ии, обучаемый на сгенерированных данных, деградирует, люди точно так же будут на это реагировать).
Но о полезном:
В первую очередь от языковых моделей хотят источник знаний, поисковую систему по фактам, и в этом их слабая сторона, из-за галлюцинаций, заметный процент запросов (в зависимости от качества модели 10%..30%) будет ложным, ошибочным и самое грустное, очень похожим на правду.
Второе назначение языковых моделей - это анализ текстов (в форме текста или аудио, а у мультимодальных еще и изображений, но качественных пока не существует), в том смысле что вы можете закинуть в контекстное окно llm-ки текст и задавать по нему вопросы на естественном языке, и модель будет отвечать так же на естественном языке. В этом случае галлюцинации никуда не деваются, но их количество уменьшается ровно на тот объем знаний, которые попадут в контекстное окно плюс на сколько простыми для языковой модели эти данные, т.е. модель может рассуждать в ограниченных пределах, и чем сложнее рассуждения тем ниже качество результата (больше ошибок).
Третье назначение языковых моделей - это конвертация знаний из одной формы представления в другую, это то на основе чего изначально были созданы трансформеры и в чем они хороши. Тут не только перевод с одного языка на другой, но и к примеру написание программ (очень низкое качество, хороших нейронок по пальцам посчитать и это gpt4 с 80% успехом, у остальных уровень 60%-70%), если вы опишите алгоритм на естественном языке максимально подробно, с указанием методов, которые могут понадобиться для решения, то с большими шансами модель сможет написать программу на указанном языке, для нее это тот же самый перевод с одного языка на другой. Очень хорошим способом использования модели является прослойка между традиционными детерменированными сервисами со своим строгим api и человеком, общающимся обычным текстом, т.е. нейронная сеть сможет подготовить на основе общения с человеком и данными, которые заблаговременно можно размещать в контекстном окне (извлекать их из истории беседы и прочее).
Таким образом, даже если ИИ и может оказаться полезным, его несовершенство даже в лучшем случае, с 10%-вероятностью ошибки, может поставить крест на ряде применений, либо людям придется адаптироваться к этому.
p.s. какие бы сервисы я не использовал, созданные на основе даже топовых моделей от openai gpt4, все они, даже если в одних, простых, ситуациях показывали потрясающие результаты, когда речь идет о реальном применении, помощи в поиске и решению сложных задач, они все еще недостаточно хороши. Если вам сложно понять это на примере языковых моделей, даже со встроенным поиском по интернету, попробуйте поиграть с генеративными моделями для генерации изображений - попробуйте добиться исключительно словесными описаниями (без сторонних костылей) наполнение изображения, положение рук персонажей, их количество, во что именно они одеты, чем занимаются, куда смотрят и т.п... чем больше условий вы накладываете на модель тем сильнее у нее галлюцинации. Все то же самое с языковыми моделями, чем дальше вы уходите от того что было в обучающей выборке, тем хуже модель работает (но работает, вот это обидно, получили инструмент, но действительно пользу им получить сложно)
Я пользуюсь LLM (каждый день ChatGPT & DALL-E, реже Perplexity). Если понимать их особенности и ограничения, полезный, но далеко не универсальный и не безупречный инструмент.
Лучшие альтернативы ChatGPT для QA