Добрый день, уважаемые читатели Хабр. По роду деятельности, я уже некоторое время занимаюсь вопросами NLP, в частности, генеративными большими языковыми моделями и, реализованными, на них чат-ботами. При этом, очень часто в их разработке возникает ряд проблем, с которыми приходится постоянно бороться. Одна из них — «галлюцинирование» моделей, то есть выдача неточной информации на поступающие запросы от пользователя, и, в целом, некорректное поведение модели при длительном ведении диалогов различной степени направленности, специфики, глубины рассуждений, оценки фактов и правдивости выдаваемых ответов. 

Исходя из этого, я решил систематизировать все имеющиеся по этой теме сведения. Сразу оговорюсь, статья носит обзорный характер и я ставлю своей целью обобщение фактов, причин и признаков такого поведения. Поиск возможных вариантов, методик и подходов для решения данной проблемы будут рассмотрены в следующей статье. Здесь, не будет кода и строгих выкладок, лишь, наблюдения, аналитика, способы оценки, выявленные закономерности и оценка работы в общем. 

В качестве результата исследования, предлагается описание общей ситуации с обнаруженными возможными проявлениями феномена «галлюцинирования». На целостность и завершенность обзора, при описании полученных вариаций и проявлений данного факта, не претендую. Это результаты моего поиска и анализа. Информация собиралась, буквально по крупицам, так как все сведения сильно разрознены, проявления их в «дикой природе» не всегда можно заметить и четко классифицировать, либо они начинают проявляться спустя большое количество тестов, диалогов, рассуждений, запросов, вариантов подачи подсказок и уточнений на поставленные запросы и исходных текстов. Кроме всего прочего, градация распределения этих аномалий по степени отслеживания, так же, сильно разнится. Есть те, которые проявляются весьма быстро, а есть крайне редкие, для которых нужен специфических, очень тонкий подход. Ниже я представлю данный перечень с подробными пояснениями, так что всех прошу под кат. 

Приветствую всех любителей программирования всяческих ретро-железок. Могу предположить, что у большинства из читателей этой статьи была в детстве Dendy (а может и сейчас есть) или другой клон Famicom (клонов NES в СНГ я не встречал). Сегодня предлагаю обсудить особенности разработки игр для приставок Dendy, NES и Famicom с маппером (mapper) UNROM. Те из вас, кто хоть немного углублялся в особенности архитектуры игр для 8-битных приставок, наверняка слышал про мапперы. Это электронная схема, которая находится на плате картриджа и расширяет возможности консоли, подключаясь напрямую к шинам процессора.

Мапперов для Dendy существует сотни, так как очень часто компании, разрабатывающие игры, делали уникальные мапперы под свои нужды. Поэтому сегодня они есть на любой вкус и цвет. Самые простые мапперы позволяют переключать банки памяти (это было обычным делом для всех компьютеров 1980-х), а самые продвинутые (например, MMC5) уже позволяли использовать дополнительные аппаратные прерывания, улучшенный звук, прокрутку по двум осям и т. д.

Привет, Хабр! На связи Андрей Аврамчук (@Mimizavr). Недавно я побывал на онлайн-презентации GitVerse — платформы для совместной разработки и хостинга кода. Планируется, что она станет инструментом нового поколения, избавляющим разработчика от многих болей. Под катом вы узнаете:

— Чем GitVerse может помочь открытому ПО.

— Почему перенос своих проектов на платформу — это легко и приятно.

— Куда спрятаться от ИИ (спойлер: никуда).

— Умеет ли GitVerse в CI/CD.

— И наконец, какие есть причины смотреть в будущее с оптимизмом.

Случайности не случайны, особенно когда они реализованы исключительно программными методами и подчиняются распознаваемому детерминизму. А тем временем мы нуждаемся в генерации настоящих, случайных чисел — от криптографии с защитой наших банковских данных, до компьютерных игр. 

Может показаться что эта проблема была решена уже давно, но те же процессоры обзавелись модулями энтропии только в 2012-2014 годах. И на этом прогресс не останавливается: всё доступнее становятся квантовые генераторы энтропии, полностью лишённые изъяна детерминизма. Давайте посмотрим, как от ложного рандома мы пришли к недетерминированному.

Первая волна массового использования 3D–принтеров захлестнула мир чуть больше 10 лет назад. Поначалу технологию воспринимали как выставочную, однако уже в 2016 году она доказала свою состоятельность. Оборудование стоимостью менее 1000$ стало доступным для рядовых покупателей. В печать отправляли самые разные предметы, качество которых практически не уступало магазинным. 

В 2016 с помощью объёмной технологии создали не просто деталь, а полноценный самоуправляемый автобус Olli. Транспортное средство развивает скорость 20 км/ч, заряда батареи хватает на 58 км в режиме города, салон рассчитан на 12 пассажиров.

Революцию произвели инженеры небольшой компании Local Motors в сотрудничестве с гигантом IBM. Новаторы доказали, что можно выпускать не только комплектующие и автомобильные кузова, а буквально всё, чем мы пользуемся в повседневной жизни. Давайте посмотрим, как далеко зашла 3D–печать.

Недавно в фокусе новостных лент вновь оказалась дополненная реальность — Apple наконец-то выпустила свой шлем Vision Pro. Устройство рассчитано на повседневное использование и постоянное ношение, свидетельством чего уже стало множество забавных роликов из США и других стран. В то же время реальность виртуальная, кажется, опять в кризисе; PlayStation приостанавливает производство второго поколения шлемов PS VR из-за того, что склады уже переполнены. В этом посте мы расскажем, что сдерживает развитие виртуальной реальности и каких успехов добились производители в преодолении этих барьеров.

В этой статье рассмотрим, пример реализации архитектуры UI-слоя на Compose, которая основывается на Uni-directional data flow и state hoisting с использованием паттерна «координатор» для навигации. Вдохновением для меня послужила эта публикация, но я решил подробнее развернуть поднятую в ней тему архитектуры Compose и навигации.

В сфере медицины скорая помощь ИИ рассматривается как жизненно необходимая. Слишком большим оказался разрыв между новейшими технологическими достижениями и реальной врачебной практикой, которая далека от идеала не где–то в отдельно взятой стране, а по всему миру. В интервью The New York Times  Бхавик Патель, доктор медицинских наук, MBA, клиника Мэйо, Аризона, высказал мнение:

В современном здравоохранении есть много пробелов, и я думаю, мы можем разумно использовать искусственный интеллект, чтобы устранить их или, по крайней мере, свести к минимуму. 

Давайте разберёмся, как ИИ может помочь в медицине и какие шаги предпринимаются в разных странах.

Меня зовут Владимир Медин, я работаю в подразделении SberWorks, которое внедряет практики DevOps и MLOps. Хочу поделиться нашим опытом повышения надёжности enterprise-систем, вводимых в эксплуатацию, особенно впервые. Для кого-то эта статья будет в большей степени спасательным кругом, но с напутствием. Многие подходы к обеспечению надёжности у нас регламентированы, но есть и «неуставные» решения, которые вырабатываются только с опытом. Кому-то могут бы непонятны некоторые тонкости, диктуемые условиями крупной компании, поэтому по мере рассказа буду объяснять, почему это важно. Впрочем, на мой взгляд, эти правила применимы в работе компании любого размера, дорожащей стабильностью качества своих услуг.

Привет, Хабр! Всем известно, что у тестировщиков в жизни много трудностей. И мы, команда QA Департамента общих прикладных сервисов (ДОПС) Сбера, знаем об этом не понаслышке, так как тестируем релизы сервисов Platform V — цифровой облачной платформы СберТеха (более 70 продуктов для быстрого создания и легкого масштабирования приложений любой сложности). Да‑да, именно на Platform V Сбер совершил свою цифровую трансформацию!

Релизы поставляют в банк из СберТеха. Всё бы ничего, пришли изменения — тестируй. Но основная сложность заключается в том, что у платформы десятки продуктов, из‑за чего работа усложняется в разы.

Злоумышленники всё чаще атакуют цепочки поставок ПО, чтобы получить доступ к исходным кодам, процессам сборки или механизмам обновления ПО. Но сложно напрямую атаковать инфраструктуры компаний, которые серьёзно относятся к своей кибербезопасности. В последнее время в СМИ появляются сообщения об атаках на ИТ‑гигантов, финтех, объекты критической инфраструктуры через разработчиков и поставщиков ПО. Яркий пример — инциденты атак на SolarWinds, Codecov, GitHub, ССleaner от Avast. Ущерб от этих атак оказался огромен.

Меня зовут Сергей Кубан, я руководитель направления в отделе защиты инфраструктуры производства ПО в СберТехе. Мы поставляем заказчикам программное обеспечение и SaaS-сервисы. Чтобы они соответствовали требованиям кибербезопасности, необходимо всестороннее обеспечение безопасности инфраструктуры как собственного производственного конвейера ПО, так и предоставляемых заказчикам SaaS-инсталляций.

Сегодня расскажу об одном из важных методологических подходов к противодействию атакам на цепочки поставок ПО — разработке модели угроз информационной безопасности.

Привет, Хабр! В 2020 году компания решила вывести на рынок линейку продуктов Platform V. Для них нужна была документация, которая на тот момент велась в Confluence. Нам предстояло проделать сложную и дорогую работу: собрать документы на нужные версии, привести тексты к единому стилю и терминологии, оформить как комплект документации от поставщика ПО. Расскажу, какие инструменты мы в СберТехе использовали, почему перешли от документирования в Confluence нa Docs-as-a-Code и создали инструмент Platform V GetDocs, который помогает эффективно писать документацию.

Если у вас не просто большая компания, а целая экосистема с разными сервисами, IT-инфраструктура должна обеспечивать бесшовность. Клиенты и сотрудники могут входить в систему с разных устройств, но изменение информации в одном канале должно отображаться в других, а целостность данных сохраняться, даже если вход совершен в двух каналах параллельно. И в идеале — так, чтобы клиент не видел «внутренней кухни».

Меня зовут Владимир Паршин, я ведущий ИТ-инженер в СберТехе. Расскажу, как выстроена работа с бесшовностью в Сбере.

В статье будет про драматичное прошлое, Джастина Бибера и балансировку нагрузки. А главное — про то, какие решения СберТеха под капотом банка сейчас обеспечивают обработку данных огромного числа клиентов и сотрудников.

Привет, Хабр. Меня зовут Ирина, и я предлагаю поговорить о том, какие права у нас есть на наш код и об их передаче. Мы рассмотрим, что такое код с точки зрения законодательства РФ; о том, как мы можем передать права на код; что такое наследование кода и как его можно унаследовать.

Всем привет! Сегодня мы отправимся в прошлое и вспомним, как проходил зимний ROS Meetup 3 февраля 2024 года: какие темы по LLM, Deep Learning и антропоморфным роботам были раскрыты и что нас ждет дальше?

В этом посте мы расскажем о трёх операционных системах для персональных компьютеров родом из 1980-х и начала 1990-х — AmigaOS, LisaOS и NeXTSTEP. Некоторые из них сегодня ещё можно найти где-нибудь в виде легаси, некоторые поддерживаются энтузиастами или даже компаниями, но все они, пожалуй, уже покоятся на свалке истории, оставив после себя наследие разных масштабов.

Начнем с операционки, запущенной в 1985 году, когда Apple представила Macintosh. В то время более известной ещё была компания Commodore International. Начинали эти ребята с ремонта и перепродажи печатных машинок, но со временем переквалифицировались. Славу Commodore принес прежде всего персональный компьютер Commodore 64, через три года после выпуска которого Commodore представили новый многообещающий ПК — Amiga.

Каждый код уникален. Несмотря на работу линтеров, спустя несколько лет вы с уверенностью сможете определить, что писали вы, а что — другой разработчик. Даже если не помните, что это была за задача. А ещё, код может рассказать об авторе едва ли не больше, чем разговор с ним. Например, какие книги он читал, на каких языках писал раньше. Можно сделать выводы о характере и привычках автора и предположить, как быстро он сможет вырасти.

Я Юрий Митус, фронтенд-разработчик в Сбере. Предлагаю поговорить о коде, который мы пишем, и практиках его улучшения. Расскажу, на что обращать внимание, покажу типичные ошибки, которые «портят» код и как их избегать. Научу писать код так, чтобы вас хотели нанять и перенять ваши практики.

Существует огромное количество самых разных языков программирования, их насчитывается несколько тысяч. Какие‑то — идеальны для работы, другие же созданы just for fun. К слову, есть ЯП, представленные программистами из неанглоязычных стран, в них операторы, функции и т. п. — все на родном для автора языке. Кроме того, некоторые страны стремятся развивать свои собственные IT‑индустрии, и использование местного языка в программировании может быть способом поддержать эту инициативу. Мы выбрали самые интересные на наш взгляд non‑English языки программирования.

Прошёл ровно год с момента релиза модели Kandinsky 2.1 — именно эта модель принесла известность нашей исследовательской группе Sber AI Research и дала толчок развитию всей линейки моделей Kandinsky. В честь этой даты мы выпускаем новую версию модели Kandinsky 3.1, о которой я расскажу подробнее в этой статье.

Сегодня все крупные компании сохраняют и обрабатывают большие объёмы информации, причём стремятся делать это максимально эффективным для бизнеса способом. Меня зовут Мазаев Роман и я работаю в проекте загрузки данных на платформу SberData. Мы используем PySpark, который позволяет очень быстро распределённо обрабатывать данные в оперативной памяти узлов нашего кластера на базе Hadoop. Я поделюсь способом, с помощью которого можно снизить потребление ресурсов кластера за счёт перезапуска PySpark-приложений между выполняемыми Spark-задачами, и расскажу, как это делать правильно.