Искусственный интеллект

⚡️ LLaVA-NeXT: новая мощнейшая модель для расшифровки и понимания видео.

LLaVA-NeXT - одна из самых мощных на сегодняшний день моделей для понимания видео, превосходящая все существующие VLM, с открытым исходным кодом.

LaVA-NeXT - одна из самых мощных на сегодняшний день моделей для понимания видео, превосходящая все существующие VLM, с открытым исходным кодом.

Новая SoTA! 

LLaVA-Next демонстрирует высокую скорость передачи данных и демонстрирует отличные результаты при zero-shot обучении.

▪Github: https://github.com/LLaVA-VL/LLaVA-NeXT

▪Blog: https://llava-vl.github.io/blog/2024-04-30-llava-next-video/

▪HF: https://huggingface.co/shi-labs/CuMo-mistral-7b

▪Dataset: https://huggingface.co/datasets/shi-labs/CuMo_dataset

Если интересуетесь темой машинного обучения и LLM, здесь я публикую разбор свежих LLM моделей, статей и гайдов, кладешь полезной информации.

Совместно с Игорем Котенковым подготовили для себя и для вас Бинго-карточку на предстоящую трансляции OpenAI, чтоб было интереснее наблюдать!

Что именно покажут на презентации не уточнялось, но по словам Sam. A.:
`not gpt-5, not a search engine, but we've been hard at work on some new stuff we think people will love! feels like magic to me`

В твиттере много отсылок к слову "magic" и слухов по поводу голосового помощника, модели связанной со звуком.

В своем канале я оставлю короткую выдержку новостей и о какой магии говорят в openai!

⚡️ PyWinAssistant — AI-инструмент для управления пользовательским интерфейсом

PyWinAssistant — это первый AI-фреймворк для Windows 10/11 с открытым исходным кодом для управления любыми пользовательскими интерфейсами win32api путем использования визуализации мышления (VoT) и пространственных рассуждений в LLM (без OCR / обнаружения объектов / сегментации — такой подход улучшает качество работы PyWinAssistant).

PyWinAssistant имеет встроенные опции чтобы помогать человеку пользоваться компьютером.

Он правильно понимает любые запросы на естественном языке и планирует выполнение правильных действий в ОС с учетом требований безопасности.

🖥 GitHub

🟡 Arxiv (связанное с этим исследование)

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

🍏 Крутая новость: Apple заключила соглашение о внедрении ChatGPT в каждый iPhone

Apple и OpenAI смогли договориться и почти завершили сделку. Анонс может пройти на конференции WWDC в июне.

По слухам, нейронная сеть значительно улучшит функциональность Siri,сделав её по-настоящему полезным помощником.

Ожидаем вместе с выпуском iOS 18.

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#chatgpt

#машинноеобчение

В последнем отчете Microsoft приводит данные о значительном увеличении использования генеративного искусственного интеллекта (ИИ) среди сотрудников. За последние шесть месяцев доля работников, применяющих ИИ в своих ежедневных задачах, удвоилась и теперь достигает 75%. В отчете определение «сотрудников» охватывает широкий круг лиц, включая всех, кто работает за компьютером, будь то в офисе или удаленно.

Одной из причин такого стремительного роста является желание руководителей радикально пересмотреть свои бизнес‑процессы. Отчет показывает, что 41% руководителей стремятся интегрировать ИИ в основу своих стратегий. Однако, несмотря на такие амбициозные планы, 60% руководителей выражают опасения относительно недостаточного внимания к интеграции ИИ, что, по их мнению, может угрожать конкурентоспособности и инновационному потенциалу их компаний.

Тем не менее, не все сотрудники встречают такие изменения с энтузиазмом. Согласно отчету, 52% работников предпочитают не признавать, что используют ИИ для выполнения важных задач. Они опасаются, что ИИ может снизить значимость их работы или даже заменить их полностью. Несмотря на это, значительная часть сотрудников (78%) отмечает, что ИИ способствует ускорению рабочих процессов, что является значительным плюсом в повседневной деятельности.

Reuters: после недавнего инвестирования более $10 млрд в OpenAI в обмен на права на повторное использование моделей ИИ, корпорация Microsoft занялась разработкой и обучением собственной модели ИИ под названием MAI-1, которая сможет конкурировать с моделями Google, Anthropic и даже OpenAI.

Моделью MAI-1 занимается бывший руководитель Google в области ИИ, который был нанят Microsoft вместе с большей частью персонала стартапа Inflection.

Отличие MAI-1 состоит в том, что она будет намного больше моделей с открытым исходным кодом, которые Microsoft уже обучала ранее, то есть у нее будет больше вычислительной мощности и обучающих данных. Цена также будет дороже.

У модели MAI-1 будет 500 млрд параметров или настроек. У той же модели GPT-4 от OpenAI более 1 трлн параметров, в то время как у моделей с открытым исходным кодом компаний Meta Platforms и Mistral 70 млрд параметров.

Таким образом, Microsoft стремится разработать как маленькие языковые модели, которые можно недорого встроить в приложения и запускать на мобильных устройствах, так и более крупные и современные модели. Это отличает стратегию технологий ИИ Microsoft от технологий, разработанной OpenAI в основе всех чат-ботов с ИИ.

Вышла невероятная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.

В нее можно закидывать огромные документы и модель всё проанализирует.

Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.

Поддерживает Cuda.

▪Github: https://github.com/mustafaaljadery/gemma-2B-10M

▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M

▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

OpenAI готовят грандиозный анонс.

Хитрец Сэм Альтман, отец chatgpt начал греть аудиторию перед большим анонсом на стриме компании в понедельник.

По его словам, это не GPT-5 и не убийца Google. 

«Мы много работали над кое-чем реально новым и думаем, что всем это понравится. Я прям чувствую магию!»

Понедельник. 20:00 по мск. Ожидаем)

В своем канале я сделаю разбор трансляций, а еще там много  крутых LLM , статей и гайдов по машинному обучению, ИИ, dl, заходите в гости,

Alibaba Cloud выпускает новую версию своей большой языковой модели.

Компания заявила, что последняя версия модели Tongyi Qianwen, Qwen2.5, обладает «замечательными улучшениями в рассуждениях, понимании кода и текстовом понимании по сравнению со своим предшественником Qwen2.0».

Согласно анализу платформы OpenCompass, проведённому в марте, модель Qwen2.5 превосходит GPT-4 от OpenAI по языковым и творческим возможностям. Однако она уступает в таких аспектах, как знания, логические рассуждения и математические способности.

Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки 

Мощный метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.

Что же такое Гаусовские Сплаты, простыми словами:

Из видео извлекается облако точек, затем по облаку создается набор маленьких полупрозрачных гауссиан. Потом эти гауссианы оптимизируются доя тогог, чтобы после рендеринга с высокой точностью восстанавливать кадры.

Это не Nerual Radiance Field и здесь все рабоатет намного проще.

За счет простоты эта штука и обучается, и рендерится довольно быстро.

Deblur-GS обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, что подтверждается бенчмарками, как на синтетических, так и на реальных наборах данных.

Выглядит бомбезно.

▪Code: https://github.com/Chaphlagical/Deblur-GS

▪Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf

▪Project: https://chaphlagical.icu/Deblur-GS/

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

Это лучшие в настоящее время боты на базе нового GPT для различных задач!

Проверенные временем боты с той самой загадочной модели, которая, возможно, является GPT-5, о ней мы уже писали здесь.

В результате добавления новой модели, боты стали значительно умнее и работают на полную мощность!

Здесь лучшие бота на базе CHATGPT из возможных:

- Creative Ad Maker — выдающийся копирайтер, который придумает для вас и пост в блоге, и рекламную кампанию. Включает в себя обширный набор виральных кейсов.

Chatgpturbobot - лучший бесплатный бот, который поддерживает новые версии GPT. Бот также поддерживает визуальную модель gpt, вы можете отправить скриншот за задачей боту и он пришлет вам решение, крутая вещь.

- Growth Hacking Expert — предложит вам идеи для стартапов с учетом ограниченного бюджета и предоставит технические детали. За кулисами у бота — обширный набор успешных кейсов.

- Creative Answers & Brainstorm GPT — генерирует креативные ответы даже на самые скучные вопросы. Например, вместо «Собирать виноград в Италии» он предложит вам не только виноградник, но и потенциальный город поблизости и так далее.

- Anti AI-Detection — скроет ваш текст от обнаружения ИИ. Случайным образом маскирует ваши генерации под человеческий текст.

- Image Edit | img2img — бот для редактирования и генерации изображений. Стал еще более полезным с появлением редактора изображений в ChatGPT: просто предоставьте ему изображение, и он создаст похожее.

Здесь я сделала обзор еще 52 топовых ИИ-ботов.

Похоже, ChatGPT скоро научится генерировать материалы для взрослых. OpenAI исследует как «ответственно» генерировать откровенный контент.

Компания обнародовала проект документации, в котором изложены основные принципы работы её технологий. Важной частью документа стал большой раздел с обсуждением возможности целенаправленного введения функций создания NSFW‑контента (Not Safe For Work — не для просмотра на работе).

В примечании упоминается, что разрешённый контент категории NSFW может включать в себя эротику, насилие, оскорбительные выражения и непрошенную ненормативную лексику. Всё это в скором времени ассистент может начать генерировать, если компания найдёт способ заставить языковую модель определять уместность таких материалов и генерировать их, не переходя черту.

Проблема чрезмерного ограничения ответов актуальна для многих современных нейросетей. Так, Bing от Microsoft и Gemini от Google моментально отказываются отвечать на поставленный вопрос, если дело «запахло жареным». Компании боятся потенциально вредных генераций, которые могут запятнать их репутацию. В то же время ChatGPT меньше подвержен подобным ограничениям, и, судя по опубликованной документации, в будущем эти ограничения станут ещё менее заметными.

США намерены ограничить доступ Китая и России к программному обеспечению искусственного интеллекта, лежащему в основе таких приложений, как ChatGPT

По словам источников, администрация Байдена готова открыть новый фронт в своих усилиях по защите американского искусственного интеллекта от Китая и России, предварительно планируя установить защитные ограждения вокруг самых передовых моделей ИИ.

В чем же причина? США рассматривают возможность введения новых экспортных ограничений, чтобы препятствовать применению передовых моделей искусственного интеллекта в военных целях и кибератаках. Правительственные органы опасаются, что иностранные субъекты могут использовать мощные ИИ для создания биологического оружия или проведения массовых кибератак. 

Посольство Китая охарактеризовало этот шаг как "типичный акт экономического принуждения и односторонних издевательств, которым Китай решительно противостоит", добавив, что оно примет "необходимые меры" для защиты своих интересов.

С основной новостью Вы можете ознакомиться по ссылке: https://www.reuters.com/technology/us-eyes-curbs-chinas-access-ai-software-behind-apps-like-chatgpt-2024-05-08/

IC-Light - это новый интересный проект для реалистичного управления освещением.

Внутри два типа моделей: модель изменения освещения с из тектовых промптов и модель изменения подсветки фона изображений. 

Выглядит невероятно правдоподобно. 

Советую вам пролистать и посмотреть крутые на гитхабе.

Модели ставятся локально и как отдельный web-интерфейс.

▪Github: https://github.com/lllyasviel/IC-Light

▪Jupyter: https://github.com/camenduru/IC-Light-jupyter

▪Demo: https://huggingface.co/spaces/lllyasviel/IC-Light

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

В Абу-Даби состоялась первая в мире гонка беспилотных болидов, которыми управлял искусственный интеллект. Восемь команд со всего мира продемонстрировали управление болидами Формулы-1 с помощью ИИ в рамках соревнований Автономной гоночной лиги A2RL.

Автомобиль A2RL является уникальным гоночным болидом, управляемым искусственным интеллектом и представляет собой шасси Dallara Super Formula 2023 года выпуска, оснащенный четырехцилиндровым 2,0-литровым двигателем с турбонаддувом, мощность которого составляет около 550 лошадиных сил. Для работы системы управления на основе искусственного интеллекта используется 7 камер Sony IMX728, 4 радара ZF ProWave и 3 лидара Seyond Falcon Kinetic FK1, а вычислительную мощность для ИИ предоставляет компьютер Neusys RGS-8805GC с графическим процессором Nvidia, накопителями Intel и специализированным ПО.

В гонке приняли участие восемь команд: Fly Eagle, Humda Lab, Code19, Constructor, Kinetiz, Polimove, Unimore и Технический университет Мюнхена. Призовой фонд гонки составил 2,25 млн долларов.

Победила команда TUM Мюнхенского технического университета.

Участникам понадобилось больше часа, чтобы преодолеть восемь кругов трассы «Формулы-1». При этом в 2023 году чемпион «Формулы-1» Макс Ферстаппен проехал 58 кругов по той же трассе менее чем за полтора часа.

В рамках мероприятия также прошла гонка человека против болида с искусственным интеллектом, в ней c заметным преимуществом победил экс-пилот «Формулы-1» Даниил Квят.

Microsoft только что представили инструмент You Only Cache Once: Decoder-Decoder : архитектура Decoder-Decoder для больших языковых моделей

YOCO существенно снижает потребление  памяти GPU и состоит из двух компонентов -  cross decoder'а, объединенного с self-decoder'ом. 

Self-decoder кодирует глобальные кэши

значений ключей (KV), которые повторно используются cross decoder'ом с механизмом cross-attention.

Результаты экспериментов показывают, что YOCO достигает более высокой производительности по сравнению с архитектурой Трансформеров при различных настройках масштабирования размера модели и количества обучающих токенов, подробнее тут.

▪Github: https://github.com/microsoft/unilm/tree/master/YOCO

▪ABS: https://arxiv.org/abs/2405.05254

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

Группа исследователей из EPFL разработали ChemCrow – искусственный интеллект, объединяющий 18 искусно разработанных инструментов, позволяющих ему ориентироваться и выполнять задачи в рамках химических исследований с беспрецедентной эффективностью. Он основан на большой языковой модели, такой как GPT-4, улучшенной LangChain для интеграции этих инструментов.

Практическое применение: ChemCrow получает приглашение от пользователя, заранее планирует, как решить задачу, выбирает соответствующие инструменты и итеративно уточняет свою стратегию на основе результатов каждого шага. Этот методический подход гарантирует, что ChemCrow не только отрабатывает теорию, но и находит практическое применение для реального взаимодействия с лабораторными средами.

“Система аналогична эксперту-человеку с доступом к калькулятору и базам данных, которые не только повышают эффективность работы эксперта, но и делают ее более достоверной – в случае ChemCrow, уменьшая галлюцинации”, – объясняет Андрес Камило Маруланда Бран, первый автор исследования.

Эта технология поможет ускорить исследования и разработки в области фармацевтики, материаловедения и в других областях, сделав процесс более эффективным и безопасным.

📌Artificial Analysis собрали топ 100 LLM в одном месте

Компания Artificial Analysis разработала рейтинговую систему, оценивающую стоимость, производительность и качество более 100 LLM, чтобы обеспечить удобный выбор модели, соответствующей индивидуальным потребностям.

Параметры для оценивания LLM:

🟡Качество: комплексный индекс, рассчитанный на основе метрик, таких как MMLU, MT-Bench, оценки HumanEval, а также рейтинг Chatbot Arena;

🟡Цена: метрики, учитывающие цену на вход/выход на один токен, а также среднюю цену для сравнения провайдеров хостинга. Стоимость представляет собой взвешенную смесь цен на входные и выходные токены в соотношении 3:1;

🟡Окно контекста: максимальное количество комбинированных входных и выходных токенов;

🟡Скорость: токены/с, получаемые во время генерации моделью токенов. Median, P5, P25, P75 и P95;

🟡Задержка: время до первого полученного токена, измеренное в секундах, после отправки запроса через API. Median, P5, P25, P75 и P95.

Если хотите изучать машинное обучение, разбираться в LLM и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#llm

Google DeepMind представили Alpha Fold3, новую модель искусственного интеллекта, которая предсказывает структуру и взаимодействия молекул.

Благодаря точному прогнозированию структуры белков, ДНК, РНК и многого другого, а также того, как они взаимодействуют, наше понимание биологического мира может выйти на новый уровень, а в практическом применение  поможет разработке новых лекарств.

Эта революционная модель, может предсказывать структуру и взаимодействия всех молекул жизни с беспрецедентной точностью. 

На основе входного списка молекул Alpha Fold3 генерирует их общую трехмерную структуру, показывая, как они сочетаются друг с другом. Программа моделирует крупные биомолекулы, такие как белки, ДНК и РНК, а также небольшие молекулы, также известные как лиганды. 

Кроме того, Alpha Fold3 может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, нарушение которых может привести к различным заболеваниям.

Теперь для учёные со всего мира могут работать с  AlphaFold 3 совершенно бесплатно.

https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

В ходе серьезной перестройки своего плана развития чипов Apple анонсировала новый процессор M4 для сегодняшнего обновления iPad Pro , всего через шесть месяцев после выпуска первых MacBook Pro с M3 и даже не через два месяца после обновления MacBook Air с M3.

Apple утверждает, что M4 включает в себя «до» четырех высокопроизводительных ядер ЦП, шесть высокоэффективных ядер и 10-ядерный графический процессор. По оценкам Apple, производительность процессора M4 на 50 процентов выше, а производительность графики — в четыре раза выше . Как и графический процессор в M3, M4 также поддерживает аппаратно-ускоренную трассировку лучей, позволяющую создавать более продвинутые световые эффекты в играх и других приложениях. Apple заявляет, что отчасти благодаря производственному процессу «второго поколения» 3 нм, M4 может соответствовать производительности M2, потребляя при этом вдвое меньше энергии.

В отдельном отчете Wall Street Journal говорится, что Apple разрабатывает специальный чип для запуска программного обеспечения искусственного интеллекта в центрах обработки данных . Серверный чип Apple, скорее всего, будет ориентирован на работу с моделями ИИ, также известными как логический вывод (inference), а не на обучение моделей ИИ, где доминирует Nvidia.