Машинное обучение *

Новый убийца нейросетей? Сеть Колмогорова-Арнольда (KANs)

Не будем углубляться в детали. Главное: KAN работает значительно точнее, чем MLP большего размера, и его результаты лучше интерпретируются. Однако из-за обучаемых активаций обучение KAN требует гораздо больше времени и ресурсов по сравнению с MLP.

Тем не менее, возможно, мы становимся свидетелями зарождения Deep Learning 2.0. Такой подход меняет всё, начиная от LSTM и заканчивая трансформерами."

Статья

Код

Все кому интересная эта тема и если вы интересуетесь машинным обучением, залетайте в мой канал, там я опубликую подробности новой архитектуры.
Прочитали статью а что вы думаете по поводу новой архитектуры?

#машинноеобучение #нейросети #deeplearning

ExecuTorch alpha - PyTorch выпустили новый инструмент для запуска моделей на телефонах ⚡️ 

PyTorch выпустили новую версию своего инструмента - ExecuTorch alpha.

Он предназначен для развертывания больших языковых моделей и запуска моделей на Edge девайсах.

Edge ML - это технология, которая приближает алгоритмы машинного обучения к источнику данных, что значительно  сокращает задержку и улучшает возможности обработки данных в реальном времени.

ExecuTorch позволяет эффективно запускать Llama 2 7B и Llama 3 8B (и другие модели) на телефонах iPhone 15 Pro, iPhone 15 ProMax, Samsung Galaxy S22, S23 и S24 и других современных устройствах. 

Разработчики постоянно улучшают производительность на разных edge девайсах и добавляют новые модели.

Здесь можно посмотреть тесты производительности.

• Announce

• Github

В своем канале я разбираю новые модели машинного обучения и тестирую их, залетайте.

Visual Capitalist проанализировал, сколько патентов в сфере ИИ было зарегистрировано в разных странах мира с 2010 по 2022 год.

За основу исследования были взяты данные аналитической организации Center for Security and Emerging Technology (CSET) из ИИ-доклада Стэнфордского университета.

Мировым лидером по числу ИИ-патентов является Китай. Он обогнал США по этому показателю в 2013 году и без остановки лидирует с тех пор. А в 2022 году в азиатской стране впервые было зафиксировано больше патентов, чем во всём остальном мире в сумме. Это говорит о высокой интенсивности ИИ-исследований в Китае, но не обязательно означает, что он опережает остальных по качеству ИИ-разработок.

В США большинство патентов принадлежат техногигантам, таким как IBM, Microsoft и Google. В Китае они в основном сосредоточены в руках государственных организаций, вузов и технологических компаний, например Tencent.

Китайские патенты в основном связаны с машинным зрением, американские же в более равной степени охватывают более широкий спектр направлений исследований различных систем на базе ИИ.

Новая Бесплатная книга: Алиса отправляется в дифференцируемую страну чудес!* 🔥

🐇📚 Alice’s Adventures in a differentiable wonderland

Новая бесплатная книга на английском языке по проектированию нейронных сетей.

Отправляемся в увлекательное приключение по миру математики нс, от самых азов до трансформеров.

Отличный баланс между теорией и кодом, с историческими справками и  описанием современных тенденций развития нс. 

Приятный бонус это красивый дизайн и приятные иллюстрации.

Отличное приключение на выходные)

📓 Книга

Больше книг, гайдов и разборов новых моделей в моем канале о машинном обучении, залетайте, если интересна тема.

СМИ сообщили, что у Apple есть секретная передовая лаборатория Vision Lab с командами по работе с ИИ в Цюрихе (Швейцария). Специалисты из этого подразделения отвечает за самые революционные разработки в сфере ИИ и чат-ботов. С 2018 года Apple наняла в эту лабораторию как минимум 36 специалистов из Google.

Vision Lab была основана после того, как Apple купила два швейцарских стартапа: FaceShift (VR) и Fashwell (распознавание изображений).

Сотрудники лаборатории Vision Lab участвовали в исследовании больших языковых моделей, которые лежат в основе чат-ботов, таких как ChatGPT.

Шпаргалка по машинному обучению

Нереальной полезности пост — ловите Cheatsheet по Machine Learning, тут разобраны самые основные понятия и даже больше: 

❯ метод понижения размерности PCA

❯ ложноположительные, ложноотрицательные ошибки

❯ наивный Байесовский классификатор

❯ регрессионный анализ

❯ регуляризация

❯ архитектура, устройство, известные реализации нейронных сетей CNN

❯ базовые структуры данных: массив, связный список, стек, очередь, хеш-таблица, дерево

Поможет без проблем подготовиться к собесу и освежить знания.

▪ Pdf
А здесь я собрал базу 1900 вопросов с собеседований data science, machine learning, cv, welcome

OpenAi тайно выпустили Gpt-5 под названием Gpt2-chatbot и вы можете попробовать его 

Появился новый загадочный LLM под названием “gpt2-chatbot”, который невероятно хорошо справляется с широком спектром задач.

Энтузиасты уже провели расследование и выяснили, что это 100% новая модель от OpenAI. Единственное сомнение — что это GPT-4.5, ведь это может оказаться и первой версией GPT-5!

Модель выдает рабочий код высочайшего качества на всех популярных языках, решает олимпиадные задачи по математике, физике, на недоступном ранее уровне и демонстрирует высокое качество рассуждений и логики.

GPT-4 тоже тестили подобным образом внутри Bing Chat, так что это вполне может быть новая модель OpenAI.

Вот как вы можете попробовать ее бесплатно и оценить модель сами:

- перейдите по ссылке: http://chat.lmsys.org

- перейдите во вкладку “Direct Chat”.

- введите свой промпт.

В своем канале я выложил примеры созданной мной игры с помощью Gpt-4 и Gpt2-chatbot, новая модель это просто разрыв. В пост, к сожалению нельзя приложить видео с результатами, но вы можете посмотреть их здесь. Советую вам попробовать эту модель.

🧠 Open AI только что добавили новую функцию памяти в Chatgpt

Память теперь доступна всем пользователям ChatGPT Plus. 

Пользоваться памятью очень просто: просто запустите новый чат и напишите ChatGPT все, что вы хотели бы, чтобы он запомнил.

Функция памяти ChatGPT позволяет запоминать нужные вам детали, чтобы в будущем сделать общение актуальным и персонализированны.

ChatGPT автоматически сохраняет такие детали, как ваши личные предпочтения, но вы также можете попросить ChatGPT запомнить конкретную информацию, сказав:

"Запомнить это" или "Сохрани это в своей памяти".

Примечание:

1. Эта функция доступна только в GPT-4, но не в версии 3.5.

2. Если вы хотите удалить что-либо из памяти, вы можете сделать это через настройки управления памятью

3.Похоже, что это замедляет работу GPT-4, потому что он пытается получить доступ к памяти, а затем отвечает.

Память можно включить или отключить в настройках.

Я сделал открытого бота для всех и сейчас тестирую эту функцию в канале о машинном обучение, залетайте.

Альтернативные библиотеки на Go ИИ библиотекам на Python.

В моем Golang канале мы рассматривали библиотеки для машинного обучения, nlp, cv , которые заменят вам популярные python мл библиотеки.

Python Golang Описание

NumPy ➡️ Gonum

NumPy - популярная библиотека Python для обработки многомерных массивов и матриц. Gonum предоставляет аналогичную функциональность в Go.

Scikit-learn ➡️ Golearn.

Scikit-learn - это библиотека машинного обучения, построенная на NumPy и SciPy, поддерживающая алгоритмы контролируемого и неконтролируемого обучения. Golearn - это аналогичная библиотека для Go, предлагающая ряд моделей и утилит.

Pandas ➡️ Dataframe-go 

Pandas - это библиотека Python для подготовки высокоуровневых наборов данных для машинного обучения и тренировки моделей. Dataframe-go предоставляет аналогичную функциональность для манипулирования данными в Go.

TensorFlow ➡️ Gorgonia 

TensorFlow библиотека с открытым исходным кодом Python используется для разработки и оценки моделей машинного обучения и глубокого обучения. Gorgonia - это аналогичная библиотека для машинного обучения на Go.

Seaborn ➡️ Gonum/plot 

Seaborn - это библиотека Python, используемая для визуализации данных в проектах ML. Gonum/plot предоставляет аналогичные возможности визуализации данных в Go.

Theano ➡️ Gorgonia 

Theano - это библиотека Python для численных вычислений и машинного обучения. 

Keras ➡️ Gorgonia 

Keras - это библиотека Python для разработки нейронных сетей для ML-моделей

PyTorch ➡️ Gorgonia 

Matplotlib ➡️ Gonum/plot 

Data Science разбор реальной задачи с собеседования. Прогнозирование оттока клиентов.

Разбор задания "Прогнозирование оттока клиентов"..

Это отличная задача с собеседования, потому что здесь рассматривается много понятий из Data Science, ML и аналитики:
— разведочный анализ данных EDA
— прогнозирование с помощью логистистической регрессии
— прогнозирование с помощью случайного леса
— k-means-кластеризация, построение дендрограммы
— построение корреляционной матрицы, работа с категориальными признаками

- csv файл с данными

- ноутбук

#python #machinelearning #машинноеобучени
#datascience #datascientist #аналитикаданных

Мощное мультимодальное семейство больших языковых моделей от Alibaba Group для понимания сложных документов и работы с ними.

• mPLUG-DocOwl1.5 - модель для извлечения единой структуры из документов без распознавания текста.

• TinyChart - SOTA в различных тестах понимания диаграмм, в том числе Chart-to-Text, Chart-to-Table, OpenCQA, and ChartX. TinyChart превосходит несколько MLLM для понимания диаграмм по параметрам до 13B, таких как ChartLlama и ChartAst (код на подходе). 

• mPLUG-PaperOwl -  научный анализ диаграмм, с помощью мультимодальной LLM.

• UReader  - разбор документов  с помощью мультимодальной модели большого языка без OCR.

Проект

В своем канале я публикую самые интересные новые модели и разбираю их, welcome.

В ОАЭ начались первые в мире гонки ИИ–болидов.

27 апреля 2024 года в ОАЭ начались первые в мире гонки ИИ–болидов Автономной гоночной лиги (Abu Dhabi Autonomous Racing League – A2RL). Призовой фонд этого соревнования составляет $2,25 млн.

Учить своего ИИ-«пилота» взялись восемь команд:

• Code19 Racing: одна из первых независимых автономных гоночных организаций в США.

• Университет Конструкторов: одноимённый частный университет, Германия и Швейцария.

• Fly Eagle: Пекинский технологический институт Китая и Университет Халифа, ОАЭ.

• HUMDA Lab: университет Иштвана Сечени, Венгрия.

• KINETIZ: смесь команды Kintsugi из ОАЭ и Наньянского университета.

• PoliMOVE: Миланский политехнический университет, Италия.

• UNIMORE: команда Университета Модены и Реджо-Эмилии, Италия.

• TUM: Мюнхенский технический университет, Германия.

Каждая команда должна будет использовать свои навыки программирования, алгоритмы искусственного интеллекта и опыт в машинном обучении.

ИИ-болидам придётся соревноваться на гоночной трассе Яс-Марина в Абу-Даби, ОАЭ, на которой дебютировал Гран-при Абу-Даби в сезоне 2009 года Формулы-1. Для беспилотных спорткаров была специально подготовлена 5-километровая трассе с 16 поворотами. Болидам самостоятельно необходимо проехать 16 кругов.

Нейросетевой модели «Сбера» GigaChat исполнился один год. За это время аудитория сервиса выросла с нескольких тысяч сотрудников «Сбера» до пяти млн уникальных пользователей. Совокупное количество запросов к сервису превысило 90 млн.

GigaChat доступен бесплатно через веб-версию, Telegram и «ВКонтакте», на умных устройствах Sber и в приложении «Салют» на Android.

С начала февраля 2024 года, активных пользователей чат-бота GigaChat на платформе «ВКонтакте» увеличилось в 10 раз и достигло 1,7 млн человек, а 1,4 млн человек создали «ВКонтакте» 2 млн открыток за месяц.

24 апреля 2023 года «Сбер» объявил о выпуске своего аналога ChatGPT — GigaChat. По заявлению компании, она первой из российских техногигантов выпустила собственную версию мультимодальной нейросети. GigaChat умеет отвечать на вопросы пользователей, поддерживать диалог, писать программный код, создавать тексты и картинки на основе описаний в рамках единого контекста,поддерживает мультимодальное взаимодействие и грамотно общается на русском языке.

Разработчики «Сбера» опубликовали подробный материал на Хабре о нейросети GigaChat и совокупности моделей, лежащих в основе GigaChat, которую они назвали NeONKA.

⚡️ Команда PyTorch разрабатывает библиотеку для обучения LLM под названием torch titan.

Сегодня библиотека стала общедоступной на GitHub, но она все еще находится в предрелизном состоянии и активно разрабатывается.

- Ссылка на библиотеку:  https://github.com/pytorch/torchtitan

- Туториал по работе с  torch titan: https://www.youtube.com/watch?v=ee5DOEqD35I

Библиотека создана для предварительного обучения моделей, а для файнтюнига у PyTorch есть еще одна библиотека torchtune: 

https://github.com/pytorch/torchtune

Если интересна тема машинного оубченяи, я публикую все новые модели и опесорс проекты у себя в канале, залетайте.

Готовится к запуску ИИ-платформа Augment, конкурент GitHub Copilot, с бюджетом в $252 млн

⏩К запуску готовится новая ИИ-платформа Augment. Проект с бюджетом в $252 млн позиционируется как конкурент ИИ-помощника для программистов GitHub Copilot.

и⏩В недавнем опросе StackOverflow 44% инженеров-программистов заявили, что они в настоящее время используют инструменты искусственного интеллекта как часть своих процессов разработки, а 26% планируют сделать это в ближайшее время. По оценкам Gartner, более половины организаций тестируют или уже внедрили помощников по кодированию на базе искусственного интеллекта, и что к 2028 году 75% разработчиков будут использовать ИИ для написания кода в той или иной форме.

⏩Экс-разработчик Microsoft Игорь Островский считает, что скоро не останется программиста, который не использует ИИ в своих рабочих процессах. «Разработка программного обеспечения остаётся сложной, зачастую утомительной и разочаровывающей работой, особенно в масштабе больших проектов. ИИ может улучшить качество программного обеспечения, производительность команды и помочь вернуть радость от программирования», — рассказал Островский TechCrunch.

⏩Островский решил создать удобную ИИ-платформа Augment, которую он сам хотел бы использовать. Это платформа Augment, которая ранее получила финансирование в размере $252 млн.

▶️ Записаться в white-лист для тестирования Augment

Если интересно, я публикую разбор самых свежих ии проектов в моем канале.

Реддитор под ником Alchemist1123 превратил Minecraft в мультфильм. Он запустил нейросеть Stable Diffusion прямо поверх vanilla Minecraft. ИИ-система на лету начала менять внешний вид игры.

OpenBioLLM-Llama3-70B и 8B: самые эффективные и доступные на сегодняшний день Lms в области медицины! 🩺 💊 🧬

Превосходит таких гигантов индустрии, как GPT-4, Gemini, Meditron-70B, Med-PaLM-1 и Med-PaLM-2, в области биомедицины. 🏥 📈  🌟

OpenBioLLM-70B достигает SOTA и является новым достижением для моделей такого размера.

Модель OpenBioLLM-8B превосходит даже GPT-3.5, Gemini и Meditron-70B! 🚀

• 70B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-70B

• 8B : https://huggingface.co/aaditya/OpenBioLLM-Llama3-8B

• Таблица лидеров в области медицины: https://huggingface.co/spaces/openlifescienceai/open_medical_llm_leaderboard

• В моем канале я публикую самые интересные новые модели, проекты и примеры с кодом по машинному обучению.

«Сбер» совместно с нейросетью Kandinsky спасает утерянные картины великих художников, включая Илью Репина.

Проект Kandinsky в рамках выставки «Возрождённая коллекция» сумел воссоздать 9 полотен из Сталинградской картинной галереи, которые пропали в годы Великой Отечественной войны.

В Kandinsky залили чёрно-белые снимки и архивные описания полотен — так ИИ смог восстановить работы Репина, Сурикова, Иванова и других авторов почти в первозданном виде.

Увидеть их все можно на выставке «Возрождённая коллекция» в Волгограде — как офлайн, так и онлайн.

Гендиректор Nvidia Дженсен Хуанг (Jensen Huang) лично доставил свой новый флагманский ускоритель DGX H200 в офис компании OpenAI в Сан-Франциско, подчеркнув тесную связь между двумя гигантами в отрасли искусственного интеллекта.

Хуанга встретили соучредитель OpenAI Грег Брокман и гендиректор компании Сэм Альтман.

DGX H200 – это новейший ускоритель ИИ-вычислений Nvidia, оснащенный 141 ГБ памяти HBM3e. Производитель позиционирует это решение как самый мощный ИИ-ускоритель Nvidia, знаменующий шаг вперёд в области технологий ИИ с производительностью в 1 экзафлопс.

27 апреля 2024 гола в ОАЭ пройдут первые в мире соревнования беспилотных болидов. Призовой фонд этого соревнования составляет $2,25 млн.

Зарегистрированные для участия в соревновании команды уже получили машины Dallara Super Formula SF23 — настоящие болиды категории Super Formula. Инженеры должны оснастить болиды оборудованием для автоматического вождения: GPS, радаром, лидаром, семью камерами и компьютером для обработки поступающей информации. Разным ИИ‑моделям предстоит ориентироваться на реальной гоночной трассе и завершить гонку раньше остальных. Учить своего «пилота» будут восемь команд:

1. Code19 Racing: одна из первых независимых автономных гоночных организаций в США.

2. Университет Конструкторов: одноимённый частный университет, Германия и Швейцария.

3. Fly Eagle: Пекинский технологический институт Китая и Университет Халифа, ОАЭ.

4. HUMDA Lab: университет Иштвана Сечени, Венгрия.

5. KINETIZ: смесь команды Kintsugi из ОАЭ и Наньянского университета.

6. PoliMOVE: Миланский политехнический университет, Италия.

7. UNIMORE: команда Университета Модены и Реджо-Эмилии, Италия.

8. TUM: Мюнхенский технический университет, Германия.

Каждая команда должна будет использовать свои навыки программирования, алгоритмы искусственного интеллекта и опыт в машинном обучении.