Администрирование

Представлено приложение с открытым исходным кодом YoutubeToMP3 на C#, которое позволяет пользователям Windows загружать видео с YouTube и сохранять его в виде файлов MP3.

Пользователи могут ввести URL-адрес YouTube, и после нажатия кнопки загрузки приложение использует YoutubeExplode для получения и загрузки видео. Индикатор выполнения обновляется в режиме реального времени, показывая ход загрузки. После загрузки файла приложение конвертирует аудиодорожку из видео в MP3 с помощью MediaToolkit. Пользователи выбирают место сохранения файла MP3 через SaveFileDialog. После завершения процесса появится уведомление о завершении.

Согласно пояснению автора, это приложение предоставляет удобный способ конвертировать аудиодорожку из видео YouTube в MP3 прямо с рабочего стола.

10 мая 2024 года Cloudflare представила второй публичный релиз открытого проекта Pingora v0.2.0. Это асинхронный многопоточный фреймворк на Rust, который помогает создавать прокси-сервисы HTTP. Проект используется для создания сервисов, обеспечивающих значительную часть трафика в Cloudflare (вместо применения Nginx). Исходный код Pingora опубликован на GitHub под лицензией Apache 2.0.

Pingora предоставляет библиотеки и API для создания сервисов поверх HTTP/1 и HTTP/2, TLS или просто TCP/UDP. В качестве прокси-сервера он поддерживает сквозное проксирование HTTP/1 и HTTP/2, gRPC и WebSocket. (Поддержка HTTP/3 — в планах). Pingora также включает в себя настраиваемые стратегии балансировки нагрузки и аварийного переключения. Чтобы соответствовать требованиям и безопасности он поддерживает как широко используемые библиотеки OpenSSL, так и BoringSSL, которые соответствуют требованиям FIPS (федеральных стандартов обработки информации США) и пост-квантового шифрования.

Изменения в новой версии:

• добавлена поддержка установки фильтров для дополнительных заголовков HTTP/2;

• добавлена возможность изменения размера буфера входящих пакетов для TCP;

• добавлена функция body_bytes_read();

• добавлен фильтр cache_not_modified_filter;

• добавлена возможность ведения лога TLS-ключей;

• добавлена callback-функция purge_response.

В рабочем режиме Pingora обеспечивает плавный перезапуск без простоев для самостоятельного обновления, не теряя ни одного входящего запроса.

Российский разработчик сделал инструмент, который определяет местонахождение любого человека в Телеграм

CTV — визуализация местоположения пользователей Telegram

🗄Исследователь создал инструмент Close-Circuit Telegram Vision (CCTV), позволяющий искать пользователей Telegram, у которых включена настройка «Люди рядом». CCTV показывает примерное физическое местоположение пользователей на карте, даже если они находятся совсем не рядом.

🗄Разработчик объяснил, что CCTV использует API Telegram, связанный с функцией Find People Nearby. «В качестве входных данных он принимает кастомные широту и долготу, поэтому можно вводить любые данные (не нужен даже GPS-спуфинг)», — сообщил Глинкин. Также он показал журналистам два других [1] [2] проекта с похожей функциональностью, но отметил, что его проект более точен.

🗄Пресс-служба Telegram дала следующий комментарий:

«Опциональная функция “Люди рядом” была создана специально для людей, которые хотят сообщить о своем местоположении другим. По умолчанию она всегда отключена. Координаты, которые отображает инструмент с GitHub, не являются местоположением пользователя — данные на сервере аппроксимируются до 800 метров и существуют только для пользователей, которые явно предпочли транслировать свое местоположение вовне»

Если интересуетесь этичным хакингом и инструментами OSINT, здесь я публикую и разбираю самые интересные инструменты разведки.

⚡️ PyWinAssistant — AI-инструмент для управления пользовательским интерфейсом

PyWinAssistant — это первый AI-фреймворк для Windows 10/11 с открытым исходным кодом для управления любыми пользовательскими интерфейсами win32api путем использования визуализации мышления (VoT) и пространственных рассуждений в LLM (без OCR / обнаружения объектов / сегментации — такой подход улучшает качество работы PyWinAssistant).

PyWinAssistant имеет встроенные опции чтобы помогать человеку пользоваться компьютером.

Он правильно понимает любые запросы на естественном языке и планирует выполнение правильных действий в ОС с учетом требований безопасности.

🖥 GitHub

🟡 Arxiv (связанное с этим исследование)

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

Вышла невероятная модель Gemma 2B с длиной контекста 10M, которая анализирует до 7 млн слов.

В нее можно закидывать огромные документы и модель всё проанализирует.

Производительность выше Gemini в 10 раз, а памяти нужно всего 32 ГБ.

Поддерживает Cuda.

▪Github: https://github.com/mustafaaljadery/gemma-2B-10M

▪HF: https://huggingface.co/mustafaaljadery/gemma-2B-10M

▪Technical Overview: https://medium.com/@akshgarg_36829/gemma-10m-technical-overview-900adc4fbeeb

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

Новый метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки 

Мощный метод Deblur-GS на основе Гауссовских сплатов для качественного восстановления размытой картинки.

Что же такое Гаусовские Сплаты, простыми словами:

Из видео извлекается облако точек, затем по облаку создается набор маленьких полупрозрачных гауссиан. Потом эти гауссианы оптимизируются доя тогог, чтобы после рендеринга с высокой точностью восстанавливать кадры.

Это не Nerual Radiance Field и здесь все рабоатет намного проще.

За счет простоты эта штука и обучается, и рендерится довольно быстро.

Deblur-GS обеспечивает превосходную производительность и качество рендеринга по сравнению с предыдущими методами, что подтверждается бенчмарками, как на синтетических, так и на реальных наборах данных.

Выглядит бомбезно.

▪Code: https://github.com/Chaphlagical/Deblur-GS

▪Paper: https://chaphlagical.icu/Deblur-GS/static/paper/Deblur_GS_author_version.pdf

▪Project: https://chaphlagical.icu/Deblur-GS/

Если интересуетесь машинным обучением и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#машинноеобучение #deeplearning

Вышел дистрибутив Daphile 24.05 на базе Gentoo Linux и предназначенный для создания системы хранения и воспроизведения музыкальной коллекции, замещаемой на компьютере без экрана. Управление воспроизведением и коллекцией производится через специальный веб-интерфейс. Опубликована сборка проекта с обычным ядром Linux (329 МБ) и версия с компонентами для работы в режиме реального времени (319 МБ).

Дистрибутив может работать в режиме звукового сервера, сетевого хранилища и точки беспроводного доступа. Поддерживается воспроизведение с внутренних накопителей, c сетевых потоковых сервисов и c внешних USB-накопителей. Для обеспечения максимального качества звука и создания мультизональных аудиосистем поддерживается подключения компьютера с Daphile к аналоговым усилителям через ЦАП с интерфейсом USB.

В новой версии:

• обновлены LMS (Lyrion Music Server) 8.5.2, Perl 5.38, ядро Linux 6.6. Для сборки задействован GCC 13.2;

• обновлены плагины для интеграции с сервисами Spotty 4.10.1, TIDAL 1.4.6, Qobuz 3.5.0, Deezer 2.81.4 и YouTube 0.212;

• удалена поддержка Mysqueezebox.com;

• добавлен модуль Crypt::Blowfish, позволивший повысить производительность плагинов;

• добавлена возможность сохранения содержимого звуковых CD в формате WAV;

• библиотека с информацией об исполнителях и музыкальных композициях CDDB заменена на Gnudb;

• добавлена поддержка обращения к внешним сетевым накопителям через протоколы SMB3 и WebDAV.

Источник: OpenNET.

📌Artificial Analysis собрали топ 100 LLM в одном месте

Компания Artificial Analysis разработала рейтинговую систему, оценивающую стоимость, производительность и качество более 100 LLM, чтобы обеспечить удобный выбор модели, соответствующей индивидуальным потребностям.

Параметры для оценивания LLM:

🟡Качество: комплексный индекс, рассчитанный на основе метрик, таких как MMLU, MT-Bench, оценки HumanEval, а также рейтинг Chatbot Arena;

🟡Цена: метрики, учитывающие цену на вход/выход на один токен, а также среднюю цену для сравнения провайдеров хостинга. Стоимость представляет собой взвешенную смесь цен на входные и выходные токены в соотношении 3:1;

🟡Окно контекста: максимальное количество комбинированных входных и выходных токенов;

🟡Скорость: токены/с, получаемые во время генерации моделью токенов. Median, P5, P25, P75 и P95;

🟡Задержка: время до первого полученного токена, измеренное в секундах, после отправки запроса через API. Median, P5, P25, P75 и P95.

Если хотите изучать машинное обучение, разбираться в LLM и ИИ, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#llm

IBM выпустили самую совершенную модель для генерации кода

IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода

Все модели Granite Code выпущены под лицензией Apache 2.0. 

Модели Granite превосходят модели с открытым исходным кодом по всем параметрам. На рисунке показано, как Granite-8B-CodeBase превосходит Mistral-7B, LLama-3-8B и другие модели с открытым исходным кодом в трех задачах кодинга. Полные оценки можно найти здесь.

Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.

- Размер моделей варьируется от 3B до 34B параметров

- Обученных на 3-4 тыс. токенах, полученных из 116 языков программирования

▪Github: https://github.com/ibm-granite/granite-code-models

▪Paper: https://arxiv.org/abs/2405.04324

▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330

Если интересуетесь темой генерации кода и LLM, здесь я публикую разбор свежих LLM и их разбор, статьи и гайды, кладезь полезной информации.

#llm #codegeneration

В очередной раз убедились, что сила Хабра — в сообществе. Сторонние разработчики не только попробовали на практике наш YandexGPT API, но и даже создали для него SDK, который теперь доступен всем в опенсорсе с хорошей документацией.

Обо всём этом они рассказали в своей статье на Хабре. Рекомендую почитать.

Крутой инструмент для просмотра журналов в режиме реального времени.

Транслируйте любое содержимое в веб-интерфейс с автоматически сгенерированными фильтрами. 

Вы можете взять бинарник logdy, направить вывод логов в него, и вы получите на выходе  веб-интерфейс, для удобной работы и фильтрации логов. 

$ brew install logdy

#backend #golang.

▪Github: https://github.com/logdyhq/logdy-core

▪Demo: https://demo.logdy.dev/

▪Инструмент: https://logdy.dev/

#go #golang

Всем, кто любит Go и пишет на нем, еще больше интересного про Golang у меня в канале, там много полезного для Go разработчиков.

🌟 TrustLLM мощный инструмент для оценки ответов LLM

TrustLLM — инструмент на Python для комплексного исследования ответов от LLM. 

TrustLLM рассматривает 6 аспектов ответов: правдивость, безопасность, этичность, соблюдение конфиденциальности и другие.

В этом документе подробно объясняется, как использовать инструмент для  оценки эффективности собственных моделей.

pip install trustllm

▪GitHub

▪Arxiv

▪Docs

▪Project

Если интересуетесь темой Chatgpt и LLM, здесь я публикую разбор свежих LLM моделей, статей и гайдов, кладешь полезной информации.

Теги: #машинноеобучение #datascience #llm

Джерри Безенкон представил дистрибутив Linux Lite 7.0 Release Candidate 1 (RC1). Сборка рассчитана для работы на устаревшем оборудовании и ПК с минимальными системными требованиями по процессору 1 ГГц, 768 МБ ОЗУ и 8 ГБ места для хранения данных.

Дистрибутив Linux Lite 7.0 RC1 основан на ядре Linux 6.8 и Ubuntu 24.04 LTS. В сборку также входят Chrome 124.0, Thunderbird: 115.10.1, LibreOffice: 7.6.6.3, VLC 3.0.20, Gimp 2.10.36.

Ожидается, что финальная версия Linux Lite 7.0 под кодовым именем Galena выйдет в релиз 1 июня 2024 года.

Выпуск Linux Lite 6.0 состоялся в июне 2022 года.

16 мая в 11:00 МСК приглашаем на вебинар «Spark-Greenplum Connector: философия взаимодействия».

На вебинаре мы разберем best practices по работе с распределенно-параллельными системами обмена данных. На примере нашей разработки Spark-Greenplum Connector расскажем, как создать собственное расширение для обмена данными между Apache Spark и внешними системами. И как правильно использовать специальный набор интерфейсов, которые коннектор должен реализовать для взаимодействия с ядром Spark.

🧑🏻‍🏫Спикер вебинара:

Алексей Пономаревский, ведущий администратор баз данных в ITSumma

В программе:

🔻 Что подтолкнуло нас к созданию своего собственного коннектора Spark к СУБД Greenplum.
🔻 С какими вызовами мы столкнулись при написании коннектора и как их решили.
🔻 Цифры и результаты: что у нас получилось в итоге.
🔻 Дальнейшие планы и перспективы разработки.

Вебинар будет интересен администраторам баз данных, DataOps-инженерам и всем специалистам, работающим с построением ETL-процессов, хранением и обработкой больших объемов данных.

👉🏻Регистрация на вебинар доступна по ссылке зашитой в это предложение👈🏻

Подразделение Amazon Web Services (AWS) инвестирует $9 млрд в облачную инфраструктуру Сингапура.

AWS планирует тратить ежегодно $2,25 млрд в течение четырёх лет на расширение инфраструктуры облачных вычислений в Сингапуре. Этот инвестиционный проект нацелен на удовлетворение растущего спроса потребителей на облачные сервисы и ускорение внедрения систем на базе ИИ.

По оценкам Amazon, финансовые вложения компании позволят создать в Сингапуре около 12,3 тыс. рабочих мест с полной занятостью.

«Эти инвестиции вызовут волновой эффект на всей территории Сингапура за счёт ускорения экономического роста и внедрения облачных технологий», — пояснил СМИ региональный менеджер AWS Присцилла Чун.

Ранее глава токийского офиса AWS Тадао Нагасаки заявил, что Amazon инвестирует 2 трлн иен ($13,5 млрд) в облачную инфраструктуру Японии в течение пяти лет.

Готов HTML и EPUB книги об учебной операционной системе xv6.

Яндекс.Диск:

• Книга об xv6 на русском языке в формате PDF

• Книга об xv6 на русском языке в формате EPUB

• Книга об xv6 на русском языке в формате HTML

Google.Drive: https://drive.google.com/drive/folders/1Rt7hcHysWAilDn64uf-RpLACuJ39YKaR

Вопросы и ответы с собеседований большая подборка

Большая, подборка вопросов и ответов с собеседований по ML, Data Science,Ai, статистике, теории вероятностей python, SQL. 

ML

▪100 вопросов c собесов по машинному обучению 2024

▪Сборник ответов с собесов по машинному обучению от FAANG, Snapchat, LinkedIn. 

▪Facebook. Вопросы по машинному обучению 2024 год

▪Google  руководство по прохождению собеса в 2024 году

▪ Подготовка к собеседованию по ML: ответы на основные вопросы 

▪ 14 типичных вопросов с собеседования по ML

▪ Вопросы для собеседования на позицию ML-инженера

▪ Решения вступительных испытаний в ШАД

▪ Решения вступительных испытаний в ШАД архив

▪AI Interviews at Apple, OpenAI, Bloomberg & JP Morgan – What to Expect

▪Apple Machine Learning Engineer (MLE) Interview Guide

▪Junior ML-инженер | Выпуск 1 | Собеседование

▪Успешное собеседование в Яндекс  

▪Как я проходил собеседования на Machine Learning Engineer

NLP

▪100 вопросов и ответов для интервью по NLP

▪Топ-50 вопросов собеседований NLP 

▪ Вопросы по NLP 2024 года

▪ Еще 100 NLP вопросов

DS

▪Материалы для подготовки к интервью data science

▪ Вопросы/ответы DS

▪100 вопросов для подготовки к собесу Data Science

▪Временные ряды. Топ 50 вопросов

Python

▪100 вопросов для подготовки к собесу Python

▪ 50 вопросов по PyTorch

▪45 Вопросов с собеседований Pandas

▪400 самых популярных вопросов-ответов для Python-разработчика

▪100 вопросов видео

▪LeetCode Pandas

AI

▪30 вопросов промпт инжинирингу

SQL

▪Задачи с собеседований SQL

Полный список с разбором можно найти тут.

Основатель Twitter Джек Дорси больше не входит в совет директоров децентрализованной соцсети Bluesky. Компания поблагодарила Дорси за работу и заявила, что ищет нового члена правления.

Ранее пользователь X спросил Дорси, находится ли он в совете директоров компании, и тот ответил «нет». До этого он отписался от всех аккаунтов на X, кроме трёх, при этом назвав платформу Илона Маска «технологией свободы». 

На данный момент в совете директоров Bluesky остались два члена: генеральный директор Джей Гребер и изобретатель Jabber/XMPP Джереми Миллер. 

Первоначально Дорси поддержал Bluesky в 2019 году как проект по разработке стандарта социальных сетей с открытым исходным кодом. Позже он вошёл в совет директоров компании, когда она отделилась от Twitter в 2022 году. Однако Дорси не принимал активного участия в работе компании. В марте, когда Нилай Патель из The Verge спросила Гребера об уровне участия Дорси в Bluesky, она сказала, что «иногда получает некоторую обратную связь». За несколько месяцев до этого сам Дорси закрыл свой аккаунт в Bluesky.

Google анонсировала несколько обновлений для своего цифрового книжного магазина Google Play Books, включая более трёхсот бесплатных научно-популярных электронных книг для детей, совместимых с функцией «Чтение и прослушивание». Дети могут использовать эту функцию, чтобы «читать вслух всю электронную книгу, пока страницы переворачиваются автоматически».

💻 90 дней DevOps — обновлённый сборник

Цель данного цикла статей — быстрый обзор и прохождение основных понятий DevOps.

Вот некоторые из покрываемых тем: 

 — Использование Terraform

 — Сетевое взаимодействие Docker и безопасность

 — Установка minikube

 — Автоматизация сети с помощью Python

 — Работа с Jenkins

 — Визуализация данных в Grafana

 — Обзор ArgoCD

 — State и Ingress в Kubernetes

 — Ansible - контроллер автоматизации (Tower), AWX, Vault

 — Docker Compose

📎 Цикл статей

Если интересуетесь темой Devops, здесь я публикую разбор свежих devops инструментов, статей и гайдов, кладешь полезной информации.

#devops