Обновить

Моя лента

Тип публикации
Порог рейтинга
Уровень сложности
Предупреждение
Войдите или зарегистрируйтесь, чтобы настроить фильтры

125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом

По статистике, среди рядовых пользователей настольных компов самая распространенная видеокарта имеет 16 ГБ видеопамяти. По опросам GaugeDB, такие карты занимают 27,21% рынка. У меня как раз видеокарта NVIDIA GeForce RTX 4070 Ti SUPER с 16 ГБ видеопамяти GDDR6X, которая на текущий момент стоит 900$. До сего момента главной проблемой было то, что на видеокарте такого класса невозможно было запустить LLM-агента, который будет достаточно умным и достаточно быстрым. Если запускаешь умную модель типа Qwen 3.8 27B (Dense архитектура), то на выходе получаешь 10-20 токенов в секунду. А для комфортной работы кодинг-агента надо 100-150 токенов в секунду.

125 токенов в секунду на RTX 4070 Ti SUPER: как я заставил локальную LLM работать полноценным кодинг-агентом
Статья

Кэширование: 5 неочевидных истин для системного аналитика

Уровень сложностиПростой
Время на прочтение6 мин
Охват и читатели165

Привет, Хабр. Меня зовут Любовь Вайгель. Я системный аналитик в СберЗдоровье — MedTech-компании №1 в России.

Во многих сценариях, сталкиваясь со снижением скорости ответа системы, компании приходят к необходимости внедрения кэша и довольно быстро реализуют кэширование на уровне технологий. Но правда в том, что кэширование, которое часто воспринимают как простой тактический приём для ускорения работы приложения, на практике может сильно изменить свойства системы: согласованность данных, поведение при сбоях, требования к актуальности и доступности информации. Поэтому для системного аналитика важно четко понимать, что мы кэшируем, зачем, на каких условиях и как это будет отражено в требованиях.

В этой статье я разберу пять неочевидных истин о кэшировании, которые часто остаются «за кадром», и покажу, как они влияют на работу системного аналитика.

Читать далее

Новости

Статья

Я дообучил маленькую нейросеть на MacBook, и она стала хуже. Честные цифры

Уровень сложностиСредний
Время на прочтение4 мин
Охват и читатели109

В прошлой статье я пообещал дообучить самую маленькую модель своего лаунчера Lumi прямо на MacBook и показать, что выйдет, «даже если станет хуже». Как в воду глядел. После 328 примеров и LoRA через MLX модель решила, что 2 + 2 × 2 = 4, а «скуф» — это лодка, и набрала на запечатанном экзамене 4 из 23 вместо 6. Со второй попытки я вернул её к исходным 6. Рассказываю, что пошло не так, почему маленькой модели мало нескольких сотен примеров и почему обученную модель пока нельзя перенести в Ollama.

Читать далее
Статья

Данные для языка, которого почти нет в интернете: текстовые слои, турецкие подмены и псевдоразметка двумя моделями

Уровень сложностиПростой
Время на прочтение14 мин
Охват и читатели748

В первой статье серии я писал, что у крымскотатарского не было ни одного датасета, пригодного для серьёзной работы, и что начинал я с существующего речевого набора, который пришлось чистить. Во второй распознавалка научилась слышать нашу речь, в третьей синтезированный голос прочитал целый роман. Отсюда вопрос, который мне задавали чаще всего: если данных нет, на чём всё это училось?

Эта статья про данные. Оговорка та же, что и раньше, только строже: я не называю источники, архивы, издания, каналы, людей и организации, которые нам что-то передали, и не рассказываю о договорённостях с ними. Нет здесь и названий моделей, порогов фильтров и внутренних скриптов. Объёмы даю порядками величин. Зато будут метрики, методика проверки и грабли, на которые я наступил, и все цифры взяты из отчётов экспериментов, а не по памяти.

Читать далее
Статья

Как генератор трёх слов на баннере вырос в веб-сервис: Ghostscript, CMYK и производственные грабли

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели2.3K

На фрилансе регулярно просят сверстать простой баннер «АРЕНДА + телефон». Брать за три слова 2 000 рублей неловко, а запускать CorelDRAW, выставлять миллиметры и переводить шрифты в кривые всё равно приходится. Рассказываю, как внутренний скрипт для генерации валидного CMYK PDF вырос в производственный сервис с динамическим разрешением Ghostscript, инспектором структуры PDF, пакетной сборкой из CSV и партнёрским режимом для типографий.

Читать далее
Статья

Как я улучшил управление окнами в macOS

Время на прочтение4 мин
Охват и читатели3.2K

Написал приложение, которое добавляет в macOS две функции:

1. Открытие приложений сочетанием клавиш, например ⌥-1 для Chrome, ⌥-2 для Slack;

2. Открытие проектов сочетанием клавиш, например ⌥-3 откроет Option1.xcodeproj в Xcode. Работает с любым приложением.

В статье покажу принцип работы и возможности macOS о которых вы могли не знать.

Текст и код подготовлены без использования технологий искусственного интеллекта.

Читать далее
Статья

Бесплатное ПО, пять лет разработки и немного наглости. Как я пытаюсь попасть в реестр российского ПО

Уровень сложностиСредний
Время на прочтение5 мин
Охват и читатели3.1K

Привет, Хабр! Я Артур Валиев. Разработчик, предприниматель из небольшого села в Ставропольском крае и человек, который однажды решил, что написать собственный удалённый рабочий стол — хорошая идея.

Спойлер: идея оказалась хорошей. А вот количество работы я немного недооценил. Примерно на пять лет.

Но начать хочу совсем с другого.

Читать далее
Статья

Каждый таксист теперь может попробовать поуправлять крупной корпорацией

Уровень сложностиПростой
Время на прочтение7 мин
Охват и читатели2.6K

Каждый таксист знает, как управлять страной а заодно и «Роснефтью»: кого снять в правлении и что делать с ценой на нефть, он объяснит за одну поездку от аэропорта до центра. Проверить эти знания на деле ему было негде. Теперь и государство, и крупную корпорацию можно собрать из ИИ‑агентов, и мы это сделали! Нет, не перешли работать в такси, а собрали Корпорацию Всевластия. А я таки сел за руль:-)

Читать далее
Статья

Как я устал от VPN‑клиентов на 300 МБ ОЗУ и написал свой TUN‑клиент на чистом Rust (Unbihex)

Уровень сложностиСложный
Время на прочтение5 мин
Охват и читатели4.2K

Всем привет! Последние пару лет экосистема обхода блокировок развивалась по принципу «больше фич — жирнее обертка». Большинство популярных десктопных и мобильных клиентов сегодня — это либо тяжелые комбайны на Electron/Flutter, либо графические обертки над ядром Xray или sing‑box через gomobile и C‑FFI, которые тянут за собой рантайм Go, сборщик мусора и жрут от 200 до 400 МБ оперативки просто в фоне.

Когда у тебя слабый ноутбук, офисная машина или телефон, на котором открыта пара тяжелых приложений, лишние 300 МБ под один только VPN начинают ощутимо бить по системе. А если речь идет об iOS, где системный лимит на сетевые расширения (PacketTunnelProvider) составляет жесткие 50 МБ, такие клиенты регулярно падают по OOM (Out Of Memory) при попытке загрузить крупные гео‑базы.

В один прекрасный день мне это надоело. Я решил взять всё в свои руки и написал с нуля собственный кроссплатформенный TUN‑клиент и сетевое ядро на чистом Rust без единой сторонней прослойки. Встречайте — Unbihex (названный в честь гипотетического 126-го элемента унбигексия). Сейчас он потребляет 18 МБ ОЗУ в режиме TUN (и 12 МБ в прокси), поддерживает полный стек современных протоколов и уже готов к продакшену.

Под катом — как это устроено под капотом, какие грабли пришлось собрать при работе с TUN под Windows и как удалось подружить ядро с популярными панелями.

Читать далее
Статья

ymcp, или как подружить агентов с YouTrack, если ты не админ

Уровень сложностиСредний
Время на прочтение6 мин
Охват и читатели3.5K

Всё началось с того, что я в очередной раз копировал описание задачи из YouTrack в Claude Code. Потом комментарии к ней. Потом ещё один комментарий, который кто‑то оставил, пока я копировал первые. Потом ждал, пока агент напишет код, открывал PR, возвращался в задачу, вставлял ссылку, менял статус на Fixed — и шёл за следующей.

В какой‑то момент я понял, что из всей этой цепочки самая бесполезная её часть — это я. Агент умеет писать код, YouTrack умеет хранить задачи, а я работаю буфером обмена с ногами.

Решение вроде бы очевидное: дать агенту доступ к трекеру через MCP, и пусть сам читает, сам пишет, сам двигает задачи. Ну чтож, давайте подключим.

Читать далее
Статья

Настройщица пианино и Мечник по имени Райдэн: как я нашла в Telegram игру, которая звучит чисто

Время на прочтение5 мин
Охват и читатели3K

У меня в сумке всегда лежат три вещи: стальной камертон на «ля», ключ для вирбелей и войлочные клинья. Двадцать с лишним лет я езжу по городу и привожу в порядок чужие пианино. Утром старенький «Красный Октябрь» в хрущёвке на окраине, днём концертный рояль в музыкальной школе, вечером цифровое безобразие, которое хозяева почему-то тоже просят «подкрутить». Между вызовами бывают паузы по сорок минут, и обычно я проводила их в маршрутке или на скамейке у подъезда, глядя в одну точку. Этой весной всё изменилось, и виноват в этом мой племянник Тимофей, который однажды переслал мне ссылку с припиской «тётя Ксюша, тебе понравится, там всё красиво и само дерётся». Сразу скажу, к разработчикам я отношения не имею, я обычный игрок, а ссылку оставлю в самом конце.

Читать далее
Статья

Пишем свою мобильную ОС с нуля на Rust. Часть 4: GUI, SQLite и DOOM

Время на прочтение13 мин
Охват и читатели4K

Прошёл год с момента выхода первой части. Тогда нам удалось вывести изображение на экран настоящего телефона. Это была проверка того, что идея в принципе реализуема.

Дальше началась системная работа, о которой я писал в предыдущей части. Теперь ОС наращивает userspace-слой. На экран вернулась картинка — уже с окнами, кнопками и приложениями для телефона, Raspberry Pi и QEMU. На телефоне заработал и тачскрин.

Эта часть будет обзорной: посмотрим, как теперь устроены связи между программами, файловая система и поддержка C и C++, запустим SQLite и DOOM. А в конце напишем своё GUI-приложение — калькулятор. В третьей части он выводил результат в UART. В этой сделаем калькулятор с окном и кнопками.

Читать далее
Статья

Давай отлаживать по TCP

Уровень сложностиСложный
Время на прочтение5 мин
Охват и читатели4.3K

Когда в моей Среде разработки К дошла очередь до отладчика, выбор был такой: по HTTP - проще, но с глюками, знакомыми по мобильной разработке; по TCP - быстрее, но протокол закрытый: им штатная среда говорит с тонким клиентом. Я выбрал TCP: снял обмен с провода и повторил его. RSA-1024 с PKCS#1 v1.5, 192 байта на тройном DES, NTLM, контрольная сумма по полям GUID и идентификатор, который нельзя делать случайным. Рассказываю, где спотыкался и что получилось: точки с условием, шаги, стек, локальные, вычисление и остановка по ошибке - на живом клиенте.

Читать далее
Новость

Arrowmax представила умную отвёртку с камерой и нейросетью для подбора бит

Время на прочтение1 мин
Охват и читатели4.7K

Arrowmax анонсировала умную электрическую отвёртку со встроенной камерой, которая распознаёт винты по снимку и подсказывает, какую насадку следует использовать. Помимо отвёртки в комплект входит 52 биты из инструментальной стали класса S2.

Читать далее

Ближайшие события

Статья

Сборка личного домашнего сервера под фото/видео с удалённым доступом: Ubuntu Server + Immich

Уровень сложностиПростой
Время на прочтение9 мин
Охват и читатели4.6K

Мы живём с вами в достаточно непростое время, и многим людям хотелось бы хранить свои личные файлы, фото и видео не где-то там, а у себя дома. Да, для этого нужны определённые минимальные навыки, короткая проверка: если вы можете воткнуть ethernet в роутер и поставить пару пакетов в linux – вы справитесь.

Читать далее
Статья

ПаровоJSик: как мы не нашли тренажер для JS/TS‑собеседований на русском и сделали свой

Уровень сложностиПростой
Время на прочтение3 мин
Охват и читатели4.1K

Нас двое. Один недавно искал работу и ходил по собеседованиям, второй сам собеседует кандидатов и раз за разом видит, как люди спотыкаются на одних и тех же задачах: debounce, глубокое сравнение объектов, форма с валидацией.

Готовиться к таким задачам на русском оказалось почти негде, особенно если вы пишете на JS или TS не только во фронте, но и на бэке. Поэтому мы сделали ПаровоJSик. Под катом рассказываем, что внутри, как тесты запускаются прямо в браузере и что будет дальше.

По вагонам!
Новость

Исследователь нашёл способ взломать Telegram через анимированные стикеры без участия пользователя

Время на прочтение3 мин
Охват и читатели4.5K

На конференции OffensiveCon Tokyo 28 октября исследователь безопасности Сайфелдин Азиз (Saifeldeen Aziz) представил результаты годового исследования Telegram. По его словам, ему удалось объединить уязвимости библиотеки обработки анимированных стикеров с ошибками серверной проверки файлов и добиться выполнения произвольного кода в Telegram для iOS без каких-либо действий со стороны пользователя.

В основе атаки лежит библиотека rlottie, которую Telegram использует для воспроизведения анимированных стикеров формата TGS. Это сжатые JSON-файлы с описанием векторной анимации. Клиент самостоятельно разбирает их содержимое и отрисовывает кадры.

Читать далее
Статья

Пять месяцев приручал GoClaw. В итоге плюнул и написал свою систему

Уровень сложностиСредний
Время на прочтение14 мин
Охват и читатели5.1K

Или о том, почему десять пользователей иногда полезнее тысячи звёзд на GitHub.

Пять месяцев я пытался собрать из существующих open-source-компонентов нормальную управляемую среду для корпоративной разработки с ИИ-агентами. Разобрался во всех сортах этого добра, и в итоге пришлось написать свое.

Читать далее
Пост
Домашняя страница BTDigg
Домашняя страница BTDigg

Недавно я себе поменял язык интерфейса на русский на всех устройствах, ибо решил что английский я уже знаю достаточно и тренировать дополнительно мне его не надо

Сегодня же решил зайти на BTDigg и был поражён этой всей дореформенной орфографией

Конечно legacy-код это известная проблема, но насколько я помню до Петра I (да и после, продолжительное время) торрентов не существовало :D

Теги:
-1
Комментарии0
Статья

От языка к действию: как устроены агентные ИИ‑системы

Уровень сложностиСредний
Время на прочтение10 мин
Охват и читатели4.3K

LLM умеет рассуждать и генерировать ответы, но что делать, если системе нужно самостоятельно выполнять задачи, взаимодействовать с внешними сервисами и проверять результаты своих действий? Здесь начинается территория ИИ‑агентов, где появляются новые архитектурные решения и сложности. Разбираемся, как устроены агентные системы, какие подходы к планированию и взаимодействию агентов существуют и что необходимо учитывать при их разработке.

Изучить агентные системы
Новость

Apple представила MacBook Pro с сенсорным OLED‑экраном и динамическим островом вместо «чёлки»

Время на прочтение2 мин
Охват и читатели5.8K

Apple представила MacBook Pro с сенсорным OLED‑экраном диагональю 14,2 и 16,3 дюйма. Устройство также получило динамический остров вместо «чёлки», чип M5 Pro / M5 Max и накопитель объёмом до 16 ТБ.

Читать далее
1
23 ...