Администрирование

Привет, Хабр! На связи команда ad-hoc аналитики и модельного риска X5 Tech. В прошлой статье про модельный риск мы познакомились с концепцией risk-management’а для моделей машинного обучения в корпорации и оценили, какую пользу может принести модельный риск как для команд-разработчиков и аналитиков, так и для компании в целом.

В этой статье мы продолжим тему модельного риска, раскроем чуть больше секретов о том, как это устроено в X5 Tech и обсудим некоторые технические аспекты реализации подобной системы.

Анекдот из журнала. Один мужчина купил дом c искусственным интеллектом. Уже через неделю умный дом называл его лентяем, а через месяц мужчина сам мыл посуду и стирал носки, после чего ему включался футбол.

Понятия Естественный интеллект и Искусственный интеллект (ЕИ, ИИ от лат. intellectus - познание - понимание, рассудок), способность мышления, рационального познания, у человека – ЕИ, у робота – ИИ. ИИ можно определить как область компьютерной науки, занимающуюся автоматизацией разумного поведения неживых объектов. Здесь не будем оценивать и анализировать многочисленные другие определения ИИ и заострять внимание на предлагаемых разными авторами текстах, чтобы не застрять на этом. Понимание ИИ как системы, способной решать задачи доступные в прошлом только человеку, без всяких упоминаний эмуляции сознания, — также используется. И современные системы ИИ вполне этому определению отвечают.     

Кроме того, в ИИ должно быть реализовано основное свойство,– это возможность и стремление к самообучению без участия человека через интернет. Искусственный интеллект прежде всего, это самостоятельное обучение и самостоятельное мышление на основе полученной информации, знаний в результате самообучения.  

Цель публикации в первую очередь образовательная, познавательная, популяризация науки, а также стремление привлечь в ряды исследователей, в науку приток новых молодых умов, вызвать в таких умах стремление к поиску ответов на возникающие вопросы.  Масштабность темы требует ввести разумные ограничения на излагаемый материал после краткого панорамного её рассмотрения.              

Мы с радостью объявляем о релизе GitLab 16.11 с GitLab Duo Chat в общем доступе, продуктовой аналитикой в общем доступе, областями видимости для политик безопасности и многими другими фичами!

VRackDB - это простая In Memory Graphite like база данных, предназначенная для хранения временных рядов (графиков). (TypeScript)

Мне, как автору базы, хотелось бы немного рассказать о ее особенностях и области применения. Покажу немного картинок, немного кода, возможно даже, немного полезной для вас информации. В общем все как обычно.

Всем привет. На связи Артём Гойлик @ArtoLord и Владислав Волох @Chillintano из команды DataSphere в Yandex Cloud. Мы создаём инфраструктуру для ML-разработчиков. И сегодня расскажем про одну задачу, которая, как и многие другие, начиналась с болей наших пользователей.

Немодерируемые юзабилити-исследования — это метод оценки удобства использования продукта, при котором участники выполняют заданные задачи без прямого наблюдения исследователя. Этот подход позволяет собирать данные о взаимодействии пользователей с продуктом в более естественной для них обстановке, что часто приводит к более точным и честным результатам. Участники могут использовать продукт в своем обычном рабочем пространстве или дома, что минимизирует влияние лабораторной среды на их поведение и отклики.

Привет, Хабр! С вами вновь Александр Бобряков, техлид в команде МТС Аналитики. И я с очередной статьёй из цикла про фреймворк Apache Flink.

В предыдущей части я рассказал, как тестировать stateless- и stateful-операторы Flink с использованием вспомогательных TestHarness-абстракций, предоставляемых Flink.

В этой статье напишем тесты на всю джобу с использованием мини-кластера Flink и при помощи JUnit Extension. Ещё мы начнём выделять удобные вспомогательные абстракции для тестов, которые понадобятся позже.

День Радио — особенный день, который незримым эфиром (в прямом смысле слова) соединяет связистов, разработчиков, инженеров, журналистов, дикторов, безопасников, асушников и огромное количество людей, которые проектируют, монтируют, создают, наполняют контентом, защищают и управляют всем, что даёт человечеству одну из самых значимых ценностей. Ценность эта — быстрое, беспрепятственное и надёжное прохождение информации в большинстве точек земного шара. 

Однако, несмотря на огромную популярность радиотехнологий и связи, возникает ощущение, что она…уходит на задний план технологий? Сегодня попробуем осветить несколько моментов и заодно соберем лучшее из того, что было про связь на Хабре.

Сегодня мы с Вами затронем уязвимость в инструменте контейнеризации, а в частности уязвимость в программном решении Flatpak, получившей идентификатор уязвимости CVE-2024-32462 и балл CVSS равный 8,4.

Вы, конечно, знаете, что сервер является сердцем любого онлайн-сервиса или офисной сети. Именно серверы обеспечивают работоспособность наших любимых веб-сайтов, приложений, игр и социальных сетей, а нам позволяют открывать их 24 часа в сутки 7 дней в неделю. Эта статья — для новичков, которые не задумывались, чем отличаются серверы друг от друга, какими они бывают, а также коснемся вопроса выбора сервера.

Дисклеймер: это вводный материал в серии, посвященной серверам. Тут мы разберем основные понятия. А для тех, кто с серверами "на ты", совсем скоро выйдут материалы, в которых мы более глубоко разберем различные аспекты, касающиеся серверов, с профессиональной точки зрения.

Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.

Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с проблемой: в нашем случае не существует готовых решений для запуска Spark-приложений, позволяющих легко править конфигурацию и следить за количеством потребляемых ресурсов.

Меня зовут Андрей Булгаков, я лид команды разработчиков Big Data в Lamoda Tech. Вместе с разработчиком Иваном Васенковым в этой статье мы поделимся историей создания Airflow-оператора для запуска Spark-приложений.

Привет, Хабр! Сегодня расскажем о кейсе по внедрению NoSQL базы данных Clickhouse в платформу контейнеризации.

Интерес к умным квартирам сегодня огромный, но как быть в поездке? Есть ли умные отели, где будешь чувствовать себя, как дома?

Больше года назад мы побывали в отеле «Вертикаль», где познакомились с функциями автоматизации. Нас они не впечатлили, можно лучше. Настало время посетить другой проект: отель «Южный» в г. Волгограде.

Мы расскажем о том, какие умные функции были добавлены к номерам после реновации отеля. Интересно? Ныряйте под кат.

Продолжая излагать, в популярной форме, нюансы устройства железнодорожного тормоза, я, на протяжении пяти статей старательно увиливал от, с моей точки зрения, наиболее сложной и интересной темы - устройства грузовых приборов торможения. В силу специфики грузового движения, устройства торможения на грузовых вагонах и локомотивах являют собой достаточно хитроумные приборы. Подходить к изложению принципов их работы следует с пониманием дела и особой осторожностью, дабы не ввести в читателя в заблуждения. Тем более, что к этому обязывает фабула данного цикла статей. Разобраться в данном вопросе и написать таки долгожданную публикацию меня побудили причины сугубо личные. И как всегда, поймав истину за хвост, спешу поделиться с читателями.

Эффективный поиск это один за важнейших аспектов работы с «большими проектами». Познакомимся с OpenGrok - одним из лучших инструментов для полнотекстового поиска из тех есть в открытом доступе.

Цены на драгоценные металлы, которые используются в производстве электроники, значительно выросли за последние пять лет. Например, стоимость меди за этот период увеличилась на 66%, подскочив от $5 000 за тонну в 2020 году до $8 300 в 2024. В результате этих изменений несколько китайских компаний по производству полупроводников повысили цены на свою продукцию на 10-20%. Подробности — под катом.

Это публикация о некоторых функциях системы Katello и Foreman, касающихся процесса Patch Management.

Katello - это модульная часть системы Foreman, управляющая сторонними или локальными репозиториями pip, rpm, deb пакетов, podman, docker образов. Katello предоставляет возможность использовать абстракцию Lifecycle Environment: назначать целевым хостам доступность определенных состояний репозиториев (фиксированные версии пакетов или теги контейнеров).

Vault — самое популярное в мире корпоративное хранилище секретов. С 2023 года его практически невозможно использовать в российских компаниях с сохранением лицензионной чистоты из-за новых политик лицензирования его разработчика, британской компании Hashicorp.

Мы сами применяем Vault в собственных продуктах, и в 2023 году нам пришлось решать эту проблему для себя и всех, кого это касается в России. На основе материнского решения от Hashicorp мы сделали публичный продукт, аналог Vault, позволяющий компаниям соблюдать лицензионную чистоту, с поддержкой от отечественного вендора, безопасный с точки зрения размещения кодовой базы в РФ и контроля безопасности компонентов. В общем, встречайте полноценную альтернативу Hashicorp Vault, StarVault от Orion soft.

За последние несколько лет многие ОС добавили поддержку различных архитектур, включая и RISC-V, которая развивается, и весьма активно. Но сейчас почему-то Google убрала код для поддержки этой архитектуры из официального образа Generic Kernel Image. Почему и зачем? Подробности — под катом.