Администрирование

Вы, конечно, знаете, что сервер является сердцем любого онлайн-сервиса или офисной сети. Именно серверы обеспечивают работоспособность наших любимых веб-сайтов, приложений, игр и социальных сетей, а нам позволяют открывать их 24 часа в сутки 7 дней в неделю. Эта статья — для новичков, которые не задумывались, чем отличаются серверы друг от друга, какими они бывают, а также коснемся вопроса выбора сервера.

Дисклеймер: это вводный материал в серии, посвященной серверам. Тут мы разберем основные понятия. А для тех, кто с серверами "на ты", совсем скоро выйдут материалы, в которых мы более глубоко разберем различные аспекты, касающиеся серверов, с профессиональной точки зрения.

Airflow в Lamoda Tech играет роль оркестратора процессов обработки данных. Ежедневно с его помощью мы запускаем 1 800+ тасок на проде, примерно половина из которых являются Spark-приложениями.

Все Spark-приложения сабмитятся из Docker-контейнеров. И здесь сталкиваемся с проблемой: в нашем случае не существует готовых решений для запуска Spark-приложений, позволяющих легко править конфигурацию и следить за количеством потребляемых ресурсов.

Меня зовут Андрей Булгаков, я лид команды разработчиков Big Data в Lamoda Tech. Вместе с разработчиком Иваном Васенковым в этой статье мы поделимся историей создания Airflow-оператора для запуска Spark-приложений.

Привет, Хабр! Сегодня расскажем о кейсе по внедрению NoSQL базы данных Clickhouse в платформу контейнеризации.

Интерес к умным квартирам сегодня огромный, но как быть в поездке? Есть ли умные отели, где будешь чувствовать себя, как дома?

Больше года назад мы побывали в отеле «Вертикаль», где познакомились с функциями автоматизации. Нас они не впечатлили, можно лучше. Настало время посетить другой проект: отель «Южный» в г. Волгограде.

Мы расскажем о том, какие умные функции были добавлены к номерам после реновации отеля. Интересно? Ныряйте под кат.

Продолжая излагать, в популярной форме, нюансы устройства железнодорожного тормоза, я, на протяжении пяти статей старательно увиливал от, с моей точки зрения, наиболее сложной и интересной темы - устройства грузовых приборов торможения. В силу специфики грузового движения, устройства торможения на грузовых вагонах и локомотивах являют собой достаточно хитроумные приборы. Подходить к изложению принципов их работы следует с пониманием дела и особой осторожностью, дабы не ввести в читателя в заблуждения. Тем более, что к этому обязывает фабула данного цикла статей. Разобраться в данном вопросе и написать таки долгожданную публикацию меня побудили причины сугубо личные. И как всегда, поймав истину за хвост, спешу поделиться с читателями.

Эффективный поиск это один за важнейших аспектов работы с «большими проектами». Познакомимся с OpenGrok - одним из лучших инструментов для полнотекстового поиска из тех есть в открытом доступе.

Цены на драгоценные металлы, которые используются в производстве электроники, значительно выросли за последние пять лет. Например, стоимость меди за этот период увеличилась на 66%, подскочив от $5 000 за тонну в 2020 году до $8 300 в 2024. В результате этих изменений несколько китайских компаний по производству полупроводников повысили цены на свою продукцию на 10-20%. Подробности — под катом.

Это публикация о некоторых функциях системы Katello и Foreman, касающихся процесса Patch Management.

Katello - это модульная часть системы Foreman, управляющая сторонними или локальными репозиториями pip, rpm, deb пакетов, podman, docker образов. Katello предоставляет возможность использовать абстракцию Lifecycle Environment: назначать целевым хостам доступность определенных состояний репозиториев (фиксированные версии пакетов или теги контейнеров).

Vault — самое популярное в мире корпоративное хранилище секретов. С 2023 года его практически невозможно использовать в российских компаниях с сохранением лицензионной чистоты из-за новых политик лицензирования его разработчика, британской компании Hashicorp.

Мы сами применяем Vault в собственных продуктах, и в 2023 году нам пришлось решать эту проблему для себя и всех, кого это касается в России. На основе материнского решения от Hashicorp мы сделали публичный продукт, аналог Vault, позволяющий компаниям соблюдать лицензионную чистоту, с поддержкой от отечественного вендора, безопасный с точки зрения размещения кодовой базы в РФ и контроля безопасности компонентов. В общем, встречайте полноценную альтернативу Hashicorp Vault, StarVault от Orion soft.

Привет, Хабр!

Apache Ignite - это высокопроизводительная, распределённая in-memory платформа, которая предназначена для хранения и обработки больших объёмов данных с ультранизкой задержкой. Основная фича Ignite заключается в его способности обеспечивать молниеносный доступ к данным, распределённым по горизонтально масштабируемому кластеру.

За последние несколько лет многие ОС добавили поддержку различных архитектур, включая и RISC-V, которая развивается, и весьма активно. Но сейчас почему-то Google убрала код для поддержки этой архитектуры из официального образа Generic Kernel Image. Почему и зачем? Подробности — под катом.

Всем привет! Мы (Олег Герцев и Лиля Кондратьева) работаем в сервисном центре Positive Technologies и отвечаем за поддержку MaxPatrol SIEM и MaxPatrol VM соответственно.

Мы не только обрабатываем более десяти тысяч заявок в год, но и активно развиваем экспертизу клиентов и партнеров: среди наших сотрудников есть активные участники комьюнити-чата в Телеграме, в прошлом году мы выступали с лекциями на ДОД, а также готовили материалы для разработки курса по траблшутингу.

Ранее коллеги, работающие с PT Sandbox и PT NAD, рассказывали, с решением каких вопросов сталкиваются инженеры. Мы решили не останавливаться и в этой статье хотим приоткрыть завесу тайны над буднями специалистов поддержки уже других продуктов, приведя несколько историй на основе реальных событий. Кстати, пока мы готовили этот текст, так вдохновились, что придумали несколько тематических ребусов, к которым перейдем в самом конце. Пока же ныряем в будни техподдержки!

Сегодня, когда объёмы данных постоянно растут, а терять их становится всё критичнее, использование внешнего накопителя часто становится необходимостью. У каждого из нас есть файлы, которыми мы дорожим — от рабочих документов до фотографий с домашними питомцами. При этом у жёстких дисков есть срок службы и вероятность отказа в самый неподходящий момент. У меня был подобный опыт с накопителем Seagate и ошибкой «муха СС». С тех пор я в обязательном порядке дублирую все важные файлы в облако и ещё на один диск.

Научные исследования подтверждают, что удовлетворённость жизнью сотрудников напрямую связана с их производительностью и вовлечённостью в работу. Поэтому создание условий для гармоничного сочетания профессиональной деятельности и личных интересов является не просто желательной, а обязательной задачей для современных организаций.

Для HR-специалистов и руководителей важно не только осознавать значимость этого баланса, но и уметь оценивать его состояние внутри компании. Это помогает не только минимизировать риски выгорания, но и способствует привлечению и удержанию талантов, что в современных условиях высокой конкуренции становится ключевым конкурентным преимуществом.

Шёл 2022 год. Я обратил внимание на новый интересный проект CUTLASS, отличающийся очень высокой скоростью выполнения операций умножения матриц. Я взял большую задачу по умножению матриц — 8192 x 8192 x 8192, и померял производительность в PyTorch, где используется библиотека cuBLAS.

Данный материал позволит вам подготовиться к собеседованию, освежить знания или познакомиться с такими терминами как транзакции, ACID и уровни изоляции.

Важно отметить, что речь пойдет о реляционных базах данных, которые наилучшим образом подходят для транзакций и соответствуют критериям ACID.

Перед прочтением данной статьи настоятельно рекомендую ознакомиться с 1 частью

Введение

Данная статья является продолжением статьи про поднятие киберполигона AITU Military CTF, в этой части мы рассмотрим глобальные изменения касающиеся инфраструктуры, такие как настройка сети ESXI, создание централизованного Firewall и мониторинг.

Я решил написать эту статью так как очень мало подобных статей на тему постройки киберполигона, в последнее время в нашей стране начали часто проводится полигоны и в этой статье мы рассмотрим все тонкости настройки инфраструктуры в условиях ограниченности ресурсов.

Сравниваем между собой качество 6 различных токенайзеров, включая новейший OpenAi Large|Small и E5 от Microsoft на задаче векторного поиска:

Ищем ответ на вопрос: В чем сила? в сборнике афоризмов и цитат.

Рассматриваются модели

text-embedding-ada-002
text-embedding-3-large
text-embedding-3-small
intfloat/multilingual-e5-large
ai-forever/ruBert-large
ai-forever/sbert_large_mt_nlu_ru

P.S. Бонусом сравнение как влияет токенайзер на качество задачи по классификации текста (30 классов).