Как стать автором
Обновить

Моя лента

Тип публикации
Порог рейтинга
Уровень сложности
Предупреждение
Войдите или зарегистрируйтесь, чтобы настроить фильтры
Статья

Как мы переносили базу Clickhouse между географически удаленными дата-центрами

Уровень сложностиСредний
Время на прочтение6 мин
Количество просмотров22

В конце прошлого года мы писали о сложном переезде нашего собственного сервиса в новый дата-центр в Детройте. Среди прочих задач мы переносили Clickhouse. Напомню, что речь идет о нагруженном сервисе, который обслуживает десятки серверов, принимающих сотни тысяч запросов с низкой latency в секунду.

В этой статье рассказываем, как мы переносили данные, не имея возможности отключить сервис или воспользоваться автоматической репликацией. 

Объем данных для Clickhouse у нас не такой уж и большой - процесс получился не столько объемный, сколько ресурсоемкий. Но в открытых источниках информации по использованным механизмам минимум, поэтому считайте это руководством к clickhouse-copier утилите (https://github.com/ClickHouse/copier) на конкретном примере со скриптами и командами для запуска.

Читать далее
Рейтинг0
Комментарии0

Новости

Новость

Релиз инструментария Autodafe 0.2 для замены Autotools на обычный Makefile

Время на прочтение2 мин
Количество просмотров19

17 апреля 2024 года разработчик Эрик Рэймонд (Eric S. Raymond, один из основателей организации Open Source Initiative, стоявший у истоков движения открытого ПО),
выпустил в релиз инструментарий Autodafe 0.2 для замены Autotools на обычный Makefile.

Читать далее
Рейтинг0
Комментарии0
Пост

VK запустила бесплатный курс по созданию мини-приложений для разработчиков, IT-предпринимателей и бизнесменов. С обучающим курсом от VK Mini Apps пользователи смогут научиться создавать, монетизировать и продвигать свои мини-приложения.

Курс «Разработка мини-приложений ВКонтакте» состоит из 260 минут обучающего контента, 70 уроков и восьми модулей. Каждый посвящён одному из этапов создания сервиса: «Знакомство с мини-приложениями», «Выбор идеи», «Дизайн», «Разработка», «Тестирование», «Модерация», «Монетизация» и «Продвижение». Весь процесс показан на примере мини-приложения «Блюдо дня». Механика заключается в заказе и доставке еды — на курсе можно создать похожий сервис или реализовать свою идею. Курс можно смотреть последовательно или выбирать модули; обучающие ролики доступны в любое время.

Теги:
0
Комментарии0
Пост

Amazon Prime Video продлила сериал Fallout на второй сезон.

11 апреля 2024 года Amazon Prime Video выпустила первый сезон сериала по Fallout. К просмотру доступны все 8 серий. Кто уже посмотрел первые серии, отмечают отличный чёрный юмор и круто переданную атмосферу серии игр.

В сериале Fallout фанаты нашли намёк на анонс игры Fallout 5. В шестой серии показали номер «Волт-Тек», и позвонить на него попробовать уже все — на другом конце ждёт только душераздирающий крик.

А вот если отправить на этот номер СМС, то в ответ придёт такое сообщение:

Спасибо, что написали «Волт-Тек». Следующая встреча назначена через 33 недели, пожалуйста, ждите!

Пользователи вычислили дату — 29 ноября 2024. Вероятно, в этот день будет анонс нового проекта во вселенной Fallout.

Теги:
0
Комментарии0

Истории

Статья

Как аппроксимировать любую функцию с помощью PyTorch

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров647

При анализе данных и построении моделей машинного обучения часто возникает необходимость аппроксимировать сложные функции. PyTorch предоставляет удобные инструменты для создания и обучения нейронных сетей, которые могут быть эффективно использованы для этой цели. В этом посте мы рассмотрим простой пример аппроксимации функции с использованием PyTorch.

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии0
Статья

Мультидоменный проект (мультисайт) на NextJS

Уровень сложностиСложный
Время на прочтение3 мин
Количество просмотров684

Привет! Я frontend-разработчик в одной компании, занимающейся электронной коммерцией.

Не буду долго рассказывать о себе, о компании и о том, как возникла потребность написать подобный проект, сразу приступлю к описанию решения.

Представим, что у вас порядка 500-1000 доменов и 5-10 разных дизайнов сайтов, распределенных между этими доменами примерно так:

Читать далее
Всего голосов 2: ↑2 и ↓0+2
Комментарии1
Пост

Почему я работаю только по 100% предоплате

Я прошу 100% вперёд, когда делаю для кого-то работу. А также предпочитаю оплачивать 100% вперёд, когда кто-то делает работу для меня.

Почему так? Здесь есть много нюансов, но основная причина в следующем:

Без предоплаты исполнитель, который делает сложную, растянутую во времени, работу, будет (осознанно или не очень) учитывать риск неуплаты и тревожиться по этому поводу в течение всего срока. Эта тревога может повлиять и на полноту, и на качество работы.

Заказчик же, оплачивая 100% вперёд, тревожится только в момент оплаты, а потом ещё пару раз в процессе переговоров. И эта его тревога никак не влияет на результат.

Я как исполнитель не хочу думать об оплате. Я хочу думать о работе и отдаваться ей с головой. А как заказчик не хочу, чтобы исполнитель сделал для меня работу хуже, чем мог бы. Меня больше волнуют не деньги, а результат.

Отдельно тему раскрываю в этом посте с видеороликом.

Теги:
+3
Комментарии4
Новость

Подрядчик Apple по утилизации отправил около 100 тысяч iPhone на перепродажу вместо уничтожения

Время на прочтение2 мин
Количество просмотров4.7K

Канадская фирма GEEP, подрядчик Apple по вопросам утилизации техники, отправила около 100 тысяч старых iPhone в Китай на перепродажу вместо того, чтобы уничтожить их. Apple подала на компанию в суд, но уже несколько лет дело не движется. Как предполагает Bloomberg, это связано с тем, что Apple не хочет привлекать внимания к тому, что она утилизирует пригодные для использования смартфоны вместо перепродажи, хотя позиционирует себя как экологичную компанию.

Читать далее
Всего голосов 4: ↑5 и ↓-1+6
Комментарии6
Статья

Определение эмоционального состояния человека на основе видеоанализа его лица

Время на прочтение6 мин
Количество просмотров421

Эмоциональное состояние человека является одним из важнейших аспектов человеческий жизни и личности, которое играет огромную роль в повседневной рутине и взаимодействии с окружающим мире. Оно пронизывает все сферы нашей жизни, влияя на наши мысли, действия и взаимодействия с окружением. Также его важно воспринимать неотъемлемой частью человеческой природы и их проявление как реакция на внешние события, и на внутренние переживания.

Данная тема остается крайне актуальной в контексте растущей потребности в разработке и применении технологий классификации в различных сферах жизни. С увеличением доступности камер и развитием алгоритмов компьютерного зрения становится возможным создание систем, способных автоматически распознавать эмоциональные состояния людей по их выражению лица. Это имеет потенциал для применения в психологии, медицине, маркетинге, образовании и других областях, где понимание эмоций играет важную роль. Такие технологии могут помочь улучшить качество обслуживания клиентов, персонализировать обучение, оптимизировать рекламные кампании и даже выявлять ранние признаки психических расстройств.

В этой статье, хотелось бы рассмотреть создание системы для классификации по семи базовым эмоциям и заключение эмоционального состояния человека с видеоматериала. Для реализации такой системы было решено создать сверточную нейронную сеть с помощью библиотеке pytorch для задачи классификации и использования данной модели для анализа видео, и составление эмоционального состояния используя библиотеку OpenCV и чат-бота с генеративным искусственным интеллектом, разработанный компанией OpenAI – ChatGPT 4.

Читать далее
Всего голосов 1: ↑1 и ↓0+1
Комментарии1
Новость

Samsung решила перевести руководителей на шестидневный рабочий график на фоне проблем в бизнесе

Время на прочтение1 мин
Количество просмотров3.5K

Руководители всех подразделений Samsung Group с этой недели будут работать шесть дней в неделю. Решение вызвано резким падением воны, ростом цен на нефть и слабыми финансовыми результатами компании за 2023 год. 

Руководители Samsung Electronics будут работать либо в субботу, либо в воскресенье. Они также пересмотрят бизнес-стратегии своих подразделений, «чтобы адаптироваться к меняющейся деловой среде». 

Читать далее
Всего голосов 7: ↑8 и ↓-1+9
Комментарии26
Статья

Портативное прототипирование электроники

Уровень сложностиСредний
Время на прочтение7 мин
Количество просмотров1.5K

Если при разработке электроники вы часто сталкиваетесь с задачей собрать в кучу россыпь модулей и проводов на столе, чтобы иметь возможность производить отладку в другом месте, эта статья для вас.

Читать далее
Всего голосов 8: ↑10 и ↓-2+12
Комментарии3
Статья

Технология солнечного паруса НАСА нового поколения готова к запуску

Время на прочтение4 мин
Количество просмотров965

Путешествие под парусом в космосе может показаться чем-то из области научной фантастики, но эта концепция больше не ограничивается книгами или большим экраном. В апреле технология солнечных парусов нового поколения, известная как Advanced Composite Solar Sail System, будет запущена на борту ракеты Electron компании Rocket Lab со стартового комплекса 1 в Махии, Новая Зеландия. Эта технология может способствовать будущим космическим путешествиям и расширению наших представлений о Солнце и Солнечной системе.

Солнечные паруса используют давление солнечного света для движения, меняя угол наклона по отношению к Солнцу так, что фотоны отражаются от отражающего паруса и толкают космический корабль. Это позволяет отказаться от тяжёлых двигательных установок, увеличить продолжительность и снизить стоимость полётов. Несмотря на уменьшение массы, солнечные паруса были ограничены материалом и структурой мачт, которые действуют подобно мачтам парусника. Но НАСА собирается изменить концепцию космических парусников будущего.

Читать далее
Всего голосов 1: ↑0 и ↓1-1
Комментарии6
Статья

Linux From Scratch на Zynq UltraScale+ MPSoC

Уровень сложностиСложный
Время на прочтение16 мин
Количество просмотров934

В данной статье я постараюсь описать процесс создания кастомного образа Linux на Zynq UltraScale+ MPSoCс. Каждый необходимый компонент будет собран отдельно с использованием соответствующих утилит. Статья разбита на разделы, которые шаг за шагом знакомят вас с процессом сборки и запуска системы на данной платформе.

Читать далее
Всего голосов 2: ↑2.5 и ↓-0.5+3
Комментарии0

Ближайшие события

Weekend Offer в AliExpress
Дата20 – 21 апреля
Время10:00 – 20:00
Место
Онлайн
Конференция «Я.Железо»
Дата18 мая
Время14:00 – 23:59
Место
МоскваОнлайн
Новость

Llama 3 — новое поколение AI моделей. Open-source конкурент GPT от Meta и интервью Марка Цукерберга

Время на прочтение2 мин
Количество просмотров3.3K

Компания Meta заявила о значительном прорыве в области искусственного интеллекта, представив серию Llama 3. Модель будет доступна в двух версиях: с 8 миллиардами и 70 миллиардами предварительно обученных параметров, что позволит расширить горизонты применения AI.

Llama 3 уже интегрирована в Meta AI, умного ассистента компании. Новые модели способны выполнять задачи в различных областях. Например, благодаря хорошему пониманию нюансов различных языков, Llama 3 может переводить тексты и генерировать диалоги. Судя по информации, опубликованной на сайте Meta, модель может легко справляться с многоэтапными задачами, а процент "лжи" уменьшен по сравнению с предыдущими версиями.

Читайте подробности в статье.

Читать далее
Всего голосов 5: ↑6 и ↓-1+7
Комментарии12
Пост

Вышла Llama 3 

Сегодня выпущена новая SOTA Llama 3 в двух версиях на 8B и 70B параметров. 

Длина контекста 8К, поддержка 30 языков.

 Imagine Flash внутри Llama 3 генерирует картинки в реалтайме, пока вы печатаете запрос! Превью генерации обновляется с каждым символом. 

  • HF: https://huggingface.co/spaces/ysharma/Chat_with_Meta_llama3_8b

  • Blog: https://ai.meta.com/blog/meta-llama-3/

Вы можете потестить 🦙 MetaLlama 3 70B и 🦙 Meta Llama 3 8B с помощью 🔥  бесплатного интерфейса: https://llama3.replicate.dev/

Следите за тестами в моем канале.

В процессе обучения находится модель на 400В+ параметров.

Теги:
+5
Комментарии2
Статья

ОбАСУчиваем дачу. От идеи к проекту

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров1.2K

«Всё намного сложнее, чем кажется на первый взгляд.»

Закон Мерфи.

Дисклеймер: Автор абсолютно уверен, что все поставленные задачи можно было решить иным способом. Лучше, дешевле, умнее, креативнее… Но вышло так, как вышло. Собственно, автор придерживается точки зрения, что обАСУчивание дач — процесс творческий и субъективный: «Я художник, я так вижу». Вместе с тем автор способен также к объективному восприятию информации, а потому открыт для обмена мнениями и опытом, тем более, что творческий процесс продолжается.

Начало здесь.

Итак, «мозг» у нашей «ленивой автоматики» есть. Теперь нужно подобрать «руки и ноги», то бишь исполнительные устройства. Как уже писал выше, сначала думал о соленоидных клапанах. Очень заманчива их простота – подал напряжение, и клапан сработал, снял – вернулся в исходное состояние. Нужно всего два провода. И на первый взгляд таких клапанов на Али – море. Стоимость полдюймовых – чуть ли не от 300р. Исполнение, правда, незащищённое, но можно что-нибудь придумать. Однако почитав отзывы, пришлось отвергнуть этот вариант. Основная проблема – сильно греются. Пишут, что за 10 минут работы может нагреться до 60-70 градусов. Очевидно китайские братья сэкономили на обмотке. Для кратковременных включений оно ничего, но мне-то нужно чтобы клапан работал часами. Если клапан сгорит, а мы в отъезде, то заменить его будет некому, и дача останется без полива.

Потому пришлось переключиться на другой вариант – шаровой клапан с электродвигателем. В АСУ ТП такой называется MOV – motor operated valve. Для его работы нужно уже три провода – один на команду открытия, второй на команду закрытия, и общий. Таких тоже на Али много. Есть и двухпроводное исполнение, где обратный ход обеспечивается конденсатором. Но насколько надёжен такой конденсатор? В общем, решил не искушать судьбу, и взял трёхпроводные клапана, в защищённом исполнении. Работают от 12 вольт. Стоимость каждого - в районе 1200р. Купил три — поскольку выходов «открытый коллектор» у контроллера пять, два решил оставить про запас, в расчёте на будущие задумки и расширения. Но всё равно, хотя такой клапан и надёжен, хотелось бы контролировать – течёт через него вода или нет? Снова выручил Алиэкспресс. Там же нашлись полдюймовые дачтики потока. Стоят недорого, 130р., и отзывы, вроде, неплохие. Таким образом, стала вырисовываться общая схема – управляем насосом и тремя клапанами, расход через каждый клапан контролируем датчиком. В исходном положении все клапана открыты, по необходимости закрываем один или два.

Читать далее
Всего голосов 3: ↑4.5 и ↓-1.5+6
Комментарии5
Новость

Инопланетная жизнь может оказаться фиолетовой

Время на прочтение2 мин
Количество просмотров3.7K

Мы не можем этого знать, но теперь во время охоты за внеземной жизнью придётся искать и фиолетовые бактерии. Так считает группа астрономов, регистрирующих химический состав, уникальный для организмов лавандового цвета. Эти микробы могли доминировать на Земле на ранних этапах истории нашей планеты и хорошо подходят на роль родоначальников жизни на далёких мирах, которые обращаются вокруг тусклых красных звёзд, меньших, чем наше Солнце.

Соавтор исследования Лиза Кальтенеггер (Lisa Kaltenegger) из Корнельского университета говорит: "Последняя попытка составить каталог отчасти направлена на создание базы данных признаков жизни, чтобы наши телескопы не пропустили жизнь, если она окажется не совсем похожей на то, что мы видим вокруг себя каждый день. Фиолетовые бактерии могут выживать и процветать в таких разнообразных условиях, что легко представить, что на разных мирах фиолетовый цвет может быть новым зелёным".

Читать далее
Всего голосов 4: ↑5.5 и ↓-1.5+7
Комментарии12
Статья

Моё участие в конференции Сканпорт Datamobile 2024

Уровень сложностиСредний
Время на прочтение5 мин
Количество просмотров270

Я программист 1С и меня пригласили на партнерскую конференцию Сканпорт, которая проходила 18 апреля 2024 в красивом историческом месте — Московском императорском яхт-клубе. Делюсь личными впечатлениями.

Читать далее
Всего голосов 2: ↑3 и ↓-1+4
Комментарии0
Статья

Что такое удержание сотрудников

Время на прочтение8 мин
Количество просмотров2.9K

Удержание сотрудников становится одним из ключевых приоритетов для компаний по всему миру. Это не просто о том, чтобы держать сотрудников в компании как можно дольше; это о создании такой среды, где каждый чувствует себя ценным, вовлечённым и мотивированным продолжать вносить свой вклад в общий успех. В условиях жесткой конкуренции за таланты, способность компании удерживать своих лучших работников может стать решающим фактором её рыночного успеха и устойчивого развития.

Удержание персонала напрямую влияет на такие аспекты бизнеса, как снижение затрат на найм, обучение новых сотрудников и потерю интеллектуального капитала. Более того, высокий уровень удержания способствует улучшению морального духа в коллективе, что, в свою очередь, ведёт к повышению продуктивности и общей эффективности работы.

Читать далее
Всего голосов 16: ↑11 и ↓5+6
Комментарии8
Пост

Команда Google Cloud представила несколько курсов по генеративному искусственному интеллекту для слушателей разного уровня знаний.

Обучающих программ три:

  • вводная часть, посвящённая основам технологии ИИ (бесплатная);

  • средняя часть, ориентированная на разработчиков приложений, дата-сайентистов, девопсов, инженеров по безопасности и других специалистов. Здесь рассказывается о фирменной платформе Gemini и её применении в различных IT-задачах;

  • продвинутая часть курса подойдёт для ИИ/ML-инженеров, которым тоже расскажут, как и зачем им интегрировать Gemini в свои рабочие процессы.

Помимо этого, у компании есть партнёрская инициатива Google Cloud Affiliate Employers, через которую она поможет соискателям с правильными навыками в поиске работы.

Теги:
+1
Комментарии0
1
23 ...
Изменить настройки темы