Как стать автором
Обновить
Сначала показывать

Инновации «на полке»: технологии, которым нашли применение спустя много лет после изобретения

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров3.8K

Технологии меняют мир. Это становится заметнее всякий раз, когда на рынок выходит смартфон следующего поколения, а на дорогу выезжает новая модель электромобиля. Прорывные научные изобретения порождают новые продукты, и вместе с ними в жизнь приходит будущее в том виде, в котором его описывали фантасты.

Мы поддерживаем много научных проектов разной степени сложности и «фундаментальности». Некоторые уже могут похвастаться результатами и прототипами, а у других до практического применения еще долго. Но инвестиции в науку — это вложения, результат которых может быть не виден «широкой публике» еще долго: не всегда революционные технологии воплощаются в популярный продукт сразу после изобретения. Некоторым инновациям требуются многие десятилетия, чтобы найти дорогу к потребителю.

Попробуйте, не заглядывая под кат, угадать, что за девайс на заходной картинке и сколько ему лет.

Читать далее
Всего голосов 5: ↑5 и ↓0+5
Комментарии10

Как автоматизировать переобучение моделей?

Уровень сложностиПростой
Время на прочтение13 мин
Количество просмотров3K
Меня зовут Денис, я управляю разработкой и внедрением моделей машинного обучения в «Газпромбанке» в розничный бизнес. Наша команда ML-инженеров работает в связке с DevOps, мне помогает мой коллега Виталий VitaliyF. Он готовит инфраструктуру для обучения и переобучения моделей и среды, где моделисты разрабатывают код и выкатывают его для запуска в проме.

Перед нами стояла задача организовать переобучение моделей таким образом, чтобы можно было вести несколько процессов параллельно, а также оптимизировать трудозатраты и время на валидацию и поддержку ML-моделей.

Нетривиальность задачи была в том, что автоматизировать переобучение моделей нам нужно с соблюдением условий регуляторки. В связи с этим нам важно поддерживать особый workflow жизненного цикла СУМО — системы управления машинным обучением. Для этого нужно завести модель в реестр и отвалидировать её согласно рекомендациям ЦБ, т.е. пройти трудоёмкий и затратный по времени этап, далее проверить её на уязвимости, недокументированные возможности (это уже требования ИБ банка) и уже потом катить её в прод на Kubernetes. Причём сканирование и проверку на безопасность проходят код и веса модели, а документация модели и её воспроизводимость контролируется центром независимой валидации. Мы придумали, как сократить время переобучения моделей и сделать процесс валидации более быстрым и удобным.

image
Читать дальше →
Всего голосов 17: ↑17 и ↓0+17
Комментарии5

Квантовые точки: как их изобрели и зачем они нужны человечеству

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров10K

Нобелевскую премию по химии в 2023 году получили сразу три учёных за одно открытие. Мунги Бавенди, Луис Брюс и Алексей Екимов удостоились высшей научной награды за открытие и синтез квантовых точек — полупроводниковых нанокристаллов с уникальными оптическими и электронными свойствами. Квантовые точки находят или в скором времени найдут применение в самых разных сферах: от производства дисплеев до солнечной энергетики и биомедицины. Мы изучили десяток научно-популярных статей и обзоров, чтобы разобраться, что необычного в этих точках, как их открыли, как используют и планируют использовать уже в ближайшем будущем. 

Читать далее
Всего голосов 13: ↑12 и ↓1+16
Комментарии3

Свет, камера, ИИ: эволюция искусственного интеллекта в кинематографе

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров1.9K

Поп-культура — зеркало общественных настроений. В книгах, фильмах, музыке, комиксах и компьютерных играх часто находят отражение не только сами исторические события, но и рефлексия авторов произведений об этих событиях. Недавно в Голливуде произошло одно из таких: забастовка Гильдии сценаристов закончилась их победой. Среди прочего сценаристы добились от киноиндустрии обещания не заменять их труд работой ИИ. Беспрецедентная победа человека над машиной! Любопытно, как теперь роботы и социальные утопии о будущем будут представляться сценаристами в сериалах и фильмах. Пока такие истории ещё только рождаются в киностудиях по всему миру, а мы решили заглянуть в прошлое и посмотреть, как сценаристы и режиссеры представляли себе технологию искусственного интеллекта и как отношение к ней менялось с течением времени.

Читать далее
Всего голосов 6: ↑5 и ↓1+5
Комментарии3

Как мы используем NLP в банке

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров4.2K
Изначально у нас была витрина, в которой лежали данные о платежах пользователей банка.

Это данные оплаты различных штрафов, пошлин, налогов и так далее. Такая информация потенциально может быть полезна для разных банковских сервисов. Например, если человек часто платит штрафы ГИБДД, значит, у него есть автомобиль, и это полезно знать для многих вещей вроде кредитного скоринга или понимания, что он может легко уехать в соседний регион и сделать «нетипичную» транзакцию в банкомате. Это позволяет, к примеру, эффективнее проводить фрод-мониторинг по картам и нетипичному месту проведения операции, что привлекательно и для банка, и для клиентов. Таких классов — сотни, то есть в идеале надо пытаться понять по документам платежа смысл действия.

image

Сначала мы просто искали слова вроде «авто» правилами, а потом перешли на NLP-подходы.

Natural Language Processing чаще всего используется в банках для автоматизации обработки заявок и анализа входящих документов, чтобы их маршрутизировать или классифицировать.

Конечно, это можно было бы делать и руками, но тогда это стало бы очень долго и дорого.
Читать дальше →
Всего голосов 16: ↑16 и ↓0+16
Комментарии2

Технофобия: как люди боялись инноваций, но они так и не привели к концу света

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров5.1K

Бурное развитие нейросетевых технологий спровоцировало у людей серьезные опасения, что искусственный интеллект заберёт их рабочие места. И если раньше считалось, что такие технологические скачки могут угрожать только тем, кто выполняет простую и монотонную работу, то сегодня в «группе риска» представители интеллектуальных профессий: аналитики, писатели, художники, дизайнеры, фотографы и т. д. Другое опасение, связанное с нейросетями: злоупотребление функциями умных машин снизит интеллектуальные способности людей и сделает их беспомощными. Вместе с тем история показывает, что люди далеко не впервые опасаются инноваций и того, как новые технологии повлияют на их здоровье и благосостояние. Вспоминаем, как люди боялось печатных станков, телефонов, электричества и думали, что человеческое тело не перенесёт поездку в поезде.

Читать далее
Всего голосов 23: ↑19 и ↓4+19
Комментарии14

Как мы создавали self-service функционал проверки качества данных для ML-моделей

Уровень сложностиПростой
Время на прочтение10 мин
Количество просмотров2.2K

Привет! Продолжу рассказ о том, как мы превращаем банк в «биг дата» — организацию. Очевидно, что чем больше данных использует компания, тем больше зависит от их качества. Но, зачастую, вопросам качества данных при разработке витрин уделяется недостаточно внимания. Это связано с тем, что требования к качеству данных не фиксируются в бизнес‑требованиях, а разработчик витрины/инженер данных не всегда досконально знает предметную область. Будущее — за организацией контрольных мероприятий в контуре бизнес‑заказчиков. Этот тренд получил название Self‑Service функции. У нас в Газпромбанке по такому принципу строится проверка качества данных для ML‑моделей. Каждому аналитику/разработчику моделей доступен функционал оценки качества данных любой витрины. Рассказываю, как выстроили такую схему работы.

Читать далее
Всего голосов 8: ↑6 и ↓2+5
Комментарии6

Странная робототехника: самые необычные и не всегда полезные роботы, придуманные людьми

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров4.8K

Роботы — друзья человека. Создают их обычно для того, чтобы человеку было проще справляться с рутинными задачами (скажем, с поддержанием чистоты в доме) или с трудными, требующими точности и концентрации: например, со сварочными работами на сборочной линии автозавода. Они трудятся в call-центрах, помогают автоматизировать то, на что обычно уходят тонны человеческого времени и вообще приносят всяческую пользу.

Однако бывают случаи, когда люди создают роботов просто потому что могут. У таких изделий не всегда есть понятное практическое назначение, а их главная отличительная черта — странность. И таких немало!

Читать далее
Всего голосов 13: ↑11 и ↓2+11
Комментарии3

M-Pesa: чем кончилась история с сотовым оператором, который пошёл в банкинг

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров5.8K
«Кремниевая саванна» — такое прозвище сравнительно недавно закрепилось за Кенией. В этой африканской стране ещё совсем недавно 75% населения трудилось на земле, а подавляющее большинство жителей освещало глиняные дома керосином. И всего за несколько лет она стала одним из центров цифровых финансовых инноваций. Ключевую роль в этом сыграл сервис мобильных переводов M-Pesa, который сегодня входит в число самых влиятельных финтех-проектов мира с миллионами клиентов не только в Африке, но и в других странах.

image
Типичный «офис» агента M-Pesa где-то в кенийской глубинке. Решётка на окне — типовой дизайн любой торговой точки Кении, где есть наличные.
Читать дальше →
Всего голосов 18: ↑17 и ↓1+19
Комментарии2

DeepTech дайджест: квантовую сеть протянут в Сочи, новый суперкомпьютер на 10 Пфлопс, ДНК-чипы для хранения данных

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров1K

Привет! Собрали новости про квантовые исследования, искусственный интеллект и новые проекты.

В России создали наносенсоры для бесконтактных замеров температуры в открытом космосе

Российские ученые создали светящиеся наночастицы, которые можно применять для высокоточных замеров сверхнизких температур. Эти наносенсоры идеально подходят для проведения бесконтактных измерений температур в открытом космосе, Наносенсоры разработала группа российских физиков под руководством научного сотрудника Санкт-Петербургского государственного университета Ильи Колесникова. Наночастицы из оксидов ванадия и лютеция с вкраплениями ионов неодима обладают люминофорными свойствами: они способны поглощать падающее на них инфракрасное излучение и повторно излучать его.

Источник

Магистральную квантовую сеть продлят до Сочи в 2024 году

Магистральную квантовую сеть планируется продлить до Сочи в 2024 году. 

Кроме того, сеть будет продлена в 2024 году до Челябинска и Екатеринбурга. В текущем году квантовые сети соединят Москву, Воронеж, Ростов-на-Дону, Нижний Новгород, Арзамас и Казань. Общая протяженность сети превысит 2500 тыс. км.

Источник

Читать далее
Всего голосов 4: ↑3 и ↓1+2
Комментарии0

Эластичный DAG или «гнём, где не гнулось»

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров3.1K

Всем привет, на связи IT-сообщество Газпромбанка, и меня зовут Грошев Павел. Я занимаюсь разработкой на языке программирования Python, и уже больше года, создаю загрузчики внешних данных для нашей DataFactory – внутрибанковской платформы больших данных.

Сегодня я расскажу, об одном интересном механизме, который, как мне кажется, может упростить жизнь разработчиков и/или команд поддержки работы DAGов Airflow и ETL-процессов.

Заинтересовали, ныряю!
Всего голосов 11: ↑11 и ↓0+11
Комментарии8

Технодайджест: ростовский суперкомпьютер, магнитная лента на 50 ТБ, интроспективный искусственный интеллект

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров1.7K

Привет! Собрали новости российских и зарубежных СМИ на тему компьютерных наук, искусственного интеллекта и исследований с квантовыми компьютерами.

В Ростовской области создают суперкомпьютер, работающий на частоте 1 трлн герц

Фотонный суперкомпьютер, создаваемый учеными Научно-исследовательского центра супер ЭВМ и нейрокомпьютеров в Таганроге в рамках научной программы НЦФМ, будет работать на частоте в 1 ТГц, или триллион герц. Самый быстрый на сегодняшний день электронный процессор работает на частоте 5 ГГц, а фотонный компьютер будет работать на частоте на три порядка больше - 1 ТГц. Это значит, что потенциально ученые смогут ускорить работу компьютера примерно в 300 раз.

 В МГУ открыли новый суперкомпьютер, решающий задачи ИИ

Компьютер с новой архитектурой, основанной на активном использовании графических процессоров, составит единый вычислительный кластер с суперкомпьютером «Ломоносов-2». Суммарная производительность нового суперкомпьютера составит 400 AI Петафлопс. Архитектура компьютерной системы была «вдохновлена» передовыми образцами реализованных проектов суперкомпьютеров в лучших университетах мира, а используемые технологии основаны на практиках и существующих разработках ведущих производителей.

Посмотреть, что там в мире делается
Всего голосов 8: ↑5 и ↓3+2
Комментарии1

Медичи: семья, которая изобрела современные банки

Уровень сложностиПростой
Время на прочтение8 мин
Количество просмотров15K
image

Чтобы понять, что происходит с банками сейчас, стоит посмотреть, а как их вообще изобретали.

Семья Медичи, прародители современных банков, ещё в конце XIV века сделали следующее:

  • Смогли обойти библейский запрет на ростовщичество (но так делал каждый второй).
  • Создали первую холдинговую структуру, что дало возможность не обмениваться деньгами между городами, а делать клиринговые операции.
  • Децентрализовали управление и активы, что очень защитило их от политики на местах.

То есть именно эта семья поняла, что нужно заниматься не только кредитованием бизнеса, не только обменом валюты, но и всеми торговыми транзакциями.

Надо сказать, что аналог SWIFT'а тех лет — так называемые таволи, банки, работающие на городских площадях, где при свидетелях вносились записи в книги. Поскольку они не обладали крупной филиальной сетью, их бизнес был не очень устойчивым.

А ещё Медичи — это те самые люди, благодаря которым мы знаем черепашек-ниндзя: они всячески поддерживали художников и скульпторов. Это был самый эффективный метод пиара тех лет. Так, Козимо де Медичи взял под своё покровительство Донателло, а Лоренцо ди Пьеро де Медичи заметил молодого Микеланджело и привлёк его к архитектуре Флоренции.

Разумеется, всё это семья делала не просто так, а потому что они настойчиво и целеустремлённо захватывали влияние и потом защищали свои инвестиции.
Читать дальше →
Всего голосов 47: ↑43 и ↓4+52
Комментарии11

Ход программиста: кастомизировали для разработчиков известные настолки

Уровень сложностиПростой
Время на прочтение4 мин
Количество просмотров2.5K

Настольные игры — не только способ развлечься в компании друзей. Во всем мире их используют для обучения, тимбилдинга, погружения в рабочие задачи, знакомства с новыми процессами и технологиями. В Газпромбанке решили разработать собственные настолки — создавать их помогают разработчики и тимлиды. Мы в них играем сами — на митапах и специальных вечерах. При этом собираются команды из разных департаментов: так можно познакомиться друг с другом. А еще берем эти настолки на внешние мероприятия — так люди могут лучше узнать о задачах, которые стоят перед сотрудниками банка, и о наших процессах. Рассказываем, как и во что играют в Газпромбанке.

Читать далее
Всего голосов 7: ↑4 и ↓3+1
Комментарии1

Kubernetes: продолжаем говорить о контейнерах и архитектуре

Уровень сложностиСредний
Время на прочтение18 мин
Количество просмотров5.5K

Каждый раз залипаю на анимацию работы Raft-протокола

В прошлый раз мы говорили о контейнерах, механизмах Namespace и о том, как это всё работает.

Сегодня мы пойдём дальше — к системам оркестрации, так как нам мало просто иметь контейнер. Нам нужно управлять сетью, распределять нагрузку и вовремя поднимать упавшие контейнеры и свои собственные компоненты.

Попробуем немного отойти от классического «yaml-программирования» и заглянуть под капот.

Коснёмся CAP-теоремы, важности ETCD и причинах его устойчивости к split-brain-проблеме. А ещё посмотрим, почему Kubernetes API можно распределить на кучу инстансов, работающих одновременно, а Controller Manager может работать только в одном экземпляре за раз.

Вот о том, как всё это работает в Kubernetes, кто и зачем тыкает в API, мы сегодня и поговорим.
Читать дальше →
Всего голосов 18: ↑18 и ↓0+18
Комментарии0

Дедупликация текстов: поиск неполных дубликатов

Уровень сложностиПростой
Время на прочтение6 мин
Количество просмотров2.6K
image

Нам надо искать неполные дубликаты.

При анализе данных могут возникнуть проблемы, если в DataFrame присутствуют дубликаты строк.

Самый простой способ выявить и удалить повторяющиеся строки — это дропнуть их с помощью Pandas, используя метод drop_duplicates(). Но как найти неполные дубликаты, не размечая при этом всех текстовых пар и избегая ложноположительных ошибок?

Нам нужен был такой алгоритм ML, который хорошо масштабируется и работает с пограничными случаями, например, когда разница в парах текстов — только в одной цифре.

Я занимаюсь задачами обработки естественного языка в Газпромбанке. Вместе с DVAMM в этом посте расскажем, какие методы дедупликации мы используем и с какими проблемами столкнулись на практике при детекции неполных дубликатов.
Читать дальше →
Всего голосов 17: ↑17 и ↓0+17
Комментарии2

Зачем нужны облака и как правильно их использовать

Уровень сложностиПростой
Время на прочтение12 мин
Количество просмотров6.6K
image
На этой диаграмме хорошо видно, почему облачная инфраструктура позволяет гарантировать доступность вашего проекта

Есть хорошая фраза: «Нет никаких облаков, есть просто чужие вычислительные мощности».

Эту мысль стоит всегда держать где-то на заднем плане, когда планируешь развитие своей инфраструктуры. Облако — это не волшебная коробочка, которая гарантирует 100-процентную неубиваемость сервисов и их доступность. Это скорее история про быстрое получение почти произвольного объёма ресурсов ровно на тот период, когда они вам нужны. Где-то в бэкенде всё равно крутятся те же самые сервисы, выходят из строя и заменяются жёсткие диски. Просто теперь большинство этих задач — не ваша головная боль.

Привет, меня зовут Олег Вознесенский, и я руководитель разработки отдела развития инфраструктуры для анализа данных в Газпромбанке. Сегодня я попробую рассказать про то, какие основные выгоды можно получить от облаков, какими они бывают и как правильно строить свою инфраструктуру, чтобы потом не было мучительно больно. Поговорим о классической дилемме питомцев и домашнего скота и о том, как правильно всё это запекать.

Если в ядре вашей инфраструктуры до сих пор есть сервера, которые тщательно настраиваются вручную уже шестым поколением бородатых людей в свитерах, то пост может быть вам полезен.
Читать дальше →
Всего голосов 27: ↑27 и ↓0+27
Комментарии3

Когда руководитель у нас может сам прийти к вам с повышением зарплаты

Уровень сложностиПростой
Время на прочтение5 мин
Количество просмотров5.7K
image

Представим, что ваше желание уволиться можно описать одним числом. Что будет влиять на него? Понятно, соответствие зарплаты ожиданиям. Потом — ваш комфорт в коллективе, адекватность руководителя. Расстояние до офиса, если вы ездите в офис, или до ЦОДа, если вы ездите в ЦОД, возраст, срок последнего повышения и так далее.

В этой модели всегда было слабое место — сложно посчитать совокупность влияния людей на вас. В целом-то всё просто: если вы работаете с теми, кто вам неприятен, то в зависимости от частоты взаимодействий желание уволиться растёт.

Следующий фактор: когда на новое место работы уходит кто-то, с кем вы сработались, ваш шанс на увольнение также резко растёт. Потому что он позовёт к себе — или потому что у вас уменьшится число людей, с кем вам было комфортно.

Мы не можем сказать, кто и с кем сработался. Таких источников данных у нас просто нет. Но мы сделали допущение о том, что если сотрудники плотно друг с другом взаимодействуют, то уход одного сотрудника увеличит вероятность ухода другого. И дальше на основании этого допущения составили граф всех сотрудников, в котором учли плотность взаимодействия между ними.

И знаете что? Наша модель начала предсказывать увольнения за 3 месяца с точностью около 70%. В смысле, из тех, кого модель разметила на месяц вперёд подтвердилось 73% случаев (точность), при этом модель находит 40% от всех увольнений (полнота).

Теперь мы можем с этим что-то делать.

Естественно, у этой модели огромное количество ограничений. Сейчас мы с DVAMM про всё это расскажем.
Читать дальше →
Всего голосов 22: ↑17 и ↓5+16
Комментарии14

Data Quality в банке — знаем цену каждой ошибки

Уровень сложностиПростой
Время на прочтение11 мин
Количество просмотров1.9K

Финансовый сектор уже давно одна большая "дата", когда банк принимает решение о том, выдать ли человеку или компании кредит, он анализирует сотни метрик. Я руковожу стримом Data Quality в Газпромбанке и расскажу о том, как мы решаем проблемы при интеграции с внешними источниками информации, какие оценочные метрики используем и как экспериментируем с моделями, прогоняя неверные данные.

Откуда берутся ошибки и чем внешние источники данных отличаются от внутренних

Чем больше данных, тем больше проблем, связанных с их качеством, причем к ошибкам может привести огромное количество причин.  Некоторые — банальные. Например, оператор при вводе персональных данных неправильно перепечатал ФИО из паспорта. Есть ошибки в проектировании систем. Скажем, разработчики проигнорировали требование к длине поля ввода данных. Например, поле «Паспорт выдан» ограничили 35 символами. Понятно, что нужно больше, но в системе сохраняются только первые 35 введенных символов: «ФМС Тверского района по городу Моск». Бывает, не учли, что какие-то данные вообще надо сохранять, а они потом потребовались. Например, пол клиента. Могут возникнуть сложности, связанные с потерей части данных при передаче информации из системы в систему в ходе ETL/ELT-процессов. При этом стоит разделять проблемы с качеством внутренних данных, которые находятся во внутрикорпоративных системах, и внешних, поступающих из сторонних источников. У нас в банке отлажены процессы по улучшению качества данных (КД), поэтому оно постоянно растет и стабильно выше, чем КД из внешних источников.

еще про данные
Всего голосов 4: ↑2 и ↓20
Комментарии1

Худшие практики разработки и архитектуры

Уровень сложностиПростой
Время на прочтение7 мин
Количество просмотров20K
image

Я собрал худшее из худшего! Оказалось, что хороших практик — море, и разбираться в них долго, а вот плохих, реально плохих, — считаные единицы.

Понятно, что плохие практики не отвечают на вопрос: «А как делать-то?» — но они помогают быстро разобраться в том, как не делать.

Мы часто спорим про архитектуру и хотим друг от друга знания разных правильных практик проектирования, лучшего мирового опыта и вот этого всего. Понятно, что в реальном мире это совсем-совсем не так. И худших практик часто достаточно, чтобы начать договариваться, как не надо.

Итак, мой любимый антишаблон — поток лавы. Начинается всё просто: в новый проект можно добавить код из старого проекта копипастой. Он там делал что-то полезное, пускай делает почти то же самое полезное в новом проекте. Вот только нужно закомментить один кусок, а в другом месте — чуть дописать. Примерно через три переноса без рефакторинга образуются большие закомментированные участки, функции, которые работают только с частью параметров, сложные обходы вроде «выльем воду из чайника, выключим газ, и это приведёт нас к уже известной задаче кипячения чайника» и так далее.

Это если команда одна. А если разработчики на пятом проекте новые, то начинается самое весёлое — этот сталактит надо ещё прочитать.

Очень часто я вижу лава-код в проектах аутсорсинговых компаний, потому что они используют свою кодовую базу по разным заказчикам как такой своеобразный иннерсорс. А «междисциплинарный» код как раз хорошо обрастает отключаемыми участками и переопределяемыми функциями.
Читать дальше →
Всего голосов 43: ↑43 и ↓0+43
Комментарии28

Информация

Сайт
www.gazprombank.ru
Дата регистрации
Дата основания
Численность
свыше 10 000 человек
Местоположение
Россия