Перед началом доклада я сделал небольшой дисклеймер — и в текст его тоже включили. Я рассматривал только базы данных для операционных нагрузок (OLTP). Тайминг доклада стандартный — 35 минут. Если начать перечислять все виды БД и упоминать хотя бы по паре названий и свойств, то на перечисление не хватит времени доклада. Поэтому выбрал достаточно ограниченное подмножество и в нем несколько ключевых свойств. Согласен что тема сама по себе намного более обширна, но на ее раскрытие нужно намного больше времени.
Привет! Спасибо за обзор! Я бы хотел уточнить что YDB не только serverless решение. Это Open Source продукт, который доступен и для on-premise инсталляций и как управляемый сервис с dedicated/serverless моделью потребления.
Извините за сарказм, но "если бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича, да взять сколько-нибудь развязности, какая у Балтазара Балтазарыча, да, пожалуй, прибавить к этому ещё дородности Ивана Павловича — я бы тогда тотчас же решилась".
Понятно что хочется взять лучшее от всех продуктов на рынке СУБД, которые были произведены за последние 50 лет и воплотить их в одном. Но это не так просто сделать. Безусловно мы будем развивать наш проект, будем пристально следить за наиболее востребованными фичами, смотреть на запросы пользователей.
Это не так. Вы приводите только один из множества примеров типов нагрузки, они могут быть совершенно различными. Соотношения чтение/запись также могут быть очень разными.
Например базовый набор нагрузок для теста KV СУБД YCSB содержит несколько типов соотношений чтение/запись: 50/50, 95/5, 100/0.
ClickHouse это аналитическая СУБД. YDB - база данных для операционной (OLTP) нагрузки. То есть обеспечивает большой и легко масштабируемый поток транзакций, каждая из которых читает/пишет/изменяет небольшой объём данных, при этом каждая из транзакций выполняется за относительно небольшое время, так как запросы часто интерактивны.
У нас клиентская балансировка, первый запрос который выполняет SDK — это ListEndpoints. То есть сначала выполняется Discovery, далее клиент устанавливает соединения с доступными для базы ендпойнтами.
Это действительно "характерное" время в несколько сотен мс. Связано с набором операций, которые нужно выполнить — заблокировать шард на запись, дождаться разбора и выполнения всех операций в очереди шарда, выполнить компакшн, ... (это не весь пайплайн, целиком пайплайн достаточно большой). Системная таблетка SchemeShard, которая отвечает за всю работу со схемой данных, ждёт оповещения о завершении всех этих работ, завершает схемную операцию, публикует изменения.
В докладе я затрагивал только продукты с открытым исходным кодом. Для PostgreSQL, MySQL выход в Open Source это 90-ые.
Перед началом доклада я сделал небольшой дисклеймер — и в текст его тоже включили. Я рассматривал только базы данных для операционных нагрузок (OLTP). Тайминг доклада стандартный — 35 минут. Если начать перечислять все виды БД и упоминать хотя бы по паре названий и свойств, то на перечисление не хватит времени доклада. Поэтому выбрал достаточно ограниченное подмножество и в нем несколько ключевых свойств. Согласен что тема сама по себе намного более обширна, но на ее раскрытие нужно намного больше времени.
Привет! Спасибо за обзор! Я бы хотел уточнить что YDB не только serverless решение. Это Open Source продукт, который доступен и для on-premise инсталляций и как управляемый сервис с dedicated/serverless моделью потребления.
Это два разных продукта с разной кодовой базой.
Поздравляю!
Постепенно их количество на рынке вырастет, стандартными способами
Пока хранимых процедур нет.
Спасибо за обратную связь, важность и нужность ETL инструментов понятна.
Извините за сарказм, но "если бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича, да взять сколько-нибудь развязности, какая у Балтазара Балтазарыча, да, пожалуй, прибавить к этому ещё дородности Ивана Павловича — я бы тогда тотчас же решилась".
Понятно что хочется взять лучшее от всех продуктов на рынке СУБД, которые были произведены за последние 50 лет и воплотить их в одном. Но это не так просто сделать. Безусловно мы будем развивать наш проект, будем пристально следить за наиболее востребованными фичами, смотреть на запросы пользователей.
Можно посмотреть доклад "Распределенные транзакции в YDB".
Чтобы можно было собрать open source инструментом cmake, без скачивания бинарника ymake.
Да, экспериментальная версия уже доступна https://github.com/yandex-cloud/ydb-java-sdk/tree/master/jdbc
Это не так. Вы приводите только один из множества примеров типов нагрузки, они могут быть совершенно различными. Соотношения чтение/запись также могут быть очень разными.
Например базовый набор нагрузок для теста KV СУБД YCSB содержит несколько типов соотношений чтение/запись: 50/50, 95/5, 100/0.
Необязательно по ключу. KV это только один из возможных паттернов доступа.
ClickHouse это аналитическая СУБД. YDB - база данных для операционной (OLTP) нагрузки. То есть обеспечивает большой и легко масштабируемый поток транзакций, каждая из которых читает/пишет/изменяет небольшой объём данных, при этом каждая из транзакций выполняется за относительно небольшое время, так как запросы часто интерактивны.
У нас клиентская балансировка, первый запрос который выполняет SDK — это ListEndpoints. То есть сначала выполняется Discovery, далее клиент устанавливает соединения с доступными для базы ендпойнтами.
На бессерверный режим YDB действуют специальные тарифы, в рамках которых определенный объем услуг не тарифицируется.
Каждый месяц не тарифицируются первые:
1 000 000 операций (в единицах Request Unit);
1 ГБ/месяц хранения данных.
Хранение данных, свыше 1 ГБ в месяц стоит 21,3800 ₽ за 1 ГБ в месяц.
То есть до определенного уровня потребления действительно можно пользоваться "нахаляву". Без скрытых списаний.
Это действительно "характерное" время в несколько сотен мс. Связано с набором операций, которые нужно выполнить — заблокировать шард на запись, дождаться разбора и выполнения всех операций в очереди шарда, выполнить компакшн, ... (это не весь пайплайн, целиком пайплайн достаточно большой). Системная таблетка SchemeShard, которая отвечает за всю работу со схемой данных, ждёт оповещения о завершении всех этих работ, завершает схемную операцию, публикует изменения.
Полностью согласен, интеграции для снижения порога входа — один из наших основных приоритетов.
Есть биллинговые системы, которые используют YDB для аккаунтинга данных.