Хранение данных *

Пользователи пожаловались на появление старых фото после обновления до iOS 17.5. Некоторые владельцы iPhone сообщают, что удалённые фотографии появляются в альбоме «Недавние». На ту же проблему жаловались и бета-тестеры.

Обычно iOS дает пользователям возможность восстановить удалённые фотографии в течение 30 дней, а потом они удаляются навсегда.

Однако пользователи пишут, что видят снимки, которые удалили «много лет назад». у одного из них фото 2016 года отображались как новое. Ещё один юзер написал, что «около 300» его старых фотографий, некоторые из которых были «компрометирующими», появились на iPad, хотя он удалил их в соответствии с рекомендациями Apple и продал устройство другу. Также описаны случаи, когда на смартфон возвращались фотографии, хотя он не синхронизировался и не использовал iCloud. 

Кроме того, один пользователь указал, что у него восстановились старые голосовые сообщения.

Как обеспечить бесперебойную работу систем и сервисов, чтобы сохранить данные даже во время аварий и катастроф? Для этих целей существует решение Disaster recovery, позволяющее сделать инфраструктуру устойчивой к катастрофам разного рода.

О том, что может привести к катастрофе и как от неё защититься, рассказывает технический директор OXYGEN Михаил Нестеров. В видео — подробный разбор угроз, логика организации Disaster recovery, обсуждение технических нюансов и ответы на каверзные вопросы. Приятного и полезного просмотра!

Этот ролик — запись доклада Михаила на митапе OXYGEN в Санкт‑Петербурге. Подробно про мероприятие можно почитать вот здесь.

А у вас есть опыт организации Disaster recovery? Как вы вообще делаете бэкапы? И какие самые необычные причины аварий встречались в вашей практике? Расскажите об этом в комментариях!

И обязательно подписывайтесь на наш канал в Telegram, там мы не только постим новости про IT, но и рассказываем про облака, дата‑центры и кибербез.

Amazon планирует вложить $148 млрд в центры обработки данных в течение следующих 15 лет, чтобы справиться со спросом на приложения с искусственным интеллектом и другие цифровые услуги. Компания стремится сохранить своё влияние на рынке облачных услуг, где ей принадлежит доля примерно вдвое больше второго игрока — Microsoft.

В 2024 году рост продаж Amazon Web Services возобновился после прошлогоднего спада, поэтому Amazon стремится обеспечить землю и электричество для своих дата-центров. Компания намерена расширить существующие ЦОДы в Северной Виргинии и Орегоне, а также построить новые в Миссисипи, Саудовской Аравии и Малайзии.

Amazon создаёт собственные ИИ-инструменты, чтобы конкурировать с ChatGPT от OpenAI, а также сотрудничает с другими компаниями для поддержки ИИ-услуг на своих серверах. В результате Amazon рассчитывает получить десятки миллиардов долларов доходов, связанных с ИИ.

Однако Amazon, Microsoft и другие компании сталкиваются с проблемой нехватки электроэнергии, а также выступлениями жителей штатов, которые жалуются на шум серверных ферм.

Скидка 20% на комплект сервисов ⚡

Managed Kubernetes, облачные базы данных и объектное хранилище S3.

Запускайте и развивайте веб-проекты любой сложности с помощью отказоустойчивых и масштабируемых сервисов Selectel. До 30 июня подключите три сервиса: Managed Kubernetes, облачные базы данных и объектное хранилище S3 — и пользуйтесь ими со скидкой 20%.

Оплачивайте Managed Kubernetes, базы данных и хранилище по модели pay-as-you-go. Скидка действует в течение всего времени, пока вы используете комплект сервисов.

Как получить скидку?

1️⃣Зарегистрируйтесь в панели управления.

2️⃣Подключите Managed Kubernetes, облачные базы данных и объектное хранилище в подходящих вам конфигурациях.

3️⃣Оставьте заявку в тикет-системе. Напишите, что участвуете в этой акции, и укажите примерную сумму, которую планируете тратить на каждый сервис

4️⃣Дождитесь ответа от поддержки и пользуйтесь сервисами с ежемесячной скидкой 20%.

Подключайте сервисы со скидкой →

С чего начать управление метаданными в облаке?

Конвейеры данных — тренд, уже обросший подходами вроде Data Mesh или Data Streaming. Метаданные в них играют особую роль: повышают качество и доступность данных, например, при поиске. Но вне зависимости от подхода, в работе с метаданными важно учесть два запроса: прозрачность/демократизация данных и безопасность.

Для управления этим балансом в Yandex Cloud появился MetaData Hub — сервис для работы с метаданными. Он позволяет реализовать в облаке популярные сценарии:

• Безопасное подключение к БД. Для защиты подключения важно позаботиться о хранении секретов и настройке прав доступа.

  С этим помогает Connection Manager: пользователи могут делиться подключением к СУБД по ссылке, без необходимости вручную указывать логины и пароли. Все секреты хранятся в секретнице Yandex Lockbox. А управление доступами реализовано на основе RBAC и обеспечивает гранулярность прав.

• Гибридная инфраструктура. В сложных сценариях клиенты могут создавать подключения из облака к сторонней базе, например, on premise, — но в этом случае вопрос безопасности ложится на администратора базы. Облегчить настройку доступа к такой БД также можно через Connection Manager, создав on‑premise‑подключение.

В ближайшее время пользователям MetaData Hub будут доступны функции Schema Registry для упрощения структурирования и управления схемами данных, а также Data Catalog — для описания данных и зависимостей между ними. Сервис бесплатен и находится в стадии Preview.

Как организовать в облаке безопасное хранилище данных, запустить собственные ML-модели и системы скоростной аналитики — обсудим на Union All 

20 марта в Москве и онлайн состоится большая конференция Yandex Cloud для руководителей дата‑проектов и дата‑офисов, а также разработчиков и архитекторов баз данных.

Программа Union All будет посвящена технологиям и эффективным решениям для работы с данными: от создания корпоративных хранилищ в облаке до монетизации данных в конкретных отраслях.

Вместе с приглашёнными докладчиками мы обсудим:

• возможности работы с YandexGPT и запуск собственных ML‑моделей;

• безопасное хранение данных в облаке;

• новые возможности сервиса для визуализации данных DataLens.

Будем рады встрече уже в эту среду на площадке «Синема Парк Мосфильм» и в прямом эфире. Подробная программа и регистрация открыты на сайте Union All.

Как превратить блочное хранилище в объектное — тема доклада на IT-конференции GoCloud про облака 📝

Всем привет! Продолжаем знакомить с программой конференции GoCloud про облака.

📌 Тема: Cloud.ru Evolution Object Storage: как превратить блочное хранилище в объектное

📅 Когда: 21 марта в 14:40 мск

Если вам интересны вопросы масштабирования, версионирования и консистентности в понимании протокола S3 — приходите послушать доклад. Расскажем о том, как написали свое объектное хранилище, какие подходы рассматривали и с какими проблемами столкнулись.

👉 Зарегистрироваться на GoCloud

Что еще интересного есть в блоге:

• Как разработать и запустить приложения с помощью сервисов Cloud.ru Evolution Container Apps

• Технические лидеры «‎Гринатома»‎, «‎Магнита»‎ и «‎М.Видео»‎ поделятся экспертизой 21 марта на IT-конференции GoCloud

• Бесплатный курс по работе с облачными сервисами: осваивайте облака на платформе Cloud.ru Advanced

Интересно, можно ли «здесь и сейчас» имеющимися УФ-лазерами что-то писать на кварцевые диски (с распределённой по объёму взвесью мелкодисперсного технического серебра, если я не ошибаюсь), добившись для начала хотя бы одного-двух гигов за коммерчески доступные деньги — а потом уже покушаться на фемтосекундники и безумные терабайты, как обещает нам не первый год «а-воз-и-ныне-там-5D-запись»?

Кварц дёшев, практически вечен, техническое серебро стоит копейки и количество его там смешное, если не потребуется какая-то ультра-полировка поверхностей и не намудрят каких-то абсурдных параметров (хотя бы тех же габаритов — форм-фактор чуть толще дискеты идеален и от косого взгляда оно уже не переломится) — взлетит как миленькое. Ещё можно контакты на «дискете» сделать и добавить флэшку там же, чтобы не кидаться по всем ящикам «а где у меня темпы и конфиги от этого дистра, блин?», а «прожигать» уже, так сказать, «устаканившиеся» бэкапы. А ещё лучше — гнездо в уголке под оную, чтобы менять её по мере износа.

Короче, не революция, а эволюция. Начинать понемногу, а там ведь, как те же дискеты, от килобайт до мегабайт пройти, то есть от гигабайт до терабайт в нашем случае… и не забыть аппаратную защиту от записи, которая просто выключателем выключает «писательную» мощность. Экологическая ниша долгосрочного хранения данных простых юзеров (той их части, которая об облака уже обожглась больно) — специфическая и требует многих таких вещей не забывать.

А что сейчас с низкоуровневым форматированием хардов? Можно ли, скажем, отключить или как-то пометить убитую сторону, например? Или вообще скомандовать девайсу перенанести служебную разметку, если посыпались ошибки позиционирования?

Как я понимаю, потребуется TTL UART и ломаный протокол команд? Чего там сейчас люди творят на этом поприще?

Эх, верните мне мою FAT с её bad clusters, тотальным host-managed RELO (хотя тогда и слова-то такого не было) и интерливингом секторов… славные времена, когда всё задавалось в файловой системе, а не где-то в чёрном ящике харда :(

Хотя полный host-managed всего на свете в ext4, включая контроль над SMR — это было бы ещё лучше :)

Что-то подумалось, а ведь сейчас мощности проца хватает с головой на обработку VHS в реальном времени, а где не хватает — там шейдеры в помощь.

Вывод видео сделать на SCART не проблема, китайские платы видеозахвата — тоже за пучок пятачок…

Кто-нибудь уже задумывался о софтовой реализации девайса «АрВид», чтобы максимально использовать полосу сигнала и запихнуть на кассету гигов хотя бы пять, приспособив таким образом к делу старый видак?

Или, может, лучше поступить наоборот — не натягивать слона на вантуз, приспосабливая PAL/SECAM для несвойственных ему целей, а взять механику видака и прицепить к головкам кастомный усилитель? Механика у меня где-то валяется, правда, увы, я не аналоговик ни разу :( но если удастся выжать гигов 20-30 на одну кассету, это была бы уже не игрушка, а вполне себе стример для бедных…

Google объявила о планах направить $1 млрд на строительство дата-центра в Великобритании. Центр обработки данных разместят на участке площадью 13 Га в городе Уолтем Кросс, расположенном примерно в 24 км от центра Лондона.

Британское правительство назвало инвестиции Google «огромным вотумом доверия» Великобритании. Инвестиции Google в размере $1 млрд свидетельствуют о том, что Великобритания — это центр передового опыта в области технологий, который имеет огромный потенциал для роста, заявил премьер-министр страны Риши Сунак.

В 2022 году Google приобрела офисное здание недалеко от Ковент-Гарден в центре Лондона за $1 млрд, а также ещё один объект в районе Кингс-Кросс, где корпорация строит новый офис и базируется её дочерняя компания в сфере ИИ — DeepMind.

Новый ЦОД Google поможет удовлетворить спрос на услуги в отраслях ИИ и облачных технологий, а также предоставит критически важные вычислительные мощности предприятиям по всей Великобритании, создавая строительные и технические рабочие места, отметила финансовый директор Alphabet Рут Порат. Численность персонала Google в Великобритании превышает 7 тыс. человек.

В ноябре прошлого года Microsoft объявила о намерении вложить $3,2 млрд в Великобританию. Финансирование запланировано на три года. Средства направят на увеличение мощности дата-центров Microsoft, чтобы поддержать будущие услуги в сфере ИИ.

Система резервного копирования RuBackup 2.0 получила обновление. В новой версии программного обеспечения (ПО) добавлены возможность журналирования событий информационной безопасности и аутентификация посредством Microsoft Active Directory, рассказали информационной службе Хабра в пресс‑службе «Рубэкап».

В свежей версии ПО появились такие обновления:

— в модуле для безагентного резервного копирования VMware vSphere изменены настройки по умолчанию для восстановления виртуальных машин;

— расширена и обновлена документация по ПО;

— стабилизирован механизм переключения с основного сервера RuBackup на резервный и обратно;

— выполнены точечные доработки на основе обратной связи от пользователей и исправлен ряд мелких ошибок, вызывающих некорректную работу системы и её компонентов.

С полным списком обновлений можно ознакомиться по ссылке.

❓100 Вопросов по Машинному обучению (Machine Learning) - Вопрос_10

🔠Вопрос_10: Что такок Tarantool и как он устроен ? (Часть_3)

1. Транзакции: В более новых версиях Tarantool была добавлена поддержка механизма транзакций. Транзакции позволяют группировать несколько операций в единую атомарную операцию, что обеспечивает целостность данных.

2. Разрешение конфликтов: Tarantool предоставляет механизм разрешения конфликтов при работе с репликацией и шардингом. Возможности разрешения конфликтов включают автоматическое разрешение конфликтов на основе временных меток и возможность управления конфликтами пользовательским кодом.

t.me/DenoiseLAB (Еесли вы хотите быть в курсе всех последних новостей и знаний в области анализа данных)

Недавно к нам обратился клиент, у которого потенциально 2 млн пользователей и ему нужно разработать стриминговый сервис, где 10К-20К пользователей могут смотреть медиа-контент в разрешении 4К онлайн.

Фильм 4К весит 5 гб, если 10К пользователей одновременно его смотрят, то это большая нагрузка на хранилище данных. Сложность в том, чтобы сбалансировать трафик на сервис, чтобы система не перегружалась, а пользователи не испытывали дискомфорта.

Чтобы этого добиться, нужно написать ПО таким образом, чтобы плеер или серверная часть отдала контент порционным пользователям. Так мы распределим нагрузку.

Для хранения контента на 2 млн человек, потребуется от 300-400 ТБ устойчивого хранилища. Нужно построить системы хранения данных.

Нужна защита хранилища, если какой-то жесткий диск выйдет из строя, чтобы не потерять лицензионный контент.

Когда 10 тыс. человек запрашивают одно видео или хотя бы два-три видео, это легко решается кешированием. А если эти 10 тыс. смотрит разный контент, то стандартная СХД не справится. Скорость не позволит находить это на жестких дисках.

В реализации нужно:

— Построить архитектуру хранения и обслуживания клиентов СХД с высоким уровнем IOPS — количество запросов, которые приходят к системе хранения данных за секунду. Чем ровнее запросы из разных секторов жестких дисков, тем сложнее и дольше приходится обрабатывать их сервера.

— Построить балансировщики, которые обрабатывают большое количество разного контента на обычных HDD дисках и отказоустойчивых хранилищах.

Релиз Modus BI Cloud

В 2022 году многие BI-вендоры ушли с российского рынка. Малый и средний бизнес остались практически без привычных, полезных и недорогих инструментов аналитики.

Раньше я уже писал, что мы под эту задачу разрабатываем Modus BI Cloud – облачный сервис аналитики данных для малого и среднего бизнеса. Архитектура платформы построена на принципе low-code - пользователь может создавать отчеты, дашборды и аналитические панели любой сложности без навыков программирования. Базовая версия будет бесплатной.

Подробнее об архитектуре продукта я писал здесь

Рад сообщить, что 25 октября 2023 года продукт выйдет на рынок, а 26-го октября в 12:00 приглашаю на вебинар-презентацию с моими коллегами, где вы узнаете:

• зачем вести аналитику, если у вас не огромная корпорация;

• как Modus BI Cloud учитывает все особенности небольшого бизнеса;

• все об архитектуре и функциональных возможностях low-code платформы;

• как мы построили карту развития продукта;

• об отличиях Modus BI и Modus BI Cloud.

Вебинар будет полезен аналитикам, представителям малого и среднего бизнеса и всем, кто ищет функциональное облачное BI-решение.

Участие по предварительной регистрации

Яндекс почта для организации сказала, что "Скоро сервисы организации перейдут в режим просмотра" и предложила три тарифа на выбор БАЗОВЫЙ ОПТИМАЛЬНЫЙ РАСШИРЕННЫЙ

а вы знали, что менеджеру надо сказать: "Я ЗНАЮ ПРО ЗАКРЫТЫЙ ТАРИФ "СТАРТОВЫЙ", для тех кто еще никакой тариф не подключал, там будет только почта, но будет в 2 раза дешевле Базового?

Вот такие они ....

Western Digital отказалась отвечать на вопросы The Verge о проблеме с твердотельными накопителями SanDisk.

Журналисты спросили компанию, почему она до сих пор продаёт проблемные диски, будет ли бесплатно восстанавливать утраченные данные, предупреждает ли покупателей о рисках и т.д.

Глава отдела по связям с общественностью Western Digital Робин Шульц прислал следующий текст:

«В ответ на недавние сообщения об опасениях по поводу конкретных портативных твердотельных накопителей Western Digital мы хотим заверить наших уважаемых клиентов, что принимаем все необходимые меры для решения любых проблем, связанных с продуктами. Мы понимаем важность нашей продукции для клиентов и очень серьёзно относимся к этим вопросам. Мы проводим всесторонний обзор, чтобы получить полное представление о проблемах».

Western Digital не сообщила, когда представит результаты своей работы над проблемами.

Между тем на компанию уже подали в суд. Авторы коллективного иска ссылаются на мошенническую и недобросовестную деловую практику, а также другие нарушения.