Хранилище S3 – базовый, но очень важный сервис

В портфолио облачных услуг провайдеров объектные хранилища выглядят довольно скромно. Обычно их упоминают в ряду других, более хайповых решений – одной фразой или через запятую. Они не попадают в список технологических трендов, а Gartner не включает их в свой магический квадрант. А между тем эти, казалось бы, базовые инфраструктурные сервисы заслуживают более серьезного освещения, ведь от них в том числе зависит эффективная работа баз данных и успешность резервного копирования. Объектное хранилище – достаточно простое с точки архитектуры решение. В его основе используются более дешевые диски, за счет этого достигается приличная экономия. Например, за хранение 5 Тб фото и видеоконтента для своего e-commerce-сайта ритейлер может заплатить всего лишь порядка 10 тыс. рублей в месяц. Для объектного хранилища характерны определенные свойства, обеспечивающие удобство работы. Во-первых, это наличие метаданных, которыми можно управлять. Для упомянутого фотоконтента такими метаданным могут стать размер, дата, признаки ("люди", "конференции", "предметы" и т.д.). Благодаря им упрощается поиск нужного объекта. Во-вторых, хранилище обладает версионированием – ведением истории изменений файлов. Третьей характеристикой является возможность создания внешних ссылок на размещенные объекты. Для работы объектного хранилища также немаловажен API, как у S3 Amazon (Simple Storage Service – один из старейших и весьма популярных продуктов на рынке). Дело в том, что многие разработчики ИТ- и бизнес-систем (начиная от сервисов резервного копирования, например Veritas, заканчивая системами управления веб-контентом для сайта, например 1С: Битрикс) имеют встроенную поддержку S3 как стандарта в облачных хранилищах. Поэтому каждый уважающий себя облачный провайдер сегодня разрабатывает собственные сервисы, совместные с API AWS. Теоретически объектное хранилище может быть построено в локальной инфраструктуре. Для этого нужно лишь закупить оборудование и настроить файловую систему на базе Ceph. Однако такой вариант встречается достаточно редко. Сегодня компании предпочитают обращаться за услугой к облачным провайдерам, потому что либо уже размещают в публичном облаке прикладные системы, а S3 идет в дополнение к ним, либо потому что по масштабируемости ресурсов упираются в "потолок". В то время как увеличение пространства в облаке фактически не ограничено для клиента, в собственном дата-центре оно будет зависит от занятости дискового пространства другими процессами. В каких случаях используется хранилище S3? Работа со статичным контентом Классический пример – фотографии товаров онлайн-ритейлеров. Такой заказчик может оперировать порядка 30 000 позициями, каждая из которых имеет по 3-4 фотографии для e-commerce-сайта или мобильного приложения. Все фотографии привязаны к конкретному партномеру, характеристики и цене. И все они хранятся в S3, потому что размещение их в базе данных неминуемо повышает нагрузку на нее и снижает скорость работы. В базе хранятся лишь ссылки на иллюстрации и фотоконтент. Хранилище S3 также популярно среди различных медиакомпаний. Они работают с тяжелым статичным контентом, а собственная инфраструктура для такой задачи должна включать целый парк машин и издержки на его эксплуатацию. Использование облачного хранилища позволяет отказаться от этой категории капитальных затрат, платя за облако по мере потребления. Резервное копирование данных Бэкап данных – еще один распространенный сценарий использования S3. На него вместе с хранением статичного контента приходится 95% всех случаев применения объектного хранилища. Резервные копии – это то, к чему клиенты не обращается постоянно, однако без них не обойтись в случае аварии в инфраструктуре. И очень важно, чтобы данные копии не потеряли свою консистентность в процессе хранения. Чтобы добиться максимальной сохранности информации, провайдеры используются распределенные площадки в облаке, на каждой из них лежит по одной копии всех данных клиента. В нашем облаке таких площадок три. Другой мотив, который преследуют клиенты, размещая резервные копии в облаке — это снижение затрат на инфраструктуру. Заказчикам не нужно беспокоиться о свободном пространстве для копий, количество которых может быть весьма большим. Например, у одной сети магазинов суммарный объем бэкапа, хранимого в облаке "КРОК", уже приближается к петабайту. Из-за достаточно строгих требований регуляторов к отчетным документам, ритейлеры обязаны сохранять копии чеков (в том числе термальных слипов) на протяжении пяти лет. Разработка клиентских web-приложений Речь идет про любые ресурсы, в которых на стороне клиента остается фронтенд, а бэкенд хранится в S3, так как для его работы необходимы надежные и производительные ресурсы. Примером подобного web-приложения может стать система корпоративного файлообмена "КРОК Диск". Она может быть установлена в инфраструктуре клиента или использоваться как SaaS-сервис. S3 подходит для подобного продукта лучше, чем что-либо еще, так как в объектном хранилище за счет распределения облачных площадок обеспечивается высокая надежность данных, а также отслеживается версионность документов. Сервис "КРОК Диск" клиенты, такие, как сеть "Эконика", используют для хранения маркетинговых материалов и организации эффективной коллективной работы. Ссылка на источник