Сага про флэш-память в системах хранения

Сага про флэш в системах хранения.

DSSD Flash Module

В данном посте освещена тема развития флэш-систем корпоративного класса в контексте продуктовой стратегии EMC. Дело в том, что, несмотря на то, что рынок корпоративной флэш-памяти уже достаточно зрелый, по сей день в сети ломается немало копий о том, как флэш-память применять правильно. Вот и эта статья была вдохновлена такой микродискуссией, которая недавно произошла в LinkedIn между EMC и Violin о том, как правильно делать флэш-системы.

Причиной спора послужила статья на The Register от бессменного автора раздела Storage Криса Меллора, весьма любящего потроллить вендоров. В этот раз он вложил в уста несуществующего представителя EMC такое признание:

«DSSD says Violin’s right: SSD format is WRONG for flash memory»

Статья была выложена в LinkedIn, но уже с парафразом от Максима Зубарева, директора Violin Memory Russia.

Maxim Zubarev: «Еще один вендор подтвердил подход, который исповедует Violin Memory, создатель рынка флэш-СХД: необходимо проектировать All Flash массивы с нуля и отказаться от SSD. Занавес!»

Максим отличный продавец и умеет ставить правильно акценты. Действительно, проектирование All Flash массива с нуля позволяет выиграть в производительности, и ряде других потребительских характеристик, таких как эффективность компоновки системы хранения в шкафу, плотности хранения, алгоритмах защиты данных, и не только в этом.

Новая система хранения EMC DSSD проектируется с учетом множества ухищрений, чтобы максимально эффективно использовать особенности флэш-памяти. Отказ от старорежимного «дискового»-формфактора и переход к вроде бы более логичному формфактору флэш-плат – это далеко, далеко не единственная архитектурная особенность системы DSSD которая в скором времени, как я надеюсь, удивит рынок своими возможностями.

DSSD Unit

Я бы хотел предложить вам некоторые соображения в защиту использования флэш-памяти в более привычном «дисковом» формфакторе в составе как All Flash систем (XtremIO), так и в составе гибридных систем (VNX, Isilon и VMAX). И тут есть, что сказать на самом деле. Пусть это и является субъективной точкой зрения на ситуацию, именно изнутри одной ИТ-компании.

Ни для кого не секрет, что в основе бизнеса любой зрелой технологической компании, которая живет «на свои кровно заработанные» и чьи акции оцениваются на рынке по ее финансовым показателям, лежит сугубо прагматичный подход, требующий, чтобы технологии не только отвечали требованиям времени, но приносили прибыль. Это с одной стороны требует инноваций, с другой стороны, делает граничным условием технических решений их быстрый выход на уровень прибыльности. Другими словами, надо выводить на рынок новые технологии, за которые заказчики готовы платить «премиальные», по достоинству оценивая их пользу и возможности. То есть в основе технологических инноваций публичных компаний лежит понимание нынешних и будущих потребностей заказчиков и умение предложить правильное решение за правильные деньги. Благо, у EMC заказчиков много, и они делятся с нами своими соображениями и ожиданиями на ежегодных собраниях для ключевых заказчиков.

Так вот. Что же сделала EMC в плане флэшей? Начнем с гибридных систем:

Это очень зрелый рынок, где EMC присутствует давно и прочно. И в блочном, и в файловом сегментах, как в среднем, так и в старшем классах. Потребность в использовании флэша была здесь осознана давно, и EMC стала пионером в этой области, взбаламутив рынок корпоративных СХД в 2008 году, выпустив флэш-диски еще в Symmetrix DMX4.

virtual-lun-technology-in-smc1В 2008 году рынок флэш-хранения был освоен нишевыми игроками. В массе же своей люди знали флэш по дешевым и весьма нестойким к выгоранию флэш-карточкам. Использование флэша для постоянного хранения данных корпоративных приложений было сродни русской рулетке. Я прекрасно помню, как два или три года люди при упоминании флэшей сразу же начинали говорить об их ненадежности. И это очень показательный момент. Больше всего наших заказчиков заботил не вопрос производительности. Главная озабоченность и возражения в отношении флэшей были именно в плане надежности и «обкатанности» технологии.

Поэтому я считаю, что EMC был выбран самый правильный и эффективный способ выхода на рынок флэш, и перевода корпоративных (и консервативных) заказчиков на совершенно новую для них и незнакомую технологию:

  • представить флэш-память в максимально знакомом формфакторе «дисков».
  • использовать максимально проверенные и надежные алгоритмы работы с данными (RAID, микрокод массивов, и т.д)
  • использовать стандартную элементную базу (стандартные дисковые полки, традиционные дисковые массивы)
  • постепенно продвигать гибридное автоматизированное хранение, кэширование на флэш, с постепенным увеличением в массивах доли флэш-памяти

cx-af04-200_2Конкуренты, конечно же, очень ругались на EMC, настраивали заказчиков против флэш-памяти, но постепенно стали вводить эту технологию и у себя. Так что теперь почти в каждой системе хранения от среднего класса и выше флэш диски стали почти что стандартом. Постепенно, технология прочно обосновалась в ЦОД-ах и помогает экономить электричество, достигать высоких уровней производительности малыми силами, экономить место в стойках, и так далее.

Интересно заметить, что изначально EMC вышла на флэш-рынок именно с быстрой памятью SLC (и посланием, что «один SLC флэш диск может заменить до 30-ти обычных»), которая стоит достаточно дорого. И это было сдерживающим фактором. Люди были готовы даже несколько поступиться производительностью флэша, но получить его по более низкой цене.

Поэтому, постепенно на смену сверхбыстрым SLC (single-level cell) дискам, пришли более экономичные и не такие уже быстрые диски eMLC (enterprise multi-level cell). Сейчас рынок  наблюдает появление в корпоративных системах дисков cMLC (Consumer multi-level cell), которые будут ну совсем уж конкурентны по цене и доступны для еще большего числа заказчиков, и в еще большем объеме.

Таким образом, флэш-диски продолжают вытеснять механические. Причем процесс идет в основном за счет снижения цены флэш-памяти и увеличения объемов хранения в одном формфакторе. Производительность флэша остается где-то на втором плане. Т.е. флэш, как бы подразумевается «достаточно быстрым» и все. Сверхвысокие скорости доступа, кастомизированные микросхемы на борту каждой платы, и прочие клевые вещи отступают на задний план перед ценой в подавляющем большинстве случаев, потому что разрыв в производительности флэш-диска и его механического брата все равно более чем десятикратный.

С другой стороны, преимущества способа сохранения данных на флэш-памяти делают неактуальными и неэффективными многие алгоритмы работы с дисковыми носителями, созданными для оптимизации записи и чтения данных с вращающихся пластин.

Например, отпала необходимость в ротационном упорядочивании чтения и записи данных, алгоритмах упреждающего чтения, динамической балансировке нагрузки на зеркальных дисках, итп. Зато открылись другие прекрасные горизонты – более быстрые флэш-оптимизированные алгоритмы RAID, дедупликация продуктивных данных на лету, встроенные снэпшоты и клоны без деградации производительности, компрессия и многое другое. Очевидно, что СХД созданная для флэш «с нуля» позволить достичь новых высот эффективности хранения и надежности.

Поэтому следующий шаг был сделан с выведением на рынок СХД специально спроектированной для флэша с учетом его преимуществ. Появилась система XtremIO. В ее основе так же лежали максимально стандартизованные компоненты (контроллеры на базе стандартной архитектуры, коммутаторы infiniband, дисковые полки аналогичные VNX, VMAX, и флэш-диски имели такой же знакомый формфактор). Принципиальная разница здесь заключалась именно в алгоритмах работы с данными. Это, хочется заметить, явилось развитием предыдущего подхода, но на новом, более продвинутом уровне. Система получилась, если судить по тому, как она стремительно вышла на первое место в мире по объемам продаж, удачная. По быстродействию она, кстати, несмотря на использование старого формфактора SSD оказалась очень достойная. И на этом моменте хочется остановиться чуть подробнее.

pasted_image_11_13_13__7_58_pm-11

В XtremIO используются диски MLC, почти в 1.5 раза уступающие по производительности своим SLC-собратьям.

Рассмотрим стартовую систему XtremIO Starter XBrick (5TB). Это система с 13 MLC-дисками. И она уверенно обеспечивает производительность в 120 тысяч IOPS в режиме чтение/запись 70/30. Знакомые с арифметикой расчетов быстродействия дисковых систем поймут, что здесь помимо дисков играет еще какой-то хитрый алгоритм оптимизации ввода-вывода. Так и есть.

Возьмем теперь систему на ступеньку выше XtremIO XBrick (10TB). В нем единственное отличие – 25 MLC дисков вместо 13-ти. А по производительности он такой же. Вывод простой – производительность XtremIO лежит не в области дисков и их формфактора, а в области контроллеров ввода-вывода, алгоритмов оптимизации и мощности установленных в них процессоров.

Теперь, что хочется еще сказать. Сдерживающим моментом в распространении флэш-систем и дальнейшем вытеснении механических дисков все еще является цена. Цена как на те, так и на другие носители продолжает падать, их объемы продолжают расти, и это не может не радовать. Ускорение распространению флэш-накопителей придают технологии, использующие их уникальные преимущества перед механикой. Такие, например, как дедупликация данных на лету и быстрые снэпшоты. Именно эти штуки, их продвинутость и эффективность в реальных приложениях, на мой взгляд, могут реально решить исход сражения. Истинная in-line дедупликация данных и их компрессия на флэш-системе увеличивает эффективность хранения, и снижает ее стоимость в разы (а иногда и в десятки раз). Быстродействие, на мой взгляд, конечно же важно, но пока это не является решающим фактором.

Когда же все-таки нужна скорость и эффективность хранения — вот тогда и начинается битва ASIC-ов, формфакторов SSD, микросекундные времена отклика и прочие любимые радости жизни. Здесь, правда, у XtremIO тоже есть козырной туз в рукаве – процессоры стандартной архитектуры развиваются быстрее чем кастомизированные микросхемы, а Scale-Out архитектура позволяет наращивать производительность значительно дальше. Но это уже другая история.

Так прав ли Vilon, или не прав, пакуя флэш-память в специальный формфактор и снабжая его разными классными проприетарными штуками? Я считаю, что правота штука многогранная. Поскольку они начинали это делать с нуля, не имея ни стандартных наработок, ни планов по разработке гибридных систем  – почему бы им было не создать что-то полностью с нуля? Это с одной стороны сложнее и дороже, а с другой – с чистого листа начинать всегда проще (по крайней мере, на бумаге). Но в конечном счете, все решает не только технологичность, сколько рыночная конкуренция и финансовая успешность проекта.

А у EMC, как видите, другая история совсем получилась. Была большая проверенная элементная база, были отработанные технологии хранения, традиционные системы допилили до гибридных. Затем вывели на рынок уже оптимизированную All Flash систему, но на базе стандартных компонентов. Теперь разрабатывается флэш-система следующего поколения, для распределенных in-memory вычислений. И каждый из этих технологических потоков идет под надзором акционеров, требующих окупаемости каждый квартал, каждый год. Не забалуешь…

DSSD box

Вот хочется теперь рассказать про DSSD, но оставлю на следующий раз. Спасибо большое, что дочитали до конца! Если понравилось – ставьте «лайк» 🙂

Сага про флэш-память в системах хранения: 2 комментария

Добавить комментарий

Заполните поля или щелкните по значку, чтобы оставить свой комментарий:

Логотип WordPress.com

Для комментария используется ваша учётная запись WordPress.com. Выход / Изменить )

Фотография Twitter

Для комментария используется ваша учётная запись Twitter. Выход / Изменить )

Фотография Facebook

Для комментария используется ваша учётная запись Facebook. Выход / Изменить )

Google+ photo

Для комментария используется ваша учётная запись Google+. Выход / Изменить )

Connecting to %s