Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
HDS: главные тенденции развития ИТ на 2014 год

21, февраль 2014  — 
Хью Йошида (Hu Yoshida), технический директор Hitachi Data Systems

Автор: Хью Йошида (Hu Yoshida), технический директор Hitachi Data Systems

Тенденция 1: ИТ в большей степени сосредоточатся на результатах бизнеса , чем на инфраструктуре

Недавнее   исследование журнала   Computerworld    выявило пять приоритетных бизнес - задач для подразделений ИТ :

  • Сдержать рост затрат :   65%
  • Оптимизировать и автоматизировать бизнес - процессы :   55%
  • Оптимизировать существующие инвестиции :   48%
  • Ускорить бизнес - процессы и повысить их гибкость :   45%
  • Усовершенствовать взаимодействие с бизнес - специалистами :   34%

ИТ-руководителям будет необходимо сосредоточиться на существующих (увеличивая безопасность и эффективность) , или реализации новых ( бизнес - анализ или управление ресурсами предприятия) систем для оптимизации и автоматизации бизнес-процессов. Сдерживающим фактором роста затрат и оптимизации использования имеющихся активов станет виртуализация . В противовес подходу самостоятельного создания систем , ИТ - специалисты будут чаще использовать заранее сконфигурированные системы . Поставщики ИТ должны будут сделать упор на продажу готовых решений , а не технологий – э то потребует глубокого понимания специфики всего стека решений и целостного подхода к задачам .

Такая направленность на бизнес - результаты приведет к созданию серьезного спроса на услуги ИТ - специалистов и поставщиков ИТ - решений, и потребует более тесного партнерства между службами ИТ и поставщиками .

Тенденция 2: Конвергентные решения для выбранных приложений ( Select for )

Внедрение новых приложений требует изменения инфраструктуры . Ранее эта задача представляла собой проект в стиле « сделай сам ». Каждый из администраторов занят конфигурированием собственного приложения или участка инфраструктуры . К оординация действий происходит посредством уведомлений об изменениях , и перед развертыванием приложения проходит множество циклов тестирования . В 2012 году аналитики IDC установили , что этот процесс отнимает до 23,3% рабочего времени и ресурсов служб ИТ - организаций .

Внедрению предшествует длительный процесс закупок , в ходе которого службы ИТ должны принять решение о том , какие продукты будут наиболее эффективно взаимодействовать друг с другом . Поиск оптимально взаимодействующих компонентов зачастую строится на догадках , особенно если речь идет о внедрении новых приложений . Очень часто после выбора и поставки компонентов инфраструктуры тестирование выявляет ее несоответствие приложениям . Это приводит к несоблюдению сроков и превышению бюджета проекта и к тому , что приложения так и остаются невостребованными .

Эти проблемы решаются с помощью конвергентных систем выбранных для приложений ( Select for ) . Эксперты поставщика предварительно тестируют и проверяют конвергентные решения на соответствие таким приложениям .

В зависимости от поставщика конвергентного решения поддержку можно получить уже после одного телефонного звонка . В случае конвергентного решения Hitachi для платформы SAP HANA специалисты SAP примут заявку на обслуживание и передадут ее в Hitachi, если сочтут , что проблема касается инфраструктуры . Поскольку компания Hitachi Data Systems предоставляет инфраструктуру решения полностью , в том числе блейд - серверы с картами флэш - памяти , системы хранения с высокопроизводительными флэш - модулями и коммутаторы сетей хранения данных и локальных сетей , для решения любой проблемы достаточно всего одной заявки . HDS также предлагает единый пакет для управления всей инфраструктурой , включая серверы и системы хранения , что существенно упрощает эксплуатацию систем . Кроме того , наша компания является OEM- поставщиком VMware, поэтому наши заказчики могут ограничиться лишь одной заявкой на обслуживание для всего стека приложений и инфраструктуры .

Конвергентные решения избавляют от необходимости действовать наугад , ускоряют вывод выбранных приложений на рынок , упрощают использование новых технологий , позволяют сократить капитальные и эксплуатационные затраты и повысить эффективность поддержки систем .

Тенденция 3. Широкое применение частных облачных инфраструктур

По итогам опроса , проведенного среди крупных клиентов , в облачные инфраструктуры передано сейчас около 10% всей рабочей нагрузки . П рименение общедоступного облака для основных бизнес - приложений по - прежнему сопряжено с высокой степенью риска: проблемы с безопасностью , конфиденциальностью , качеством обслуживания , перебоями в работе и высоких затрат , которые возникают при обработке данных и доступе к ним по каналам , связывающим организацию с общедоступным облаком . По многим подобным причинам заказчики стремятся размещать частные облачные инфраструктуры для основных приложений на территории своих организаций и под защитой собственных межсетевых экранов , где могут полностью их контролировать . С овременные технологические возможности позволяют существенно упростить реализацию и эксплуатацию модели конфигурирования облачных ресурсов и делают ее гораздо более доступной и эффективной . Чтобы реализовать свою концепцию программно - определяемого ЦОД , компания Hitachi заключила партнерство с VMware. Решение Hitachi Unified Compute Platform, включающее Command Director, интегрировано с платформой VMware vSphere; вся полученная в результате инфраструктура – сервер , система хранения , локальная сеть и сеть хранения данных – конфигурируется и автоматически управляется с помощью системы vCenter. Чтобы предоставить законченное облачное решение , Hitachi также может включить в инфраструктуру портал для самостоятельного конфигурирования и распределения затрат . Поставка такого решения заказчику и его подключение к сети организации и источникам питания занимает всего несколько дней , после чего конфигурирование виртуальных машин и создание сети хранения данных и локальной сети для СХД можно выполнить за несколько часов . Дальнейшее добавление новых ресурсов хранения , серверов и коммутаторов осуществляется без прерывания работы систем .

Частное облако не обладает той гибкостью , которую способен обеспечить крупный провайдер общедоступных облачных услуг , увеличивая и уменьшая ресурсы , чтобы удовлетворить пиковые потребности без потерь времени на закупки , характерных для частного облака . Но вы можете не сомневаться в безопасности облачной инфраструктуры , защищенной вашими межсетевыми экранами и находящейся под вашим непосредственным контролем . Вы обладаете всеми необходимыми инструментами автоматизации и можете гибко конфигурировать свои ресурсы так , как диктуют требования бизнеса . Кроме того , наличие прямого подключения к частному облаку сможет избавить вас от некоторых расходов , связанных с подключением к общедоступному облаку , и интеграция облачных приложений с обычными осуществляется гораздо проще .

Тенденция 4. Взрывной рост Б ольших данных стимулирует создание петабайтных файловых СХД

По прогнозам таких аналитических компаний , как IDC, к 2015 году подключение систем хранения посредством NAS будет преобладать над всеми остальными протоколами и ч тобы справиться с растущей нагрузкой , системы хранения NAS должны обладать масштабируемой до петабайт емкостью , поддерживать файлы размером в сотни терабайт и при этом выполнять сотни тысяч операций ввода - вывода в секунду со временем отклика менее 1 мс . Новые технологические решения корпоративного уровня на базе флэш - памяти , такие как созданные Hitac hi модули Flash Module Drive емкостью 1,6 и 3,2 Тбайт , позволяют повысить производительность платформы HNAS.

В ходе недавнего   теста SPECsfs2008_nfs.v3   система Hitachi HNAS 4100 с двумя узлами и 32 флэш - накопителями емкостью 1,6 Тбайт выполнила 298 648 операций в секунду ( с общим временем отклика 0,59 мс ).

Помимо значительного увеличения емкости и производительности системы HNAS должны обеспечить повышение эффективности за счет дедупликации данных в основном хранилище и интеллектуального перемещения неактивных файлов на уровень более дешевых дисковых или ленточных носителей , на платформу хранения контента или в облачную инфраструктуру без какого - либо ущерба для производительности . Кроме того , хранилища NAS должны поддерживать API и интерфейсы гипервизоров , баз данных , облачных платформ и других прикладных систем , что позволит повысить эффективность и доступность данных и усовершенствовать механизмы защиты , а также обеспечить возможность шифрования данных в местах хранения , в том числе на модулях флэш - памяти .

В 2014 году возникнет потребность в переходе на новые технологии хранения NAS, которые поддерживают масштабирование для работы с Б ольшими данными и соответствуют требованиям к виртуальным серверам , предусматривающим увеличение емкости , снижение затрат , повышение производительности и эффективности .

Тенденция 5.   Решения по синхронизации и совместному использованию данных для « теневых » ИТ

Проводимые в отрасли опросы показывают , что 28% корпоративных данных содержится исключительно на ноутбуках или мобильных устройствах пользователей . Это так называемые « теневые » информационные ресурсы , которые никак не контролируются и не управляются ИТ - службами компаний . Хотя они используются для решения задач бизнеса , их защита и безопасность не всегда обеспечивается.

Использование собственных мобильных устройств в корпоративной информационной среде (BYOD) имеет много преимуществ , которые выражаются в повышении удовлетворенности и результативности пользователей , снижении затрат и увеличении маневренности бизнеса . Вместе с тем с ней связаны немалые риски для корпоративных данных , не находящихся под контролем и управлением служб ИТ .

Недавно я приобрел новый смартфон iPhone 5 и загрузил в него приложение Hitachi Content Platform и загрузил HCP Anywhere. После регистрации на сервере hcpanywhere.hds.com я получил возможность синхронизировать данные и обмениваться файлами , используя наше корпоративное частное облако .

HCP Anywhere позволяет надежно защитить хранимые рабочие файлы и обмениваться ими при помощи ссылок с контролируемым доступом , для которых можно ограничивать время действия . Службы ИТ полностью контролируют данные ; задача администрирования упрощается за счет встроенных функций управления мобильными устройствами , аудита и полной интеграции с Microsoft Active Directory. Все файлы размещаются в пределах частного облака HDS в объектном хранилище на территории компании – платформе   HCP . Для них обеспечивается сжатие и устранение дублирования и не требуется резервное копирование .

Благодаря HCP Anywhere вместо почтовых вложений можно использовать ссылки на это хранилище объектов , что позволяет освободить емкость почтовых хранилищ и снизить нагрузку на сеть . Упрощается развертывание средств синхронизации и совместного использования файлов и управление ими . Решение совместимо с существующими ИТ - процедурами и процессами , и работа с ним не требует специальной подготовки . Чтобы убедиться , насколько проста система в установке и использовании , посмотрите видеоролик на YouTube .

Сделайте ваши « теневые » ИТ - ресурсы полноценной частью мира корпоративной информации . Распространите на пользователей , работающих с собственных мобильных устройств , преимущества корпоративной безопасности , защиты данных и процедуры обеспечения соответствия и позвольте им синхронизировать и совместно использовать результаты своего труда для повышения продуктивности и удовлетворенности работой .

Тенденция 6 .   Объектные хранилища позволят пролить свет на тёмные данные

Аналитики Gartner определяют   тёмные данные   как информационные активы , которые организации собирают , обрабатывают и хранят в процессе повседневной бизнес - деятельности , но не могут использовать для иных целей. Технологии Б ольших данных во многом сосредоточены на том , чтобы обеспечить доступ к таким данным . Одна из главных причин , по которым организациям не удается использовать эти данные , заключается в том , что они скрыты в разрозненных приложениях и системах разных поставщиков .

Чтобы пролить свет на подобные данные , необходимо разделить обработку данных внешним приложением и функции внутреннего хранения . Это позволит устранить разрозненность данных и приложений . Именно здесь может помочь объектное хранилище . В отрыве от приложений данные представляют собой лишь набор битов , если не поместить их в контейнер с метаданными , которые содержат описание этих данных и процедур управления ими . Такой контейнер становится объектом ; он не зависит от приложения , в котором создан , и благодаря наличию метаданных может использоваться в других приложениях . Отделив данные от приложений , мы больше не рискуем потерять возможность их использования , когда приложения устареют . Срок жизни таких данных не определяется сроком эксплуатации приложения . Созданная Hitachi система хранения объектов носит название   Hitachi Content Platform (HCP).

Данные , которые помещаются в систему HCP, доступны из различных приложений по сетевым протоколам . Хранимые данные можно найти с помощью масштабируемой высокопроизводительной библиотеки средств поиска , которая включает множество функций , в том числе быстрое индексирование , ранжированный поиск , логические запросы , поиск словосочетаний , диапазона значений , поиск по интервалу дат и различные расширения . Поскольку тёмные данные не относятся к обновляемым , HCP устраняет необходимость в циклах резервного копирования , сохраняя реплику этих данных на другой платформе HCP. Платформа предусматривает все стандартные функции – устранение дублирования , сжатие и шифрование данных . Внедрение HCP выполняется на базе инфраструктуры виртуализации Hitachi Data Systems, что позволяет сделать данные независимыми от инфраструктуры и от приложения , в котором они созданы .

В 2014 году хранилищам объектов будет уделяться более пристальное внимание , и главным фактором станет их способность пролить свет на тёмные данные , что позволит извлечь выгоду для бизнеса из существующих информационных активов .

Тенденция 7. Снижение объемов резервного копирования за счет архивов , копий и снимков

Компания IDC разместила в Интернете   счетчик ,  который с января 2013 года в реальном времени отслеживает общемировые затраты на копирование данных . На момент написания данной статьи они составляли 44 128 957 900 долларов .

Одной из главных причин огромных объемов копируемых данных я назвал резервное копирование наряду с мгновенными снимками , удаленными копиями и контролем версий , связанным с обеспечением устойчивости бизнеса .

Хотя устранение дублирования и помогает снизить объемы данных , обусловленные разрастанием резервного копирования , оно не решает задачи сокращения размеров резервного копирования . Большинство данных , для которых сегодня выполняется резервное копирование , являются неизменными , но мы копируем их снова и снова . И применяя дедупликацию , мы устраняем дублирование одних и тех же данных . Объемы резервного копирования можно уменьшить путем архивирования неактивной части данных на платформу Hitachi Content, где для них обеспечивается хранение единственного экземпляра , сжатие , шифрование и однократное копирование с целью защиты .

Резервное копирование играет важную роль , однако решающее значение имеет восстановление данных . С увеличением числа клиентов и виртуальных серверов растут издержки , связанные с выходом систем из строя , и потребность в сокращении сроков восстановления и улучшении показателей точки восстановления становится все более актуальной . Возникает необходимость в таких технологиях , как непрерывная защита данных (CDP) и создание снимков и клонов с учетом особенностей приложений для ускоренного восстановления данных на определенный момент времени . Резервные копии по - прежнему необходимы на случай сбоя , однако гораздо чаще восстановление можно выполнить при помощи снимков и клонов , сделанных на уровне системы хранения данных . Решение Hitachi позволяет быстро создать до 1024 мгновенных снимков на логический том ( LUN) и до 32 000 снимков на массив для целей резервного копирования данных и тестирования приложений .

В дополнение к таким средствам , как архивы , снимки и клоны , которые позволят уменьшить разрастание копируемых данных , нам необходимы инструменты для управления жизненным циклом резервных копий . Hitachi предлагает   HAPRO   – средство защиты приложений для Microsoft. Решение Hitachi   Data Protection Suite на базе CommVault ®   представляет собой прекрасно интегрированное сочетание технологий мгновенных снимков , репликации и постоянных копий , которое позволяет учитывать особенности приложений и обеспечивает безопасность и устранение дублирования данных , а также управление и доступ с помощью единой унифицированной платформы . В дополнение к этому Hitachi Data Instance Manager – унифицированное и простое в использовании решение на основе политик и рабочих процессов – реализует централизованные функции защиты данных для файлов , приложений SQL и Microsoft ®   Exchange в системах Microsoft и Linux среднего уровня .

В 2014 году можно ожидать более широкого применения архивов , снимков и клонов , а также инструментов для управления жизненным циклом данных , с целью сдержать бурный рост объемов копируемых данных .

Тенденция 8. Быстрое распространение корпоративных решений на базе флэш - памяти

Распространение SSD- накопителей стало одной из наиболее заметных тенденций в области систем хранения данных в 2013 году . По прогнозам компании Trendfocus, на рынке корпоративных решений темпы роста в сегменте систем на базе SSD составят 14%. Однако более значительный рост (53%) по - прежнему   ожидается   на рынке клиентских систем , на который ориентируется большинство производителей SSD- дисков . Поскольку основную часть дохода производители получают именно на этом рынке , у них нет причин перерабатывать конструкцию SSD- накопителей для использования в корпоративных системах .

Флэш - память типа NAND не предназначена для организации случайного доступа к данным на блочной системе хранения . Она требует программного стирания данных перед записью , что приводит к задержкам и затратам времени на трансляцию адресов . Данные записываются на страницы , которые объединены в блок . При перезаписи данных старая страница помечается как недействительная , и данные записываются на новую страницу . Постепенно блок заполняется недействительными и действительными страницами , и для восстановления недействительных страниц требуется его стереть . Перед стиранием блока действительные страницы необходимо поместить в буфер , пока блок не будет очищен и готов к перезаписи . Эту процедуру называют сборкой мусора . На время сборки мусора операции ввода - вывода записи блокируются , что приводит к падению производительности записи – так называемому эффекту «write cliff».

Компания Hitachi Data Systems разработала микросхему контроллера флэш - памяти , который обладает достаточной вычислительной мощностью для повышения долговечности , производительности и емкости флэш - памяти на базе MLC для корпоративных систем хранения данных . Это модульное устройство флэш - памяти (Flash Module Device, FMD) использует 4- ядерный процессор AMD, имеет 8 путей ввода - вывода к внешним устройствам и 32 пути к массиву флэш - памяти и способно управлять 128 микросхемами NAND. В настоящее время емкость устройства достигает 3,2 Тбайт и обладает на 40% большей производительностью по сравнению с аналогичными конфигурациями на базе 400- гигабайтных SSD- накопителей . Дополнительные ядра процессора позволяют выполнять сборку мусора , не задействуя пути ввода - вывода , благодаря чему удается избежать эффекта «write cliff» и необходимости использовать расширенный код коррекции ошибок , чтобы уменьшить объем записи . Кроме того , устройство в реальном времени выполняет сжатие в ходе записи , чтобы уменьшить износ флэш - памяти , вызванный операциями записи , что обеспечивает экономию места до 94%. Более подробно об этой технологии можно узнать из соответствующего   аналитического материала .

Устройство FMD используется в решениях VSP, HUS VM и в системах хранения HUS. Системы HUS VM и HUS предусматривают варианты конфигураций с массивами целиком на базе флэш - памяти , обладающие всем функционалом этих контроллеров , в том числе возможностями копирования на уровне системы хранения данных , репликации и перемещения данных по уровням хранения , как правило , недоступными во флэш - массивах других производителей . Решения VSP и HUS VM комплектуются устройствами FMD емкостью 1,6 Тбайт и 3,2 Тбайт , а HUS 150 – устройством FMD емкостью 1,6 Тбайт .

Многие начинающие производители занимаются разработкой систем хранения данных , используя массовые SSD- накопители и называя свои продукты корпоративными системами хранения . Независимо от возможностей контроллера СХД в их системах , контроллер SSD всегда будет иметь ограничения , присущие массовым SSD- дискам . Такие недостатки , как резкое падение производительности при записи , незаметные в ходе приемочных испытаний , обязательно дадут о себе знать после использования всех свободных блоков памяти .

Тенденция 9. Трансформация комплекса навыков , функций и ответственности в сфере эксплуатации ИТ - систем

Виртуализация и автоматизация с использованием конвергентных решений и частных облачных инфраструктур позволит избавиться от множества рутинных задач , связанных с конфигурированием , мониторингом , контролем изменений и созданием отчетов . Для управления инфраструктурами будет требоваться меньшее количество персонала , а тем специалистам , которые по - прежнему будут заниматься их эксплуатацией , достаточно будет навыков начального уровня и , соответственно , меньшей оплаты .

Но это не означает , что потребность в ИТ - специалистах сократится . Просто им необходимо в меньшей степени сосредоточиться на инфраструктуре , и в большей – на приложениях и выгодах для бизнеса . Результаты недавних исследований говорят о том , что спрос на ИТ - специалистов остается достаточно высоким , однако требования к их навыкам быстро меняются . По данным отраслевого кадрового портала Dice.com уровень незанятости среди ИТ - специалистов составляет 3,5% – ниже , чем в первом квартале прошлого года (4,4%). Цифры также свидетельствуют о значительном сдвиге спроса в сторону приложений – уровень незанятости разработчиков ПО снизился до 2,2%, а веб - разработчиков – до 1%. Опрос , проведенный недавно среди членов совета наших заказчиков , показал , что они больше не принимают на работу администраторов систем хранения .

Публикации по теме
Современные СХД
Рынки
 
Новости HDS

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.