Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
Weka представляет Weka AI для ускорения конвейеров edge to core to cloud data

21, апрель 2020  —  WekaIO ™ (Weka), лидер инноваций в области высокопроизводительного и масштабируемого хранилища файлов, а также консультант по сетевым решениям NVIDIA для партнеров, представила Weka AI™ - фреймворк для преобразования решений хранения на базе файловой системы Weka (WekaFS™, Weka File System) для ускорения конвейеров передачи данных от края до ядра к облаку (edge-to-core-to-cloud data). Weka AI - это фреймворк настраиваемых эталонных архитектур (RA, reference architectures) и инструментов для разработки программного обеспечения (SDK, software development kits) в альянсе с технологическими партнерами, такими как NVIDIA, Mellanox и др., входящими в состав Weka Innovation Network (WIN)™. Weka AI позволяет руководителям отделов обработки данных, специалистам по обработке данных и инженерам данных ускорять работу по геномике, медицинской визуализации (medical imaging), финансовым сервисам (financial services industry) и по конвейерам глубокого обучения (deep learning, DL) современных ассистирующих систем (advanced driver-assistance systems, ADAS). Кроме того, Weka AI легко масштабируется до крупных интегрированных решений, предоставляемых через VAR и партнеров по каналам.

Конвейеры данных искусственного интеллекта (AI) по своей природе отличаются от традиционных приложений ввода-вывода на основе файлов. Каждый этап в конвейерах данных AI имеет свои требования к вводу-выводу хранилища: огромная пропускная способность для приема (ingest) данных и обучения моделей; смешанные операции чтения/записи для извлечения, преобразования, загрузки (extract, transform, load - ETL) данных; ультранизкая задержка для вывода (inference); единое пространство имен для полной видимости конвейера данных. Кроме того, ИИ на граничных устройствах ( edge ) необходимы конвейеры данных от края до ядра к облаку (edge-to-core-to-cloud data). Следовательно, идеальное решение должно отвечать всем этим различным требованиям и обеспечивать своевременное масштабирование. Традиционным решениям не хватает этих возможностей, и зачастую они не соответствуют производительности и требованиям по совместной обработке данных, а также требованиям к мобильности данных.

Weka AI спроектирован таким образом, чтобы предоставлять готовые к работе решения и ускорять операции ввода-вывода, решая проблемы с хранилищами, характерные для нагрузок с интенсивным вводом-выводом, таких как AI. Weka AI помогает ускорить конвейер данных AI, обеспечивая пропускную способность более 73 ГБ/с для одного GPU -клиента. Кроме того, он обеспечивает операционную гибкость с версионностью, объяснимостью и воспроизводимостью, а также обеспечивает управление и соответствие встроенному шифрованию и защите данных. Инженерные решения с партнерами по программе WIN гарантируют, что Weka AI обеспечит сбор данных, рабочее пространство обучение глубокой нейронной сети (deep neural network, DNN), моделирование, вывод и управление жизненным циклом для всего конвейера данных.

Цитаты

Пареш Харья (Paresh Kharya), директор по управлению продуктами для ускоренных вычислений, NVIDIA

«Непрерывная ( e nd-to-end) производительность приложений для ИИ требует обеспечения высокопроизводительных графических процессоров NVIDIA высокопроизводительным конвейером данных. Weka AI использует хранилище GPUDirect, чтобы обеспечить прямой путь между хранилищем и графическими процессорами, устраняя узкие места ввода-вывода для приложений, интенсивно использующих данные ».

Гилад Шайнер (Gilad Shainer), старший вице - президент по маркетингу , Mellanox Technologies

«InfiniBand стал стандартом де-факто для высокопроизводительных и масштабируемых инфраструктур искусственного интеллекта, предоставляя высокие объемы данных и обеспечивая возможности ускорения вычислений в сети. Фрейворк Weka AI, GPUDirect и хранилище GPUDirect подключенное через InfiniBand предоставляют нашим взаимным клиентам ведущую в мире платформу для приложений AI».

Дополнительные ресурсы:

•  Weka AI with NVIDIA Reference Architecture

•  Weka AI Datasheet

•  Accelerated DataOps with Weka AI Blog  – Part 1

•  Accelerated DataOps with Weka AI Blog – Part 2

•  Accelerated DataOps with Weka AI Blog – Part 3

•  Weka AI webinar

Weka AI уже доступен. Чтобы найти торгового посредника или партнера по решениям в инновационной сети WekaIO, перейдите по ссылке   https://www.weka.io/partners/ или напишите нам по адресу partners@weka.io . .

О WekaIO

Weka предлагает WekaFS, современную файловую систему, которая дает уникальную возможность организациям решать самые новые и самые серьезные проблемы, сдерживающие инновации. Оптимизированная для NVMe и гибридного облака, Weka решает самые сложные задачи хранения в сложных технических вычислительных средах, обеспечивая действительно невероятную производительность в любом масштабе. Его современная архитектура раскрывает все возможности современного центра обработки данных, что позволяет предприятиям максимизировать отдачу от своих мощных инвестиций в ИТ. Weka помогает лидерам отрасли внедрять революционные инновации и решать ранее нерешаемые проблемы.

Публикации по теме
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
 
Новости Weka

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.