Публикации
2023 г. – новый этап практического применения CXL, статья
VMware сдвигает акцент в проекте Capitola на CXL, статья
Dell Validated Design for Analytics — Data Lakehouse: интегрированное хранилище данных, статья
OCP Global Summit: решения для Computational Storage и компонуемых масштабируемых архитектур, статья
Samsung CXL MemoryySemantic SSD: 20M IOPs, статья
UCIe – открытый протокол для взаимосвязи чиплетов и построения дезагрегированных инфраструктур, статья
Omni-Path Express – открытый интерконнект для экзафлопных HPC/AI-систем, статья
GigaIO: CDI_решение на базе AMD для высшего образования, статья
Энергоэффективные ЦОД на примерах решений Supermicro, Lenovo, Iceotope, Meta, статья
От хранилищ данных и “озер данных” к open data lakehouse и фабрике данных, статья
EuroHPC JU развивает НРС-экосистему на базе RISC-V, статья
LightOS™ 2.2 – программно-определяемое составное блочное NVMe/TCP хранилище, статья
End-to-end 64G FC NAFA, статья
Computational Storage, статья
Технология KIOXIA Software-Enabled Flash™, статья
Pavilion: 200 млн IOPS на стойку, статья
CXL 2.0: инновации в операциях Load/Store вводаавывода, статья
Тестирование референсной архитектуры Weka AI на базе NVIDIA DGX A100, статья
Fujitsu ETERNUS CS8000 – единая масштабируемая платформа для резервного копирования и архивирования, статья
SmartNIC – новый уровень инфраструктурной обработки, статья
Ethernet SSD, JBOF, EBOF и дезагрегированные хранилища, статья
Compute, Memory и Storage, статья
Lenovo: CXL – будущее серверов с многоуровневой памятью , статья
Liqid: компонуемые дезагрегированные инфраструктуры для HPC и AI, статья
Intel® Agilex™ FPGA, статья
Weka для AI-трансформации, статья
Cloudera Data Platform – “лучшее из двух миров”, статья
Fujitsu ETERNUS DSP - разработано для будущего, статья
Технологии охлаждения для следующего поколения HPC-решений, статья
Что такое современный HBA?, статья
Fugaku– самый быстрый суперкомпьютер в мире, статья
НРС – эпоха революционных изменений, статья
Новое поколение СХД Fujitsu ETERNUS, статья
Зональное хранение данных, статья
За пределами суперкомпьютеров, статья
Применение Intel® Optane™ DC и Intel® FPGA PAC, статья
Адаптивные HPC/AI-архитектуры для экзаскейл-эры, статья
DAOS: СХД для HPC/BigData/AI приложений в эру экзаскейл_вычислений, статья
IPsec в пост-квантовую эру, статья
LiCO: оркестрация гибридныхНРС/AI/BigData_инфраструктур, статья
 
Обзоры
Все обзоры в Storage News
 
Тематические публикации
Flash-память
Облачные вычисления/сервисы
Специализ. СХД для BI-хранилищ, аналитика "больших данных", интеграция данных
Современные СХД
Информационная безопасность (ИБ), борьба с мошенничеством
Рынки
SeekGene повышает эффективность на 500% за счет использования MemVerge Memory Machine в облаке

12, май 2022  — 

•  Программное обеспечение с большой памятью повышает производительность загрузки и экспорта данных на два порядка;

•  Позволяет SeekGene увеличить производительность анализа в пять раз

MemVerge ™, пионер программного обеспечения для работы с большой памятью, объявила сегодня о том, что SeekGene, биотехнологическая исследовательская фирма, специализирующаяся на технологии одиночных клеток ( single-cell technology ), значительно сократила время и стоимость обработки данных для анализа отдельных клеток с большим объемом данных задачи с использованием MemVerge Memory Machine, работающей на вычислительных экземплярах AliCloud i4p. В результате SeekGene наблюдает пятикратное увеличение производительности на виртуальную машину (ВМ) в своих аналитических операциях. В частности, производительность загрузки и экспорта данных его конвейера секвенирования одной клетки улучшилась на два порядка, а размер выборки набора данных, используемого в анализе, удвоился.

SeekGene — биотехнологическое предприятие, специализирующееся на одноклеточных технологиях, поддерживающих клиническую диагностику и развитие точной медицины. Медицинская биофармацевтическая организация владеет эксклюзивной платформой для микропористых чипов и двойной технологии «вода-в-масле» и проводит независимые исследования и разработки высокопроизводительных одноклеточных продуктов, экспериментов и комплексных услуг для биоинформатического анализа.

Платформа одноклеточной библиотеки SeekOne NGS от SeekGene, автоматизированная онлайн-платформа для анализа данных SeekGene Online, а также запатентованный капельный метод и возможности двухплатформенного секвенирования методом микропор обеспечивают анализ данных для международных научных исследователей. Услуги секвенирования развернуты в AliCloud. Однако, поскольку в аналитических процессах используются данные выражений, достигающие сотен тысяч чтений, анализ последовательности может дать сбой на традиционных экземплярах виртуальных машин из-за нехватки памяти. Кроме того, процесс экспорта и загрузки временных данных на диск во время задач секвенирования также может быть чрезвычайно длительным.

Используя программное обеспечение MemVerge Memory Machine Cloud Edition (1), работающее на экземплярах виртуальных машин AliCloud i4p, которые оснащены энергонезависимой памятью Intel Optane (PMem), SeekGene теперь может использовать большие ресурсы памяти без изменения своего кода. Это позволяет SeekGene удвоить размер выборки и позволяет запускать в пять раз больше параллельных процессов. Кроме того, с MemVerge Memory Machine Cloud Edition компания SeekGene может повысить производительность загрузки и экспорта данных на два порядка, устранив узкие места ввода-вывода, вызванные чтением и записью диска. Конкретно:

•  На традиционном экземпляре виртуальной машины, использующем NVMe SSD для сохранения временных данных, для хранения набора данных требуется более 15 минут. Благодаря использованию технологии моментальных снимков MemVerge Memory Machine сохранение данных занимает всего 2,5 секунды.

•  По сравнению с AliCloud ESC.g5, предыдущим экземпляром виртуальной машины AliCloud, используемым SeekGene, AliCloud ECS.i4p вместе с технологией MemVerge Memory Machine позволяет SeekGene выполнять пять одновременных задач, каждая из которых вдвое превышает размер исходного набора данных.

«Используя MemVerge Memory Machine, мы можем использовать большие ресурсы памяти в облаке без рефакторинга нашего кода и устранять задержки, вызванные вводом-выводом хранилища, который в противном случае требовался бы в наших конвейерах», — сказал Синъонг Ма ( Xingyong Ma ), соучредитель и главный научный сотрудник. SeekGene. «В результате мы можем значительно сократить наше аналитическое время и затраты, оптимизируя наши возможности секвенирования отдельных клеток для исследователей во всем мире, чтобы способствовать более быстрому развитию точной медицины».

«Сценарий SeekGene — типичный пример того, как исследователи в области биотехнологии могут революционизировать свой вычислительный анализ, используя технологию Big Memory в облаке», — сказал Джонатан Цзян ( Jonathan Jiang ), главный операционный директор MemVerge. «Эти рабочие нагрузки с интенсивным использованием данных теперь можно выполнять с рекордной скоростью и при значительно меньших затратах. Для биотехнологической отрасли это может стать настоящим прорывом».

MemVerge Memory Machine позволяет приложениям использовать 100 % доступного объема памяти для нескольких типов памяти без необходимости рефакторинга кода, предоставляя при этом новые операционные возможности для рабочих нагрузок, ориентированных на память. MemVerge Memory Machine Cloud Edition распространяет эти преимущества на облачные рабочие нагрузки, предоставляя виртуализацию памяти, отказоустойчивость в памяти и услуги мобильности, которые организации могут легко добавить в свою облачную инфраструктуру. Приложения с отслеживанием состояния, отказоустойчивые и долго работающие приложения теперь могут реализовать обещание гибкости и гибкости облака. Более подробная информация о Memory Machine Cloud Edition доступна здесь.

О MemVerge

MemVerge является пионером в области вычислений с большой памятью для многооблачного мира. В современной облачной инфраструктуре существуют серьезные пробелы для высокопроизводительных приложений, интенсивно использующих данные. MemVerge® Memory Machine™ предоставляет программно-определяемую компонуемую память и интеллектуальную службу памяти для устранения этих пробелов. Являясь лидером программного обеспечения в экосистеме CXL, технология компонуемой памяти MemVerge выделяет, распределяет по уровням, дезагрегирует и объединяет разнородную память для масштабирования объема памяти и снижения стоимости памяти. Службы моментальных снимков в памяти MemVerge ZeroIOO обеспечивают прозрачную проверку, клонирование, репликацию и восстановление запущенных приложений в любое время и в любом месте в многооблачной вычислительной среде. В целом, технологии Big Memory Computing сокращают время до получения результатов и обеспечивают беспрецедентную доступность и мобильность приложений в памяти для ведущих предприятий. исследовательские институты и поставщики облачных услуг. MemVerge стремится демократизировать вычисления с интенсивным использованием данных для исследователей, ученых, аналитиков и инженеров по всему миру и освободить все рабочие нагрузки для перемещения в многооблачных средах повсюду. Чтобы узнать больше о MemVerge, посетите www.memverge.com .

Memory Machine™ и Memory Machine ZeroIO™ являются товарными знаками, принадлежащими MemVerge.

(1) Поддерживаемые приложения и инфраструктура Memory Machine™ Cloud Edition

Supported In-Memory Applications

Kx: kdb+ Time-series in-memory database
Autodesk: Maya 3D animation and rendering?
Apache Software Foundation: Spark In-memory big data analytics framework
Redis Labs: Redis In-memory key–value database
Apache Software Foundation: TensorFlow Machine learning framework
Open Source: PyTorch Machine learning framework
Apache Software Foundation: Flink Stream processing framework
Apache Software Foundation: XGBoost Gradient Boosting framework
Hazelcast: Hazelcast In-memory data grid
Apache Software Foundation: Cassandra Wide column store, NoSQL database
Apache Software Foundation: RocksDB Persistent key value database
Apache Software Foundation: HBase Non-relational distributed database
GNU: MySQL Relational database management system
BSD: MemcacheD In-memory key-value database
Linux Kernel Community: KVM Hypervisor
MongoDB, Inc.: MongoDB NoSQL database
R Foundation: R Environment for statistical computing and graphics
**MemVerge is continuously qualifying new apps. Support for apps is available upon request.

Supported Environments

Hardware Second and Third Generation Intel® Xeon® Scalable Processors, with Optane DCPM memory
Operating Systems CentOS: 8.1 with kernel 5.7.4; 8.0 with kernel 4.20; 7.8 with kernel 5.7.6; 7.7 with kernel 3.10.0-1062.12.1.el7.x86_64, 3.10.0 1062.9.1.el7.x86_64; 7.6 with stock kernel or kernel 4.20.
RHEL: 8.1 or 8.0 with stock kernels.
Hypervisors VMware ESXi running on above HW (vSphere 6.7, 7.0), QEMU-KVM
Containers OpenShift, VMware Tanzu, and other Kubernetes based container platforms
Публикации по теме
Рынки
 
Новости MemVerge

© "Storage News" journal, Russia&CIS
(495) 233-4935;
www.storagenews.ru; info@storagenews.ru.