16, сентябрь 2014  — 

Новый шаг в использовании Hadoop – всесторонняя аналитика для интерактивного анализа и моделирования

Анализ больших данных с помощью технологии in - memory , возможность использования широкого спектра аналитических алгоритмов для исследования и моделирования в распределенной среде Hadoop – вот только некоторые из неоспоримых преимуществ, которые получат пользователи нового продукта SAS In - Memory Statistics for Hadoop , выпущенного мировым лидером в области решений и услуг в сфере бизнес-аналитики.

«Эти преимущества позволяют беспрецедентно сократить время обработки аналитических запросов при работе с большими данными, – комментирует Андрей Свирщевский , руководитель направлений аналитики и гарантирования доходов компании SAS  Россия/СНГ. – Так, построить дерево решений на таблице объемом 467 GB с 520-тью колонками и 120 млн строк теперь можно всего за 10 минут, а случайный лес из 10-ти деревьев строится и вовсе за 4 минуты. На текущий момент это самый быстрый инструмент применения методов углубленной аналитики во всей линейке SAS».

Новый продукт SAS работает по принципу интерактивного программирования и позволяет сразу нескольким пользователям совместно изучать и анализировать данные, создавать и сравнивать модели, а также оперативно работать с большими объемами информации на базе технологии Hadoop .

Сегодня многие компании прорабатывают бизнес кейсы использования Hadoop. При этом важно иметь возможность применять самые разные методы анализа, включая углубленную аналитику, на огромных объемах данных, для которых потенциально предполагается использовать Hadoop . Именно для таких задач идеально подходит новый продукт. Задачи подобного рода, когда требуется глубоко проникнуть в закономерности, существующие в данных, решают специалисты типа Data Scientist. Обычно графические интерфейсы им не нужны, изучить несколько новых верхнеуровневых процедур – для них не проблема, а вот разнообразие методов анализа и быстрый отклик на запрос в SAS In - Memory Statistics for Hadoop они высоко оценят.

Основные преимущества SAS In-Memory Statistics for Hadoop

Это решение расширяет линейку продуктов SAS , построенных на базе технологии SAS LASR Server и использующих прогрессивный метод « in - memory » для обработки данных непосредственно в оперативной памяти. Первым из них стало ныне популярное на рынке решение SAS Visual Analytics для интерактивной визуализации данных. Применение SAS LASR Server дает возможность удерживать данные в оперативной памяти кластера блейдовых серверов и работать с ними в интерактивном режиме.

Пользователь SAS In - Memory Statistics for Hadoop получает доступ в режиме интерактивного программирования ко всем основным методам статистического анализа и машинного обучения. Среди них – линейная и логистическая регрессии, обобщенные линейные модели, деревья решений и случайный лес, прогнозирование временных рядов, анализ текстовых данных, кластеризация и др. При этом есть возможность выполнять вспомогательные и служебные задачи: готовить данные к анализу, выделять значимые предикторы, сравнивать модели, формировать код применения моделей.

Новшество, которое добавляет этот продукт к широкому спектру аналитики SAS , – это возможность строить Рекомендательные Системы, используя большой набор методов их построения. Такие системы востребованы для решения широкого класса бизнес-задач, в том числе целевого маркетинга. На основе анализа информации о том, какими продуктами и услугами воспользовался или пользуется каждый клиент, определяются типовые профили потребления продуктов и услуг, на выходе для каждого клиента выдается продукт/услуга, которые являются для него наиболее востребованными. Такой способ эффективнее классических методов « C ross- S ell» и хорошо подходит для реализации концепции «Next Best Offer» в условиях широкого спектра предлагаемых продуктов и услуг. Этот метод особенно понравится тем, у кого нет возможности построить отдельные модели « U p-Sell» для каждого продукта.

Технология Hadoop повышает надежность системы за счет использования кластера серверов, что позволяет гарантировать сохранность данных при одновременном снижении стоимости аппаратного обеспечения, высокой степени масштабируемости, отсутствии жестких требований к формату данных и их предобработке.

Почему Hadoop ?

Согласно прогнозам компании IDC , объем продаж Hadoop к 2016 г. достигнет 812,8 млн долларов США при среднегодовом темпе роста 60,2%. Эксперты SAS уверены, что заказчики и в дальнейшем продолжат использовать эту архитектуру хранения больших данных с целью их анализа и получения скрытой в них ценнейшей информации.

Благодаря стратегическому партнерству SAS c такими компаниями, как Cloudera и Hortonworks , клиенты получают лучшие возможности использования отраслевой аналитики в рамках избранных ими решений на базе Hadoop .

Hadoop распределяет данные по кластеру, состоящему из недорогого аппаратного обеспечения ( commodity hardware ). Также система обнаруживает и устраняет сбои, что крайне важно при распределенной работе. Помимо низкой стоимости аппаратных средств и защиты данных с помощью резервного копирования, Hadoop обладает другими важными преимуществами, среди которых:

•  Параллельная обработка данных: модель распределенных вычислений Hadoop позволяет обрабатывать огромные объемы данных, причем в рекордно короткие сроки.

•  Масштабируемость: мощность системы Hadoop можно легко увеличить путем добавления новых узлов.

•  Гибкость в хранении данных: в отличие от традиционных реляционных баз данных, Hadoop позволяет хранить данные в неструктурированном виде без предварительной обработки.

О предстоящем выпуске SAS In - Memory Statistics for Hadoop было объявлено весной этого года, а в конце августа продукт поступил в продажу уже с расширенной функциональностью.

Справочная информация

Компания SAS является крупнейшей в мире частной IT -компанией, специализирующейся на разработке и продаже решений и услуг в области бизнес-аналитики.

Компания основана в 1976 году, и сегодня в ее офисах по всему миру работают более 13,7 тыс. сотрудников. В течение 38 лет годовой доход SAS постоянно возрастал и в 2013 г. достиг 3,02 млрд долларов. Клиентами SAS являются более 70 тысяч организаций в 139 странах мира. Среди них – 91 компания из первой сотни лидеров, включенных в список «2013 FORTUNE Global 500®». По данным IDC за 2013 год, SAS занимает более 36% мирового рынка углубленной аналитики.

В России и странах СНГ компания SAS начала работу в 1996 году. Заказчикам компания SAS предлагает полный спектр решений и услуг в области бизнес-аналитики: консалтинг, внедрение, обучение и техническую поддержку. Клиентами SAS в России и СНГ являются все 10 крупнейших российских банков (Сбербанк России, ВТБ, Газпромбанк и др.), РЖД, «Аэрофлот», крупнейшие компании из телекоммуникационного и топливно-энергетического сектора, государственные организации.

В декабре 2013 г. компания SAS была включена в тройку лидеров международного рейтинга «Лучшие работодатели, Россия» по итогам исследования «Best Employers Study», проведенного компанией Axes Management по методике и при участии Aon Hewitt.

Подробная информация - на веб-сайте компании: SAS Россия/СНГ .