9:30 Приветственный кофе 10:00 Ключевой доклад 11:45 Аппаратные решения HP для платформы Microsoft BI Microsoft Excel как OLAP клиент. Преодоление ограничений Обед 12:45 13:30 Методика построения хранилищ данных на FastTrack DW и PDW Анализ «что-если» в Excel 2010 и OLAP write-back в планировании продаж 14:45 Реляционное моделирование для больших хранилищ данных Прогнозирование навигации на сайте (Data Mining) Кофе-брейк 16:30 17:00 Анализ вторичных продаж на базе SQL Server 2008 R2 SQL-клиника Некоторые сценарии практического использования DAX в PowerPivot 18:00 Закрытие конференции 18:15 Кофе-брейк 18:30 Лабораторные работы Не забудьте начать запись доклада! Аппаратные решения HP для платформы Microsoft BI Игорь Подуков Hewlett-Packard Игорь Подуков Hewlett-Packard Технический консультант Факты из биографии: Опыт работы в сфере ИТ – более 6 лет Опыт работы с оборудованием HP – более 4 лет E-mail: igor.podukov@hp.com Содержание Введение Обзор FTDW Обзор PDW Обзор Appliance for PowerPivot Жизненный цикл данных Хранение информации Обработка транзакций • Улучшение обслуживания клиентов • Обработка большего числа транзакций • Увеличение доходов и рост лояльности • Управление данными и обеспечение совместимости • Защита целостности данных OLTP systems Data Warehouse Customer registration, e-commerce website, point of sale systems Transaction, inventory, financial, manufacturing data Анализ способствует оптимизации бизнеспроцессов и повышению производительности Data marts and cubes BI Tools Microsoft PowerPivot и аналитические инструменты Excel Генерация отчетов • Создание отчетов в реальном времени с минимальной поддержкой IT • Генерация решений, которые ведут к повышению числа транзакций, росту прибыли и формированию конкурентных преимуществ Семейство решений для управления данными Решения для управления данными от HP и Microsoft Custom Solutions Reference Architectures Pre-Integrated Appliances Data Warehouse Fast Track Data Warehouse Уменьшение времени, стимости и сложностей в выборе и конфигурировании аппаратной платформы для SQL Server DW HP Enterprise Data Warehouse Appliance Оптимизирован под SQL Server 2008 R2 Parallel Data Warehouse Снижение сложности и затрат в развертывании больших хранилищ данных с лидирующими показателями стоимость/производительность и missioncritical поддержкой Business Intelligence HP Business Decision Appliance оптимизировано под SQL Server 2008 R2 и SharePoint Server 2010 Позволяет бизнеспользователям с помощью PowerPivot создавать отчеты по бизнес-даннымс минимальной поддержкой IT подразделения Преимущества использования полностью оптимизированной инфраструктуры Accelerate Time to Value Optimize Performance Bigger business impact out of the box Simplify Operations Minimize Risk Обзор FastTrack DW Некоторые хранилища данных сегодня Большое SAN хранилище и большой SMP сервер соединенные вместе Что не так с этой картиной? Ответ: система не сбалансирована Сервер может обеспечить 12 GB/Sec IO, а SAN только 2 GB/Sec Даже если SAN отведена только под SQL Data Warehouse, что зачастую не так Запросы обрабатываются медленно Несмотря на значительные вложения в серверы и систему хранения данных Результат: значительные вложения, не гарантирующие прирост производительности CPU Feed Rate A B FC HBA A B SQL Server Read Ahead Rate HBA Port Rate DISK A B STORAGE CONTROLLER CACHE FC HBA FC SWITCH CPU CORES WINDOWS SQL SERVER CACHE SERVER Потенциальные узкие места для производительности DISK A LUN A B DISK DISK B LUN Switch Port Rate SP Port Rate LUN Read Rate Disk Feed Rate Зачем нужны SMP рекомендованные архитектуры? Сбалансированы между всеми компонентами Подробно описаны Основаны на последовательном вводе/выводе и нагрузке, характерной для ХД Ниже стоимость владения (TCO) Масштабируемость и производительность Альтернатива: сбалансированная система Подбор общей конфигурации сервера + системы хранения данных из соображений соответствия производительности СХД и вычислительных возможностей сервера Исключаются проблемы с производительностью, которые возникают при использовании общего хранилища данных (shared storage) Исключаются переплаты благодаря оптимизации хранилища и сервера под конкретный тип нагрузки Компоненты сбалансированной архитектуры Компонент Сбалансирован под… CPU Максимизация использования кэшированных данных Controller (Service Processor) Пропускная способность, необходимая для оптимальной загрузки процессорных ядер HBA Совокупная пропускная способность, соответсвующая нагрузке, которую будут обеспечивать контроллеры массива Switch Соответсвуют совокупной пропускной способности HBA и оптимизированы под операции последовательного ввода-вывода Disks Совокупная пропускная способность контроллеров массива/объему базы данных HP SQL Server Fast Track Data Warehouse Масштабируемые, заранее протестированные, экономически выгодные, сбалансированные модели для (SMP) SQL Server 2008 Data Warehouse Легкость развертывания решения “из коробки” для малых и средних хранилищ данных Предсказуемые показатели производительности Экслюзивно разработано для работы с последовательными запросами Минимальные стоимость, риски и время ввода в эксплуатацию Предоставляются сервисы по внедрению и поддержке Scale UP Область действия FastTrack DW Системы хранения аналитических данных Пакеты загрузки Integration Services Путь данных Кубы Analysis Services Выделенные SAN, массив хранения Хранилище данных, Промежуточная область, Пакетная загрузка Область действия рекомендованных архитектур (пунктиром) Системы презентационного уровня Данные для отображения Поддерживающие системы Инструменты веб-анализа Reporting Services SharePoint Services Microsoft Office SharePoint PerformancePoint Excel Services DW versus OLTP Database Database Designed for analytical operations: Strategic focus Optimized for bulk load and large, complex, unpredictable queries Fewer concurrent users relative to OLTP Designed for operational requirements: Tactical focus Optimized for transactions: “single row” entry and retrieval Thousands of concurrent users Storage Emphasizes transactional performance Optimized for disk seek over scan operations Storage optimization focused on I/O operations/s (IOPs) Primary focus on Read operations Optimized for disk scan over seek operations Storage optimization focused on disk scan rate (MB/s) Storage Компоненты хранилища данных Fast Track Программное обеспечение: SQL Server 2008 Enterprise Windows Server 2008 Руководства по конфигурированию: Структура таблиц Индексы Сжатие Настройки SQL Server Настройки Windows Server Загрузка Аппаратное обеспечение: Жесткие спецификации для серверов, устройств хранения, сети Построение «от процессора» Архитектура решения Fast Track DW Рекомендуемые конфигурации HP SQL Server Fast Track HP Fast Track Data Warehousing: Рекомендуемые конфигурации для ProLiant G7 Масштабирование от SMB до Enterprise Конфигурации для хранения до 80TB при лучшем соотношении стоимость/производительность HP предоставляет рекомендации по конфигурированию, оптимизации производительности и best practices по установке, работе и управлению. Сбалансированные по пропускной способности конфигурации Entry DW 1– 14TB DL370 G6 w/ D2700 Basic SMP up to 20TB DL38x G7 w/ P2000 G3 Mainstream SMP Up to 40TB DL58x G7 w/ P2000 G3 Premium SMP Up to 80 TB DL980 G7 w/ P2000 G3 HP Business Data Warehouse Appliance Оптимизирован для SQL Server 2008 R2 Доступное хранилище данных в предварительно настроенном, оптимизированном едином корпусе Доступное, простое решение: позволяет сделать DW широкодоступным, предлагается в пъедестальном варианте и варианте для установки в серверную стойку Простота установки: Предварительно сконфигурированное аппаратное решение и автоматизированные установочные скрипты исключающие сложность Защита инвестиций: выгодное масштабирование от 1 до 16 TB для обработки растущего объема данных SKUs Components Starter DW Appliance Server HP ProLiant DL370 G6 with X5570 processors, 64GB RAM Storage HP StorageWorks D2700 (2U), 24 x internal 450 or 600GB SFF SAS disks with Smart Array P410 controllers. Software Windows Server 2008 R2 Enterprise Edition, SQL Server 2008 R2 Enterprise Edition, custom scripts and code for installation and data loading Infrastructure None (install in existing rack, or ML packaging option) Services Solution support from basic to Mission Critical Expansion SKUs • External storage shelf with 25 SFF disks to balance solution, grow up to 16TB • D2D Backup device add-on Basic Intel Reference Configuration • Server: HP ProLiant DL380 G7 - 2 x 6-core Intel Xeon processors - 96GB DIMM, 384GB Max. - 3 x 8Gb Dual Port FC HBA - 3 x 72GB SAS 15k • Storage: 3 x HP P2000 G3, 68 x HDDs • Scalability: 8 – 16TB Basic AMD Reference Configuration • Server: HP ProLiant DL385 G7 - 2 x 12-core AMD Opteron processors - 96GB PC3-10600 RDIMM, 384GB Max. - 3 x 8Gb Dual Port FC HBA - 3 x 72GB SAS 15k • Storage: 3 x HP P2000 G3, 68 x HDDs • Scalability: 8 – 16TB Basic RC P2000 G3 MSA FC LUN Layout Mainstream Intel Reference Configuration • Server: HP ProLiant DL580 G7 - 4 x 8-core Intel Xeon processors - 192GB DIMM, 1TB Max. - 5 x 8Gb Dual Port FC HBA - 3 x 72GB SAS 15k • Storage: 6 x HP P2000 G3, 126 x HDDs • Scalability: 20 – 40TB Mainstream AMD Reference Configuration • Server: HP ProLiant DL585 G7 - 4 x 12-core AMD Opteron processors - 128GB DIMM, 512GB Max. - 5 x 8Gb Dual Port FC HBA - 3 x 72GB SAS 15k • Storage: 6 x HP P2000 G3, 126 x HDDs • Scalability: 20 – 40TB Mainstream RC P2000 G3 MSA FC LUN Layout Premium Intel Reference Configuration • Server: HP ProLiant DL980 G7 - 8 x 8-core Intel Xeon processors - 512GB DIMM, 2TB Max. - 9 x 8Gb Dual Port FC HBA - 3 x 72GB SAS 15k • Storage: 12 x HP P2000 G3, 252 x HDDs • Scalability: 40 – 80TB Premium RC P2000 G3 MSA FC LUN Layout Обзор EDW HP Enterprise Data Warehouse Appliance Трансформация сегодняшнего SQL ДО • Отсутствует единое представление данных в пределах предприятия • Несколько изолированных витрин данных SQL • Проприетарные, дорогостоящие EDW устройства ПОСЛЕ Самое масштабируемое в мире, простое в управлении решения для хранения данных enterprise уровня HP Enterprise Data Warehouse Appliance ПОЛНОТА • Устройство для хранения данных из серии “все в одном” для критически важных сред ПРОСТОТА • Единое представление информации в рамках предприятия МАСШТАБИРУЕМОСТЬ • Архитектура MPP масштабируется от 37TB до более чем 500TB Symmetric Multi-Processing vs. Massively Parallel Processing SMP (SQL Server, Fast Track) Аппартное решение оптимизировано под вертикальное масштабирование (масштабирование ограничено архитектурой) MPP (PDW) Аппартное решение оптимизировано под вертикальное и горизонтальное масштабирование (до 1 PB+) Параллелизм для простых нагрузок Параллелизм для комплексных нагрузок Ограниченный десятками TB объем От 100TB до 1PB Полная функциональность SQL Server Ограниченная функциональностьSQL Server HA должно быть учтено при построении решения HA встроено! OLTP, Transactional, Data Warehousing Parallel Data Warehousing (esp. VLDB, complex workloads) HP Enterprise Data Warehouse Appliance Отличительные особенности ПРОИЗВОДИТЕЛЬНОСТЬ • Высокая производительность и быстрые отклики на запросы МАСШТАБИРУЕМОСТЬ • Масштабируемость без влияния на производительность СТОИМОСТЬ ТЕРРАБАЙТА • Решение entarprise-класса с лучшим соотношением $/TB ЗНАКОМЫЙ ИНСТРУМЕНТАРИЙ SQL • Используются известные инструменты Состав HP Enterprise Data Warehouse Offer Components Control rack Servers 2 x HP ProLiant DL360 G7; 1 x DL370 G6; 3 x DL380 G7 Storage HP StorageWorks P2000 G3 (+ internal) storage Software * Microsoft SQL Server 2008 R2 Parallel Data Warehouse Infrastructure Infiniband, FC, Ethernet switching, 42u rack Servers 10 active + 1 passive HP ProLiant DL360 G7 compute nodes Storage 10 x HP StorageWorks MSA P2000 G3 Software * Microsoft SQL Server 2008 R2 Parallel Data Warehouse Infrastructure Infiniband, FC and Ethernet switching, 42u rack Data rack Expansion SKUs Grow from 1 – 4 data racks, backup options, test/dev system Services Industry-leading reactive and mission critical support jointly delivered by HP and Microsoft to provide integrated and end-to-end coverage of both the hardware and software components of the appliance * Software license must be purchased to activate pre-installed software What you get • Parallel Data Warehouse; massively scalable appliance incorporating servers, storage, interconnects and software pre-loaded, integrated tested and tuned at the factory • Dedicated storage ensures high performance • Scales up to 37-125+TB per rack for lower TCO • Site assessment prior to deployment, followed by on-site install by HP • System is ready for data loading in up to one week Data Rack (не доступно извне) Control node Where clients apps connect MPP engine runs here Controls DMS on all nodes Central point for all HW monitoring Control Rack Control Nodes Database Nodes Storage Nodes HP ProLiant DL HP P2000 G3 SQL HP ProLiant DL Active / Passive SQL Client Drivers SQL SQL SQL Holds S/W images if a node needs reimaging Data Center Monitoring Landing Zone ETL Load Interface Staging place: data loading Dual Infiniband S/W upgrades; patch deployment staging place SQL SQL SQL Dual Fibre Channel Management Servers SQL SQL (Accessible to outside world) Backup Node Corporate Backup Solution Corporate Network SQL Compute nodes: Spare Database Node Backup file storage Accessible to outside world Store user data; Perform local query processing; Run data movement service Private Network Архитектура вычислительного узла Enterprise Class DBMS Dual Multi-Core Processors TempDB Workspace HP ProLiant DL HP P2000 G3 Current Hardware Options Model Form Factor CPU Total Cores Memory Local Storage (TempDB) DL360 G7 1U Intel Nehalem 8 Cores Hyper threaded 72 GB 6 – 300GB 10K SAS HP P2000 G3 (10 Arrays/Rack) Drive Capacity Spindle Speed Bus Rack Capacity With 3.5X Compression 300GB 15K SAS 32TB 450 GB 15K SAS 45 TB 1 TB 7.2K SAS 100 TB Программная архитектура MPP engine: Создание appliance-wide планов распараллеливания запросов Координирует параллельное выполнение запросов Координирует параллельное выполнение транзакций Хранит метаданные и конфигурационные данные Отслеживает статус аппартных и программных средств Data Movement Service (DMS) Копирует данные между узлами устройства Планирование операций передачи данных и запросов Подход к размещению данных Replicated Табличная структура, которая существует в виде полной копии на каждом из узлов PDW. Distributed Табличная структура, которая разделяется на отдельные столбцы и равномерно распределяется между всеми узлами PDW. Каждое распределение представляет собой отдельную физическую таблицу в DBMS. Ultra Shared Nothing Способность создавать схему из распределенных и реплицированных таблиц для минимизации премещений данных между узлами. Малые порции данных более эффективно хранить полностью (реплицированно). Преимущество PDW – Massive Parallel Processing Control Rack Data Rack Storage Nodes Compute Nodes Control Nodes SQL Management Servers Landing Zone Backup Node Dual Infiniband SQL ? ? ? ? ? ? ? ? ? ? SQL SQL SQL SQL SQL SQL SQL Dual Fiber Channel Active / Passive Query 1 Query 1 is submitted to SQL Server on Control Node SQL SQL Spare Compute Node Private Network Query is executed on all 10 Nodes Results are sent back to client Преимущество PDW – Massive Parallel Processing Control Rack Data Rack Storage Nodes Compute Nodes Control Nodes Active / Passive ? SQL SQL ? Landing Zone ? ? Backup Node SQL SQL Dual Infiniband ???? ???? Management Servers ? ???????? ???????? ???????? ???????? ???????? ???????? ???????? ???????? ???????? ???????? PDW supports querying while data is loading. SQL SQL SQL SQL Dual Fiber Channel ? SQL SQL SQL ? ? Spare Compute Node Private Network Multiple queries are simultaneously executed across all nodes. Архитектура “Звезда” (Hub and Spoke) – Устройство MPP выступает в виде центрального “хаба”, который публикует данные по необходимости различным бизнесподразделениям и департаментам (“spokes” ) – Позволяет архитектуре DW лучше соответсвовать структуре большого предприятия Предоставляет централизованное EDW и зависимые витрины данных – Интегрирует SMP и MPP системы Все системы соединены выделенной высокоскоростной сетью Множественнные рабочие нагрузки на разных системах Параллельное копирование баз данных – скорости порядка 500 GB/min Parallel Data Warehouse - Hub and Spoke Existing SMP data marts can be redeployed and “plugged in” to the MPP cluster as “spokes”, receiving data from the MPP “hub” 45 Departments or business units keep their existing data marts HP/Microsoft Parallel Data Warehouse Масштабируемое хранилище данных от десяток до сотен ТБ Предсказуемая, выдающуяся производительность по низкой цене за терабайт Повышенная гибкость при использовании схемы “Звезда” (Huband-Spoke) Позволяет быстро и просто внедрить решение для хранения данных enterprise-класса на базе конвергентной инфраструктуры HP для достижения лучших результатов в бизнесе BI Appliance Проблема: остутсвие представления данных в реальном времени Пользователи не могут быстро получить доступ к данным для принятия верных решений Marketing Strategy Необходимо оценивать результаты кампаний по регионам Необходимо сопоставлять рыночные и конкурентные данные IT HR Нужно моделировать сценарии кжалований Finance Необходимо единое представление о финансовом состоянии IT перегружено запросами на создание специфических отчетов BI решение: уполномоченные конечные пользователи Уполномоченные пользователи могут сами формировать представления данных Marketing Анализ кампаний в реальном времени Share Point Power Pivot Excel SQL Server DB Self-Service BI Appliance HR Генерация интерактивных моделей “на лету” Strategy Соспоставление данных истории и нахождение тенденций Finance IT IT освобождается для выполнения основных задач Извлечение данных из нескольких источников для формирования отчетов HP Business Decision Appliance Оптимизирован для SQL Server 2008 R2 и SharePoint Server 2010 1 час на инсталляцию от начала до конца 100% совместимо с имеющейся инфраструктурой Microsoft 1,000 пользователей поддерживается одним устройством HP Business Decision Appliance COMPLETE SIMPLIFIED • • Business Insight in a box Easily gather, use and manage data with familiar Excel-based tools FOR ANY SCALE Ideal for midmarket, departmental and branch office HP Business Decision Appliance Ключевые отличия READY TO DELIVER BUSINESS INSIGHT • Up and running in less than an hour with minimal keystrokes LEVERAGES EVERYDAY TOOLS • Analyze millions of rows of data and share the results, all at your fingertips RISK FREE DATA ANALYSIS FOR ANY USER • Built in IT control via management dashboard Состав HP Business Decision Appliance Offer Components Business Decision Appliance Server HP ProLiant DL360 G7 (X5650 processor) with 96GB RAM Storage 8 x internal 300GB SFF 6G SAS disks Software* Windows Server 2008 R2 Enterprise Edition, SQL Server 2008 R2 Enterprise Edition, SharePoint Server 2010 HP Insight Control Infrastructure None (install in existing rack) Services HP 3 year 24x7 hardware and software support with 4 hour on-site hardware response is included. HP support covers all components of the appliance, including the Microsoft software. * Software license must be purchased to activate pre-installed software What you get • Manipulate and share massive PowerPivot workbooks (up to millions of Excel rows) with ease for <1,000 users • View and edit workbooks via web browser, no Office 2010 upgrade needed • Optimized configuration includes server, storage, and software pre-loaded, integrated tested and tuned at the factory • Automated installation wizard speeds startup, management dashboard eases ongoing administration HP Business Decision Appliance Что установлено? SharePoint 2010 VL SQL Server 2008 R2 VL With PowerPivot for SharePoint and all the SharePoint Prereqs Windows Server OEM HP hardware Note: PowerPivot server components are installed and configured. These components have no cost to the customer. Возможности Microsoft Power Pivot Уполномоченные пользователи могут генерировать необходимое представление бизнес-данных с минимальным участием IT. Обработка огромных порций данных за секунды, используя новые аналитические возможности, такие как Data Analysis Expressions (DAX). Уполномоченные пользователи теперь имеют возможность самостоятельно использовать знакомые инструменты, такие как Microsoft Excel и SharePoint, для обработки больших объемов информации, позволяя IT освободиться от формирования отчетов и переключиться на решение стратегических IT-задач. Рабочие книги, расположенные на Microsoft SharePoint, легкодоступны, упрощая взаимодействие и ускоряя принятие решения. Рабочие книги автоматически обновляются при изменениии в источниках данных. Power Pivot для SharePoint Содействует обмену знаниями и сотрудничеству по генерируемым пользователями решениям BI Повышается эфективность управления. Обеспечивается надежного доступа к достоверным данным. Основано на стандартных функциях SharePoint. Обеспечивается целостность и безопасность данных. HP Business Decision Appliance Вы приобретаете HW и сервисы от HP, а лицензии от Microsoft HP Microsoft • HP Business Decision Appliance • HP Part # BW876A • Включено: • Acquire the SQL Server 2008 R2 Enterprise • HP Hardware licenses • Windows Server OEM, лицензированный • Either Server + CAL (for all users), or • Предустановленные SQL Server 2008 R2 • Processor license, 2 processors и SharePoint Server 2010 – без лицензии, • … no minimum CAL purchase • 3 года Support Plus 24 на все программное • Acquire the SharePoint 2010 licenses и аппартное обеспечение • SharePoint Server 2010 • Acquire Windows Server CAL – most existing • SharePoint sCal (for all users) customers will have WS CALs for all their • SharePoint eCal (for all users) employees • … no minimum CAL purchase Ответы на вопросы Спасибо за внимание! Игорь Подуков Hewlett-Packard E-mail: igor.podukov@hp.com 9:30 Приветственный кофе 10:00 Ключевой доклад 11:45 Аппаратные решения HP для платформы Microsoft BI Microsoft Excel как OLAP клиент. Преодоление ограничений Обед 12:45 13:30 Методика построения хранилищ данных на FastTrack DW и PDW Анализ «что-если» в Excel 2010 и OLAP write-back в планировании продаж 14:45 Реляционное моделирование для больших хранилищ данных Прогнозирование навигации на сайте (Data Mining) Кофе-брейк 16:30 17:00 Анализ вторичных продаж на базе SQL Server 2008 R2 SQL-клиника Некоторые сценарии практического использования DAX в PowerPivot 18:00 Закрытие конференции 18:15 Кофе-брейк 18:30 Лабораторные работы