Семейство СУБД IBM: обзор возможностей Сергей Лихарев IBM Information Management Software SLikharev@ru.ibm.com May 6, 2016 © 2009 IBM Corporation IBM Information Management Software Information On Demand Полный спектр возможностей по управлению информацией Анализ финансовых рисков Прибыльность продуктов и клиентов Оптимизация операций Оптимизация бизнеса Решения IBM Эффективность маркетинга Industry Models, Blueprints & Frameworks IBM Cognos 8 BI IBM Cognos Financial Performance Management IBM InfoSphere Warehouse IBM InfoSphere MDM Server IBM Information Server Flexible Architecture for Leveraging Existing Investments DB2, IMS, Informix IBM Content Manager, IBM FileNet Other Information & Application Sources 2 © 2009 IBM Corporation IBM Information Management Software Information On Demand Полный спектр возможностей по управлению информацией Анализ финансовых рисков Прибыльность продуктов и клиентов Оптимизация операций Оптимизация бизнеса Решения IBM Эффективность маркетинга Industry Models, Blueprints & Frameworks IBM Cognos 8 BI IBM Cognos Financial Performance Management IBM InfoSphere Warehouse IBM InfoSphere MDM Server IBM Information Server Flexible Architecture for Leveraging Existing Investments DB2, IMS, Informix IBM Content Manager, IBM FileNet Other Information & Application Sources 3 © 2009 IBM Corporation IBM Information Management Software Решения IBM для управления данными Больше бизнес ценности, быстрее и с меньшими затратами Бизнес ценность Design Умнее Optimize Быстрее Operate Develop Standards Models Policies Deploy Дешевле Инновации в СУБД 4 Интегрированное управление данными © 2009 IBM Corporation IBM Information Management Software IBM Database Software Управлять данными умнее, быстрее и с меньшими затратами solidDB: Исключительная скорость Informix: Установи и забудь Оптимизирована для высокопроизводительных транзакционных систем с минимальными требованиями по администрированию Оптимизирована для решений, требующих исключительную скорость – производительность СУБД в оперативной памяти до 10 раз выше производительности СУБД с записью на диск U2: Гибкие данные Оптимизирована для быстрой разработки приложений, требующих данные с записями переменной длины DB2: Выше производительность. Ниже затраты Оптимизирована для высокой производительности при обработке транзакций и аналитических решений, низкая стоимость обработки данных 5 IMS: Непревзойденные объемы и скорость Оптимизирована для решений, требующих наивысших показателей по скорости и объему обработки транзакций © 2009 IBM Corporation IBM Information Management Software IBM DB2 Сокращение операционных затрат Сокращение затрат Надежность Автоматизация задач DBA, оптимизация хранения, производительность. Высокая надежность, доступность и безопасность. Легкость использования Поддержка разработчиков, XML данные “We ended up choosing DB2 for several reasons. One was reliability, second was performance and perhaps the most important factor was ease of use” – Bashir Khan, Director of Data Management and Business Intelligence 6 © 2009 IBM Corporation IBM Information Management Software Позвольте DB2 настраивать себя, а сами сосредоточьтесь на бизнесе Self Tuning Memory Manager – Настройка DB2 без участия DBA – В течение минут запустите систему даже без наличия глубоких знаний и специальных тренингов Легкая конфигурация – Configuration Assistant – Автоматическое управление хранением – Помощники в настройке 7 1. Сокращение затрат © 2009 IBM Corporation IBM Information Management Software Значительная экономия с технологией сжатия “We're seeing compression rates up to 83% on the data warehouse tables. The projected cost savings are more than $2million initially with ongoing savings of $500,000 a year“ —Michael Henson, SunTrust Bank, Inc. Сокращение затрат на подсистему хранения – Экономия 30% затрат на хранение по сравнению с Oracle Database Повышение производительности • 1.5 Times Better 3.3 Times Better 8.7 Times Better Повышение использования буферного пула и сокращение ввода/вывода Ускорение резервного копирования и восстановления DB2 9 8 2.0 Times Better 1. Сокращение затрат Other © 2009 IBM Corporation IBM Information Management Software New Дальнейшее улучшение ведущих технологий сжатия – Различные алгоритмы для автоматического сжатия индексов Нет аналогов в отрасли – Автоматическое сжатие временных таблиц Temp Table Order By Table Order By Temp Нет аналогов в отрасли – Интеллектуальное сжатие больших объектов и XML 9 1. Сокращение затрат © 2009 IBM Corporation IBM Information Management Software New Безопасность на новом уровне 2.10 Надежность Подсистема безопасности переработана под сценарии использования локальных, удаленных и внешних ИТ специалистов Настройка всех групп безопасности DB2 в соответствии с потребностями организации Тонкая настройка уровня контроля по каждому уровню безопасности Новые группы безопасности в соответствии с современными потребностями компаний © 2009 IBM Corporation IBM Information Management Software Высокая доступность Очень быстрое восстановление в течение секунд Управление плановыми и внеплановыми отказами Легкость добавления – Без переписывания приложения – Не требуется специального оборудования – Установка с помощью графического помощника в течение минут – Система может быть распределенной Keep Servers Synchronized Primary Standby “One of the major advantages of DB2 is that we get a disaster recovery solution for our SAP system with HADR at no extra cost.” —Gustav Elias, Austrian Railways 11 2. Reliable © 2009 IBM Corporation IBM Information Management Software Лидерство по производительности обработки транзакций с XML Легкая разработка и интеграция – Нет сложных реляционных схем – Нет парсинга при извлечении Эффективное хранение – Всего 440GB объема хранения в тесте 1TB XML Высокая производительность – 6,763 транзакций в секунду в тесте 1TB XML DB2 “With [DB2’s] ability to process pureXML, our customers are seeing 5 to 10 times performance improvements.” —Keith Feingold, CEO, Skytide 3.12Легкость использования © 2009 IBM Corporation IBM Information Management Software New Легкая работа с XML в хранилище данных Использование данных XML в задачах анализа – Высокая производительность аналитических запросов по XML данным – Полная поддержка XML в разделах данных, range partitions, database views, multi-dimensional clustering – Улучшенное сжатие данных и индексов XML “The new release of DB2 is outstanding for its data warehousing functionality...” —Jean-Marc Blaise, Venedim “The parallelization of queries and inserts of the XML data will allow our researchers to gain access to the data they require even faster...” —Tom Holdener, BJC HealthCare 13 3. Легкость использования © 2009 IBM Corporation IBM Information Management Software Ускорение разработки приложений New Легкая разработка и развертывание приложений – Поддержка всех последних языков и версий – Поддержка сред разработки, включая Visual Studio 2008, Eclipse, и pureQuery – Поддержка разных SQL диалектов и процедурных языков Легкое создание Web сервисов Большой выбор языков и API – SQL, XQuery, XPath, CLPPlus, JDBC, SQLJ, ODBC, ADO, .NET, CLI, OLE-DB, and more Univar increased developer productivity by 25-50%. They reduced development costs by 35-45%. 3.14Легкость использования © 2009 IBM Corporation IBM Information Management Software New Модель конкурентного доступа в соответствии с вашими потребностями Поддержка различных моделей “конкурентного доступа” позволяет… – Оптимизировать производительность для различных нагрузок – Устранить конфликты между запросами на Чтение и Запись Облегчение работы с DB2 для разработчиков приложений Log-based control – Нет накладных расходов по управлению – Нет накладных расходов по производительности – Проще чем Oracle Database rollback segments 15 3. Легкость использования © 2009 IBM Corporation IBM Information Management Software New Гибкая типизация данных Традиционно DB2 поддерживает строгую типизацию: – В соответствии по стандартом SQL Тенденция к слабому контролю типов: – например PERL, RUBY, PHP, etc. DB2 теперь поддерживает: – Легкое предобразование между типами данных Ваши приложения могут легче использовать DB2 Ваши разработчики могут легче использовать DB2 – например, не требуется изменений для приложений с Oracle Database “DATE” 3. Легкость использования 16 © 2009 IBM Corporation IBM Information Management Software IBM Database Software Управлять данными умнее, быстрее и с меньшими затратами solidDB: Исключительная скорость Informix: Установи и забудь Оптимизирована для высокопроизводительных транзакционных систем с минимальными требованиями по администрированию Оптимизирована для решений, требующих исключительную скорость – производительность СУБД в оперативной памяти до 10 раз выше производительности СУБД с записью на диск U2: Гибкие данные Оптимизирована для быстрой разработки приложений, требующих данные с записями переменной длины DB2: Выше производительность. Ниже затраты Оптимизирована для высокой производительности при обработке транзакций и аналитических решений, низкая стоимость обработки данных 17 IMS: Непревзойденные объемы и скорость Оптимизирована для решений, требующих наивысших показателей по скорости и объему обработки транзакций © 2009 IBM Corporation IBM Information Management Software Технический план развития Informix Инвестиции, инновации, новые возможности 2007 - 2008 Scale-out at lower costs (IDS 11) 2005 Optimized OLTP Engine (IDS 10) • Query performance improvement • Online index build • Multiple page size support for better space utilization • Enhanced buffer management • Increased security with column encryption • Disaster recovery with table level restore 2001 Informix acquisition • Multi-node active cluster for highavailability (MACH) 11 with multiple remote servers and shared disk cluster • Open source tool for administration, SQL Admin API to embed admin tasks • Improved checkpoint performance • Secured data encryption, LBAC, Common Criteria certification • Enhanced application development for SOA and XML • Web Feature Service support for geospatial applications 2009* Business Optimization Application Integration • Informix Warehouse • Grid Computing • Cognos integration • SOA enabled Database • Cloud Computing support • Enhanced Warehouse capabilities • Online Storage Optimization • Data Warehouse Appliance • Compression • Performance/Index advisor • Virtual Appliance • More XPS Features • XPS features • Red Brick Features • External Tables • Deeper Embed • In-memory support with solidDB • Automatic storage provisioning • Heterogeneous Replication via CDC • Installation API • 3-D Internet collaboration • Data Server Client • Embedability toolkit • solidDB • Security • Fine-grained Auditing • Text Search • Trusted context • MQ Support • Retail Integration Framework • Carrier Grade Edition • Automatic Fragmentation • Conversion of ASCII DBs to UTF-8 *возможны изменения в планах 18 Futures* and more… © 2009 IBM Corporation 18 IBM Information Management Software Главный приоритет – непрерывность бизнеса Disaster Recovery (HDR) Enterprise Replication (ER) Remote Standalone Server (RSS) Shared Disk Secondary (SDS) 19 © 2009 IBM Corporation IBM Information Management Software Обработка отказа: High Availability Data Replication (HDR) Два идентичных сервера на двух одинаковых машинах – Primary Server – Secondary Server Когда Primary отказывает, secondary server принимает роль Primary. Primary Server – Полно функциональный сервер – Все операции по обработке данных • операции insert/update/delete – Посылает логи на secondary server Secondary Server – Только операции чтения – Всегда в режиме восстановления – Получает логи с primary и воспроизводит их для поддержания идентичности копии HDRTraffic Primary HDRSecondary Client Apps Blade Server A <New Orleans> Building-A 20 Blade Server B <Memphis> © 2009 IBM Corporation IBM Information Management Software Enterprise Data Replication (ER) Используется для разделения нагрузки – Active/active updates Гибкая настройка и использование подмножеств данных Возможность обновления в любом узле – Синхронизация с глобальными данными – Очень малая задержка Совместима с другими технологиями высокой доступности IDS – Возможность обеспечения защиты коммуникаций Параллельное обновление таблиц на целевом сервере Встроенная проверка контрольных сумма 21 © 2009 IBM Corporation IBM Information Management Software Remote Standalone Server (RSS) Общее с HDR – Поддерживает полную дисковую копию БД – Создается путем backup/restore БД – Может использоваться для: • Дополнительной резервной копии • Получения отчетов • Балансировки нагрузки – Отлично подходит для восстановления после сбоя Отличие от HDR – Использует full duplex communication (SMX) • Лучшее поддерживает плохие каналы связи – Не поддерживает синхронный режим – Не может стать primary • Может стать только HDR secondary – Фокус на Disaster Recovery, а не HA – Поддерживается любое количество RSS копий RSS может быть скомбинирован с HDR Secondary – RSS может быть преобразован в HDR Secondary – HDR Secondary может быть преобразован в RSS 22 © 2009 IBM Corporation IBM Information Management Software Shared Disk Secondary (SDS) HDR поверх Shared Disk Subsystem Primary передает текущий log sequence number (LSN) по мере генерации SDS копии получают LSN от primary и читают логи с общего диска SDS копии применяют изменения логов к их локальным buffer cache SDS копии отправляют подтверждение LSN на primary 23 © 2009 IBM Corporation IBM Information Management Software IDS Global Availability Fabric Полный набор опций высокой доступности Client Apps HDR Traffic Primary HDR Secondary Primary Client Apps CAF Offline Blade Server A <New Orleans> Building-A Shared Disk HDR Traffic Shared Disk Blade Server C <Memphis> RSS Traffic Shared Disk Mirror CAF HDR RSS Secondary Offline DBA Blade Server B <New Orleans> Building-B OAT Shared Disk Blade Server D <Denver> Disaster Strikes New Orleans HDR Secondary The and System RSS Nodes Promoted HDR Traffic Local Add Resumes, aInitial Failover Loose Local Node Clients Continue Add Connect aClients Local New Copy Clients inConnectivity Denver Сократить затраты за The счет Rest Add Blade of Capacity the Servers Clients без Continue изменения приложений HDR/RSS Replication Stops 24 Client Apps © 2009 IBM Corporation IBM Information Management Software IBM Database Software Управлять данными умнее, быстрее и с меньшими затратами solidDB: Исключительная скорость Informix: Установи и забудь Оптимизирована для высокопроизводительных транзакционных систем с минимальными требованиями по администрированию Оптимизирована для решений, требующих исключительную скорость – производительность СУБД в оперативной памяти до 10 раз выше производительности СУБД с записью на диск U2: Гибкие данные Оптимизирована для быстрой разработки приложений, требующих данные с записями переменной длины DB2: Выше производительность. Ниже затраты Оптимизирована для высокой производительности при обработке транзакций и аналитических решений, низкая стоимость обработки данных 25 IMS: Непревзойденные объемы и скорость Оптимизирована для решений, требующих наивысших показателей по скорости и объему обработки транзакций © 2009 IBM Corporation IBM Information Management Software Реляционные СУБД поддерживают корпоративные приложения ERP CRM • General Ledger, Cash Management, Accounts Payable, Accounts Receivable, Fixed Assets, Human Resources, Payroll • Sales and Marketing, Commissions • Service • Customer Contact and Call Center support Data Warehousing • Canned reports • Ad-hoc Reporting • OLAP • Data Mining Ведущие СУБД эффективно поддерживают От сотен до тысяч пользователей Время отклика от миллисекунд до секунд Тысячи транзакций в минуту 26 © 2009 IBM Corporation IBM Information Management Software Количество пользователей и объемы данных растут Производительность должна вырасти в 10 раз Communications Онлайн списания денег • Аутентификация и авторизация • Управление балансом • Объемные скидки • 100,000 до 1,000,000ов конкурентных запросов • Десятки микросекунд на доступ к БД 27 Financial Services Брокерские приложения • Получение данных с рынка • Оценка позиций • Проверка на fraud • Проверить 30,000+ правил на 500 операций в секунду для 15 миллионов операций в день Web 2.0 Online Retail Web Site • Идентифицировать пользователя • Персональные списки • Кросс продажи • Facebook: 10,000,000 конкурентных сессий = 2 миллиарда просмотров в день • Wikipedia: 3000 страниц в секунду и 25,000 SQL запросов в секунду © 2009 IBM Corporation IBM Information Management Software Решение: реляционная СУБД в оперативной памяти Обработка критических данных в десятки раз быстрее Throughput of Tens of Thousands of Transactions per Second Response Times Measured in Microseconds 800 140,000 600 120,000 100,000 80,000 60,000 40,000 20,000 0 28 500 501 400 300 200 132 100 26 0 0 691 700 Microseconds Transactions per second 160,000 Time In-memory database Disk-based database Select Update In-memory cache + disk-based database Disk-based database © 2009 IBM Corporation IBM Information Management Software IBM solidDB Universal Cache App App App Universal Cache 29 Универсальный кэш – Ускоряет IBM DB2 for z/OS, DB2 for LUW, IDS, Microsoft, Oracle, and Sybase Высокая скорость – Десятки тысяч транзакций в секунду – Время отклика в микросекундах – Критические данные близко к приложению Адаптивность – Подстраивается под различные потребности приложений – Гибкая настройка отображения схем данных – Горизонтальная и вертикальная масштабируемость Надежность – Обеспечивает высокую доступность данных © 2009 IBM Corporation IBM Information Management Software Как работает IBM solidDB Universal Cache App 2 solidDB Universal Cache загружает данные из основной БД 1 Администратор определяет критические данные и настраивает кэш 30 App App 3 Приложения могут соединяться как с кэшем, так и с основной базой для доступа и изменения данных Universal Cache 4 solidDB Universal Cache копирует данные между кэшем и основной БД © 2009 IBM Corporation IBM Information Management Software Решения IBM для управления данными Больше бизнес ценности, быстрее и с меньшими затратами Бизнес ценность Design Умнее Optimize Быстрее Operate Develop Standards Models Policies Deploy Дешевле Инновации в СУБД 31 Интегрированное управление данными © 2009 IBM Corporation IBM Information Management Software Текущие проблемы организации в управлении данными Управление рисками – Эффективно и безопасно управлять архивными данными – Обеспечить защиту частных данных – Быстрый ответ на запросы по аудиту данных Управление производительностью при росте объемов данных – Повышение производительности за счет перемещения исторических данных в архив – Выполнение Service Level Agreements (SLA) Контроль затрат – Сокращение затрат на инфраструктуру; использование многоуровневой системы хранения – Минимизация затрат на соответствие нормативным требованиям – Повышение эффективности разработчиков 32 © 2009 IBM Corporation IBM Information Management Software Complete Business Object Ссылочно-полный набор данных в таблицах и приложениях; включает метаданные Обеспечивает “исторический снимок” бизнес событий Поддержка сложных объектов, собранных из разных систем Payments 33 © 2009 IBM Corporation IBM Information Management Software Поддержка разнородных данных Захват связанных бизнес объектив из разных систем Retek / Oracle 34 Custom Inventory Management / DB2 Other apps / any DBMS © 2009 IBM Corporation IBM Information Management Software Корпоративная архитектура Независимая от платформы архитектура действует как центральная точка для извлечения, сохранения, восстановления и преобразования данных 35 © 2009 IBM Corporation Architecture IBM Information Management Software Архитектура Optim Optim Server Archive Archive Archive Archive ODM Optim Workstation Optim Universal Database Access Layer CRM 36 ERP Custom App Optim Directory Dev QA Enterprise Reporting Tools © 2009 IBM Corporation IBM Information Management Software Связи Primary Keys Database Alias Optim Directory Relationships 37 Связи автоматически находятся если первичные и вторичные ключи определены в БД. Пользовательские первичные ключи и связи могут быть определены в интерфейсе Optim или импортированы. Связи могут быть между базами данных (по DB Alias) © 2009 IBM Corporation IBM Information Management Software Архивирование и восстановление Extract Archive Production 38 Optim безопасно перемещает неактивные данные в архив Доступ к архиву возможен разными способами Restore Universal Access to Data E-Discovery © 2009 IBM Corporation IBM Information Management Software Optim Data Growth Solution: архивирование Production Historical Restored Current Archive Archives Historical Data Reference Data Reporting Data Selective Restore Universal Access to Application Data Application Application XML ODBC / JDBC Complete Business Object – исторический снимок активности Независимость системы хранения обеспечивает ILM Неизменяемый формат файла обеспечивает сохранность данных 39 © 2009 IBM Corporation IBM Information Management Software Test Data Management Extract Extract Files Production Load Insert / Update Compare Поддержка тестовых сред Быстрое и эффективное создание подмножеств данных нужного размера QA Dev Test 40 © 2009 IBM Corporation IBM Information Management Software Optim Test Data Management Production Application Optim Extract Optim Edit Copy Production Data for Testing Refine Data Data Fixes Optim Edit TEST Go Live Refresh Test Data Compare Results Optim Extract Optim Compare 41 © 2009 IBM Corporation IBM Information Management Software Optim Compare Master Copy Compare Files Reports Latest Test Поиск неожиданных изменений (или проверка ожидаемых) Для тестирования, контроля качества, проверки содержимого БД Сравнение одной или нескольких таблиц Создание отчета по операции сравнения 42 © 2009 IBM Corporation IBM Information Management Software Optim Data Privacy Solution Test Production Siebel / DB2 Siebel / DB2 EBS / Oracle Custom / Sybase Contextual, Application- Aware, Persistent Data Masking Custom / Sybase EBS / Oracle Замена конфиденциальной информации на фиктивные данные с помощью разных алгоритмов маскирования Целостность между средами Возможность тестирования вне организации Защита конфиденциальности данных в непродуктивных средах 43 © 2009 IBM Corporation IBM Information Management Software Деидентификация данных Может быть проведена – Во время извлечения данных из БД – Во время вставки/загрузки в БД – Как отдельный процесс на существующей БД Преобразование осуществляется с помощью : – Стандартных правил: Символы, Специальные списки, Выражения, Значения по умолчанию, Таблицы поиска – Специальные правила: номера страхования, адреса... – Пользовательские правила: user exits Преобразованными данными можно свободно обмениваться 44 © 2009 IBM Corporation IBM Information Management Software Целостность в масштабах организации Client Billing Application DB2 SSN#s SS#s 157342266 157342266 132009824 132009824 Маскированные данные целостные Data is masked 45 SSN#s SSN#s 134235489 134235489 323457245 323457245 © 2009 IBM Corporation IBM Information Management Software Решения IBM для управления данными Больше бизнес ценности, быстрее и с меньшими затратами Бизнес ценность Design Умнее Optimize Быстрее Operate Develop Standards Models Policies Deploy Дешевле Инновации в СУБД 46 Интегрированное управление данными © 2009 IBM Corporation Спасибо за внимание! СЕРГЕЙ ЛИХАРЕВ IBM Information Management Software Руководитель направления +7 495 775 88 00 ext 2299 May 6, 2016 © 2009 IBM Corporation E-mail: SLikharev@ru.ibm.com