Семейство СУБД IBM: обзор возможностей Сергей Лихарев IBM Information Management Software

Семейство СУБД IBM:
обзор возможностей
Сергей Лихарев
IBM Information Management Software
SLikharev@ru.ibm.com
May 6, 2016
© 2009 IBM Corporation
IBM Information Management Software
Information On Demand
Полный спектр возможностей по управлению информацией
Анализ финансовых
рисков
Прибыльность продуктов
и клиентов
Оптимизация
операций
Оптимизация
бизнеса
Решения IBM
Эффективность
маркетинга
Industry Models, Blueprints
& Frameworks
IBM Cognos 8 BI
IBM Cognos Financial
Performance Management
IBM InfoSphere Warehouse
IBM InfoSphere MDM Server
IBM Information Server
Flexible Architecture for Leveraging Existing Investments
DB2, IMS, Informix
IBM Content Manager,
IBM FileNet
Other Information
& Application Sources
2
© 2009 IBM Corporation
IBM Information Management Software
Information On Demand
Полный спектр возможностей по управлению информацией
Анализ финансовых
рисков
Прибыльность продуктов
и клиентов
Оптимизация
операций
Оптимизация
бизнеса
Решения IBM
Эффективность
маркетинга
Industry Models, Blueprints
& Frameworks
IBM Cognos 8 BI
IBM Cognos Financial
Performance Management
IBM InfoSphere Warehouse
IBM InfoSphere MDM Server
IBM Information Server
Flexible Architecture for Leveraging Existing Investments
DB2, IMS, Informix
IBM Content Manager,
IBM FileNet
Other Information
& Application Sources
3
© 2009 IBM Corporation
IBM Information Management Software
Решения IBM для управления данными
Больше бизнес ценности, быстрее и с меньшими затратами
Бизнес ценность
Design
Умнее
Optimize
Быстрее
Operate
Develop
Standards
Models
Policies
Deploy
Дешевле
Инновации в СУБД
4
Интегрированное управление
данными
© 2009 IBM Corporation
IBM Information Management Software
IBM Database Software
Управлять данными умнее, быстрее и с меньшими затратами
solidDB: Исключительная скорость
Informix: Установи и забудь
Оптимизирована для
высокопроизводительных
транзакционных систем с
минимальными требованиями по
администрированию
Оптимизирована для решений, требующих исключительную
скорость – производительность СУБД в оперативной памяти до 10
раз выше производительности СУБД с записью на диск
U2: Гибкие данные
Оптимизирована для
быстрой разработки
приложений, требующих
данные с записями
переменной длины
DB2: Выше производительность. Ниже
затраты
Оптимизирована для высокой производительности
при обработке транзакций и аналитических
решений, низкая стоимость обработки данных
5
IMS: Непревзойденные объемы и скорость
Оптимизирована для решений, требующих наивысших
показателей по скорости и объему обработки транзакций
© 2009 IBM Corporation
IBM Information Management Software
IBM DB2
Сокращение операционных затрат
Сокращение затрат
Надежность
Автоматизация задач
DBA,
оптимизация хранения,
производительность.
Высокая надежность,
доступность и
безопасность.
Легкость
использования
Поддержка
разработчиков,
XML данные
“We ended up choosing DB2 for several reasons. One was reliability, second
was performance and perhaps the most important factor was ease of use”
– Bashir Khan, Director of Data Management and Business Intelligence
6
© 2009 IBM Corporation
IBM Information Management Software
Позвольте DB2 настраивать себя, а сами
сосредоточьтесь на бизнесе
 Self Tuning Memory Manager
– Настройка DB2 без участия
DBA
– В течение минут запустите
систему даже без наличия
глубоких знаний и
специальных тренингов
 Легкая конфигурация
– Configuration Assistant
– Автоматическое
управление хранением
– Помощники в настройке
7
1. Сокращение затрат
© 2009 IBM Corporation
IBM Information Management Software
Значительная экономия с технологией сжатия
“We're seeing compression rates up to 83% on the data warehouse tables.
The projected cost savings are more than $2million initially with ongoing
savings of $500,000 a year“
—Michael Henson, SunTrust Bank, Inc.


Сокращение затрат на
подсистему хранения
– Экономия 30% затрат на
хранение по сравнению с
Oracle Database
Повышение
производительности
•

1.5 Times
Better
3.3 Times
Better
8.7 Times
Better
Повышение использования
буферного пула и сокращение
ввода/вывода
Ускорение резервного
копирования и
восстановления
DB2 9
8
2.0 Times
Better
1. Сокращение затрат
Other
© 2009 IBM Corporation
IBM Information Management Software
New
Дальнейшее улучшение ведущих технологий сжатия
– Различные алгоритмы для автоматического сжатия
индексов
Нет
аналогов в
отрасли
– Автоматическое сжатие временных таблиц
Temp
Table
Order By
Table
Order By
Temp
Нет
аналогов в
отрасли
– Интеллектуальное сжатие больших объектов и XML
9
1. Сокращение затрат
© 2009 IBM Corporation
IBM Information Management Software
New
Безопасность на новом уровне




2.10
Надежность
Подсистема безопасности переработана под
сценарии использования локальных,
удаленных и внешних ИТ специалистов
Настройка всех групп безопасности DB2 в
соответствии с потребностями организации
Тонкая настройка уровня контроля по
каждому уровню безопасности
Новые группы безопасности в соответствии
с современными потребностями компаний
© 2009 IBM Corporation
IBM Information Management Software
Высокая доступность



Очень быстрое восстановление в
течение секунд
Управление плановыми и
внеплановыми отказами
Легкость добавления
– Без переписывания приложения
– Не требуется специального
оборудования
– Установка с помощью графического
помощника в течение минут
– Система может быть
распределенной
Keep Servers
Synchronized
Primary
Standby
“One of the major advantages of DB2 is that we get a disaster recovery
solution for our SAP system with HADR at no extra cost.”
—Gustav Elias, Austrian Railways
11
2. Reliable
© 2009 IBM Corporation
IBM Information Management Software
Лидерство по производительности обработки
транзакций с XML
 Легкая разработка и интеграция
– Нет сложных реляционных схем
– Нет парсинга при извлечении
 Эффективное хранение
– Всего 440GB объема хранения в
тесте
1TB XML
 Высокая производительность
– 6,763 транзакций в секунду в тесте
1TB XML
DB2
“With [DB2’s] ability to process pureXML, our customers are seeing 5 to 10 times
performance improvements.” —Keith Feingold, CEO, Skytide
3.12Легкость использования
© 2009 IBM Corporation
IBM Information Management Software
New
Легкая работа с XML в хранилище данных
 Использование данных XML в задачах анализа
– Высокая производительность аналитических
запросов по XML данным
– Полная поддержка XML в разделах данных, range
partitions, database views, multi-dimensional
clustering
– Улучшенное сжатие данных и индексов XML
“The new release of DB2 is outstanding for its data warehousing functionality...”
—Jean-Marc Blaise, Venedim
“The parallelization of queries and inserts of the XML data will allow our researchers to gain
access to the data they require even faster...”
—Tom Holdener, BJC HealthCare
13
3.
Легкость использования
© 2009 IBM Corporation
IBM Information Management Software
Ускорение разработки приложений
New

Легкая разработка и развертывание
приложений
– Поддержка всех последних языков и версий
– Поддержка сред разработки, включая
Visual Studio 2008, Eclipse, и pureQuery
– Поддержка разных SQL диалектов и
процедурных языков

Легкое создание Web сервисов

Большой выбор языков и API
– SQL, XQuery, XPath, CLPPlus, JDBC, SQLJ,
ODBC, ADO, .NET, CLI, OLE-DB, and more
Univar increased developer productivity by 25-50%.
They reduced development costs by 35-45%.
3.14Легкость использования
© 2009 IBM Corporation
IBM Information Management Software
New
Модель конкурентного доступа в соответствии с
вашими потребностями
 Поддержка различных моделей
“конкурентного доступа”
позволяет…
– Оптимизировать
производительность для различных
нагрузок
– Устранить конфликты между
запросами на Чтение и Запись
 Облегчение работы с DB2 для
разработчиков приложений
 Log-based control
– Нет накладных расходов по
управлению
– Нет накладных расходов по
производительности
– Проще чем Oracle Database rollback
segments
15
3. Легкость использования
© 2009 IBM Corporation
IBM Information Management Software
New
Гибкая типизация данных
 Традиционно DB2 поддерживает строгую
типизацию:
– В соответствии по стандартом SQL
 Тенденция к слабому контролю типов:
– например PERL, RUBY, PHP, etc.
 DB2 теперь поддерживает:
– Легкое предобразование между типами
данных
 Ваши приложения могут легче
использовать DB2
 Ваши разработчики могут легче
использовать DB2
– например, не требуется изменений для
приложений с Oracle Database “DATE”
3. Легкость использования
16
© 2009 IBM Corporation
IBM Information Management Software
IBM Database Software
Управлять данными умнее, быстрее и с меньшими затратами
solidDB: Исключительная скорость
Informix: Установи и забудь
Оптимизирована для
высокопроизводительных
транзакционных систем с
минимальными требованиями по
администрированию
Оптимизирована для решений, требующих исключительную
скорость – производительность СУБД в оперативной памяти до 10
раз выше производительности СУБД с записью на диск
U2: Гибкие данные
Оптимизирована для
быстрой разработки
приложений, требующих
данные с записями
переменной длины
DB2: Выше производительность. Ниже
затраты
Оптимизирована для высокой производительности
при обработке транзакций и аналитических
решений, низкая стоимость обработки данных
17
IMS: Непревзойденные объемы и скорость
Оптимизирована для решений, требующих наивысших
показателей по скорости и объему обработки транзакций
© 2009 IBM Corporation
IBM Information Management Software
Технический план развития Informix
Инвестиции, инновации, новые возможности
2007 - 2008
Scale-out at lower costs
(IDS 11)
2005
Optimized OLTP Engine
(IDS 10)
• Query performance
improvement
• Online index build
• Multiple page size support
for better space utilization
• Enhanced buffer
management
• Increased security with
column encryption
• Disaster recovery with table
level restore
2001
Informix
acquisition
• Multi-node active cluster for highavailability (MACH) 11 with
multiple remote servers and
shared disk cluster
• Open source tool for
administration, SQL Admin API
to embed admin tasks
• Improved checkpoint
performance
• Secured data encryption, LBAC,
Common Criteria certification
• Enhanced application
development for SOA and XML
• Web Feature Service support for
geospatial applications
2009*
Business Optimization
Application Integration
• Informix Warehouse
• Grid Computing
• Cognos integration
• SOA enabled Database
• Cloud Computing support
• Enhanced Warehouse capabilities
• Online Storage Optimization
• Data Warehouse Appliance
• Compression
• Performance/Index advisor
• Virtual Appliance
• More XPS Features
• XPS features
• Red Brick Features
• External Tables
• Deeper Embed
• In-memory support
with solidDB
• Automatic storage provisioning
• Heterogeneous Replication
via CDC
• Installation API
• 3-D Internet collaboration
• Data Server Client
• Embedability toolkit
• solidDB
• Security
• Fine-grained Auditing
• Text Search
• Trusted context
• MQ Support
• Retail Integration Framework
• Carrier Grade Edition
• Automatic Fragmentation
• Conversion of ASCII DBs to UTF-8
*возможны изменения в планах
18
Futures*
and more…
© 2009 IBM Corporation
18
IBM Information Management Software
Главный приоритет – непрерывность бизнеса
 Disaster Recovery (HDR)
 Enterprise Replication (ER)
 Remote Standalone Server (RSS)
 Shared Disk Secondary (SDS)
19
© 2009 IBM Corporation
IBM Information Management Software
Обработка отказа: High Availability Data Replication (HDR)
 Два идентичных сервера на двух одинаковых машинах
– Primary Server
– Secondary Server
Когда Primary
отказывает,
secondary server
принимает роль
Primary.
 Primary Server
– Полно функциональный сервер
– Все операции по обработке данных
• операции insert/update/delete
– Посылает логи на secondary server
 Secondary Server
– Только операции чтения
– Всегда в режиме восстановления
– Получает логи с primary и воспроизводит их для поддержания
идентичности копии
HDRTraffic
Primary
HDRSecondary
Client Apps
Blade Server A
<New Orleans>
Building-A
20
Blade Server B
<Memphis>
© 2009 IBM Corporation
IBM Information Management Software
Enterprise Data Replication (ER)
 Используется для разделения нагрузки
– Active/active updates
 Гибкая настройка и использование
подмножеств данных
 Возможность обновления в любом узле
– Синхронизация с глобальными данными
– Очень малая задержка
 Совместима с другими технологиями высокой
доступности IDS
– Возможность обеспечения защиты коммуникаций
 Параллельное обновление таблиц на целевом сервере
 Встроенная проверка контрольных сумма
21
© 2009 IBM Corporation
IBM Information Management Software
Remote Standalone Server (RSS)
 Общее с HDR
– Поддерживает полную дисковую копию БД
– Создается путем backup/restore БД
– Может использоваться для:
• Дополнительной резервной копии
• Получения отчетов
• Балансировки нагрузки
– Отлично подходит для восстановления
после сбоя
 Отличие от HDR
– Использует full duplex communication (SMX)
• Лучшее поддерживает плохие каналы связи
– Не поддерживает синхронный режим
– Не может стать primary
• Может стать только HDR secondary
– Фокус на Disaster Recovery, а не HA
– Поддерживается любое количество RSS копий
 RSS может быть скомбинирован с HDR Secondary
– RSS может быть преобразован в HDR Secondary
– HDR Secondary может быть преобразован в RSS
22
© 2009 IBM Corporation
IBM Information Management Software
Shared Disk Secondary (SDS)
 HDR поверх Shared Disk Subsystem
 Primary передает текущий log
sequence number (LSN) по мере
генерации
 SDS копии получают LSN от
primary и читают логи с общего
диска
 SDS копии применяют изменения
логов к их локальным buffer cache
 SDS копии отправляют
подтверждение LSN на primary
23
© 2009 IBM Corporation
IBM Information Management Software
IDS Global Availability Fabric
Полный набор опций высокой доступности
Client Apps
HDR Traffic
Primary
HDR
Secondary
Primary
Client Apps
CAF
Offline
Blade Server A
<New Orleans>
Building-A
Shared
Disk
HDR Traffic
Shared
Disk
Blade Server C
<Memphis>
RSS Traffic
Shared
Disk
Mirror
CAF
HDR
RSS Secondary
Offline
DBA
Blade Server B
<New Orleans>
Building-B
OAT
Shared
Disk
Blade Server D
<Denver>
Disaster
Strikes
New
Orleans
HDR
Secondary
The
and
System
RSS
Nodes
Promoted
HDR
Traffic
Local
Add
Resumes,
aInitial
Failover
Loose
Local
Node
Clients
Continue
Add
Connect
aClients
Local
New
Copy
Clients
inConnectivity
Denver
Сократить затраты
за
The
счет
Rest
Add
Blade
of
Capacity
the
Servers
Clients
без
Continue
изменения
приложений
HDR/RSS
Replication
Stops
24
Client Apps
© 2009 IBM Corporation
IBM Information Management Software
IBM Database Software
Управлять данными умнее, быстрее и с меньшими затратами
solidDB: Исключительная скорость
Informix: Установи и забудь
Оптимизирована для
высокопроизводительных
транзакционных систем с
минимальными требованиями по
администрированию
Оптимизирована для решений, требующих исключительную
скорость – производительность СУБД в оперативной памяти до 10
раз выше производительности СУБД с записью на диск
U2: Гибкие данные
Оптимизирована для
быстрой разработки
приложений, требующих
данные с записями
переменной длины
DB2: Выше производительность. Ниже
затраты
Оптимизирована для высокой производительности
при обработке транзакций и аналитических
решений, низкая стоимость обработки данных
25
IMS: Непревзойденные объемы и скорость
Оптимизирована для решений, требующих наивысших
показателей по скорости и объему обработки транзакций
© 2009 IBM Corporation
IBM Information Management Software
Реляционные СУБД поддерживают корпоративные
приложения
ERP
CRM
• General Ledger, Cash
Management, Accounts
Payable, Accounts
Receivable, Fixed Assets,
Human Resources,
Payroll
• Sales and Marketing,
Commissions
• Service
• Customer Contact and
Call Center support
Data Warehousing
• Canned reports
• Ad-hoc Reporting
• OLAP
• Data Mining
Ведущие СУБД эффективно поддерживают
 От сотен до тысяч пользователей
 Время отклика от миллисекунд до
секунд
 Тысячи транзакций в минуту
26
© 2009 IBM Corporation
IBM Information Management Software
Количество пользователей и объемы данных растут
Производительность должна вырасти в 10 раз
Communications
Онлайн списания денег
• Аутентификация и
авторизация
• Управление балансом
• Объемные скидки
• 100,000 до 1,000,000ов
конкурентных запросов
• Десятки микросекунд на
доступ к БД
27
Financial Services
Брокерские приложения
• Получение данных с
рынка
• Оценка позиций
• Проверка на fraud
• Проверить 30,000+ правил
на 500 операций в секунду
для 15 миллионов
операций в день
Web 2.0
Online Retail Web Site
• Идентифицировать
пользователя
• Персональные списки
• Кросс продажи
• Facebook: 10,000,000
конкурентных сессий = 2
миллиарда просмотров в
день
• Wikipedia: 3000 страниц в
секунду и 25,000 SQL
запросов в секунду
© 2009 IBM Corporation
IBM Information Management Software
Решение: реляционная СУБД в оперативной памяти
Обработка критических данных в десятки раз быстрее
Throughput of Tens of Thousands
of Transactions per Second
Response Times Measured in
Microseconds
800
140,000
600
120,000
100,000
80,000
60,000
40,000
20,000
0
28
500
501
400
300
200
132
100
26
0
0


691
700
Microseconds
Transactions per second
160,000
Time
In-memory database
Disk-based database
Select


Update
In-memory cache + disk-based database
Disk-based database
© 2009 IBM Corporation
IBM Information Management Software
IBM solidDB Universal Cache
App
App
App
Universal Cache
29
 Универсальный кэш
– Ускоряет IBM DB2 for z/OS, DB2 for LUW,
IDS, Microsoft, Oracle, and Sybase
 Высокая скорость
– Десятки тысяч транзакций в секунду
– Время отклика в микросекундах
– Критические данные близко к приложению
 Адаптивность
– Подстраивается под различные потребности
приложений
– Гибкая настройка отображения схем данных
– Горизонтальная и вертикальная
масштабируемость
 Надежность
– Обеспечивает высокую доступность данных
© 2009 IBM Corporation
IBM Information Management Software
Как работает IBM solidDB Universal Cache
App
2
solidDB Universal Cache
загружает данные из
основной БД
1
Администратор
определяет
критические данные и
настраивает кэш
30
App
App
3
Приложения могут
соединяться как с кэшем, так
и с основной базой для
доступа и изменения данных
Universal Cache
4
solidDB Universal Cache
копирует данные между
кэшем и основной БД
© 2009 IBM Corporation
IBM Information Management Software
Решения IBM для управления данными
Больше бизнес ценности, быстрее и с меньшими затратами
Бизнес ценность
Design
Умнее
Optimize
Быстрее
Operate
Develop
Standards
Models
Policies
Deploy
Дешевле
Инновации в СУБД
31
Интегрированное управление
данными
© 2009 IBM Corporation
IBM Information Management Software
Текущие проблемы организации в управлении данными
 Управление рисками
– Эффективно и безопасно управлять архивными данными
– Обеспечить защиту частных данных
– Быстрый ответ на запросы по аудиту данных
 Управление производительностью при росте объемов
данных
– Повышение производительности за счет перемещения исторических
данных в архив
– Выполнение Service Level Agreements (SLA)
 Контроль затрат
– Сокращение затрат на инфраструктуру; использование
многоуровневой системы хранения
– Минимизация затрат на соответствие нормативным требованиям
– Повышение эффективности разработчиков
32
© 2009 IBM Corporation
IBM Information Management Software
Complete Business Object
 Ссылочно-полный набор данных в таблицах и приложениях;
включает метаданные
 Обеспечивает “исторический снимок” бизнес событий
 Поддержка сложных объектов, собранных из разных систем
Payments
33
© 2009 IBM Corporation
IBM Information Management Software
Поддержка разнородных данных
Захват связанных
бизнес объектив из
разных систем
Retek / Oracle
34
Custom Inventory
Management / DB2
Other apps / any
DBMS
© 2009 IBM Corporation
IBM Information Management Software
Корпоративная архитектура
Независимая от платформы архитектура действует как центральная точка
для извлечения, сохранения, восстановления и преобразования данных
35
© 2009 IBM Corporation
Architecture
IBM Information Management Software
Архитектура Optim
Optim Server
Archive
Archive
Archive
Archive
ODM
Optim Workstation
Optim Universal Database Access Layer
CRM
36
ERP
Custom
App
Optim
Directory
Dev
QA
Enterprise
Reporting
Tools
© 2009 IBM Corporation
IBM Information Management Software
Связи
Primary Keys
Database
Alias
Optim
Directory
Relationships
37

Связи автоматически находятся если первичные и вторичные
ключи определены в БД.

Пользовательские первичные ключи и связи могут быть
определены в интерфейсе Optim или импортированы.

Связи могут быть между базами данных (по DB Alias)
© 2009 IBM Corporation
IBM Information Management Software
Архивирование и восстановление
Extract
Archive
Production


38
Optim безопасно
перемещает неактивные
данные в архив
Доступ к архиву
возможен разными
способами
Restore
Universal Access to Data
E-Discovery
© 2009 IBM Corporation
IBM Information Management Software
Optim Data Growth Solution: архивирование
Production
Historical
Restored
Current
Archive
Archives
Historical
Data
Reference
Data
Reporting
Data
Selective Restore
Universal Access to Application Data
Application
Application
XML
ODBC / JDBC
 Complete Business Object – исторический снимок активности
 Независимость системы хранения обеспечивает ILM
 Неизменяемый формат файла обеспечивает сохранность данных
39
© 2009 IBM Corporation
IBM Information Management Software
Test Data Management
Extract
Extract
Files
Production
Load
Insert / Update
Compare
 Поддержка тестовых сред
 Быстрое и эффективное
создание подмножеств
данных нужного размера
QA
Dev
Test
40
© 2009 IBM Corporation
IBM Information Management Software
Optim Test Data Management
Production
Application
Optim Extract
Optim Edit
Copy Production
Data for Testing
Refine Data
Data Fixes
Optim Edit
TEST
Go Live
Refresh Test Data
Compare Results
Optim Extract
Optim Compare
41
© 2009 IBM Corporation
IBM Information Management Software
Optim Compare
Master Copy
Compare
Files
Reports
Latest Test
 Поиск неожиданных изменений (или проверка ожидаемых)
 Для тестирования, контроля качества, проверки содержимого
БД
 Сравнение одной или нескольких таблиц
 Создание отчета по операции сравнения
42
© 2009 IBM Corporation
IBM Information Management Software
Optim Data Privacy Solution
Test
Production
Siebel / DB2
Siebel / DB2
EBS / Oracle
Custom /
Sybase
Contextual,
Application- Aware,
Persistent Data
Masking
Custom /
Sybase
EBS / Oracle
 Замена конфиденциальной информации на фиктивные данные с
помощью разных алгоритмов маскирования
 Целостность между средами
 Возможность тестирования вне организации
 Защита конфиденциальности данных в непродуктивных средах
43
© 2009 IBM Corporation
IBM Information Management Software
Деидентификация данных
 Может быть проведена
– Во время извлечения данных из БД
– Во время вставки/загрузки в БД
– Как отдельный процесс на существующей БД
 Преобразование осуществляется с помощью :
– Стандартных правил: Символы, Специальные списки,
Выражения, Значения по умолчанию, Таблицы поиска
– Специальные правила: номера страхования, адреса...
– Пользовательские правила: user exits
 Преобразованными данными можно свободно обмениваться
44
© 2009 IBM Corporation
IBM Information Management Software
Целостность в масштабах организации
Client Billing Application
DB2
SSN#s
SS#s
157342266
157342266
132009824
132009824
Маскированные
данные
целостные
Data is
masked
45
SSN#s
SSN#s
134235489
134235489
323457245
323457245
© 2009 IBM Corporation
IBM Information Management Software
Решения IBM для управления данными
Больше бизнес ценности, быстрее и с меньшими затратами
Бизнес ценность
Design
Умнее
Optimize
Быстрее
Operate
Develop
Standards
Models
Policies
Deploy
Дешевле
Инновации в СУБД
46
Интегрированное управление
данными
© 2009 IBM Corporation
Спасибо за внимание!
СЕРГЕЙ ЛИХАРЕВ
IBM Information Management
Software
Руководитель направления
+7 495 775 88 00 ext 2299
May 6, 2016
© 2009 IBM Corporation
E-mail: SLikharev@ru.ibm.com