Большие данные: мир в котором мы живем PPTX, 6 МБ

Большие данные: мир в котором мы живем
Владимир Люлька, Big Data Expert
Мир изменился
″Каждые 2 дня мы создаем
столько информации,
сколько было создано с
момента появления
цивилизации до 2003г.″ –
CEO Google, Eric Schmidt
Факты
•
Google в 2008 обрабатывал 20 Петабайт данных в день
•
Facebook в 2009 хранил 2.5 Петабайт данных и +15 Терабайт в день
•
eBay в 2007 хранил 6.3 Петабайта данных о пользователях и + 50 Терабайт прибавлялось
в день
•
Объем данных во всем мире в 2007 году составлял 295 Экзабайт (295 миллиардов
гигабайт)
•
В 2014 объем данных увеличился в 138(!) раз
640K ought to be
enough for anybody.
Эволюция данных
SolidFire
kaggle
Pandora
salesforce.com
AppFog
Xactly
SAP
HP
CRM
MRM
Engineering
Ariba
Quickbooks
Order Entry
Inventory
EMC
OpenText
HCM
Hitachi
cloudability
HP ePrint
Workbrain
Мобильные у-ва,
Социа, облака,
Big Data
Gigabytes
Megabytes
NEC
Cash Management
ERP
Bull
Time and Expense
Fijitsu
Payroll
Microsoft
HCM
ADP VirtualEdge
Adobe
Rostering
Commissions
PPM
Kinaxis
BrainPOP
Softscape
IntraLinks
Toggl
Fring
Exact Online
FinancialForce.com
Volusion
News
Xing
Cookie Doodle
Utilities
Zynga
MobilieIron
Flickr
Twitter
Paint.NET
PingMe
BeyondCore
Productivity
Fed Ex Mobile
Rackspace
dotCloud
New Relic
Mozy
Associatedcontent
Atlassian
Qzone
Tumblr.
MailChimp
TripIt
1,820TB данных создано
Jive Software
Amazon
Ah! Fasion Girl
SmugMug
CYworld
Business
168 million+ emails отправлено
Viber
Social Networking
YouTube
myHomework
NetSuite
Softscape
698,445 Google поиск
Yammer
Answers.com
RightScale
MobileFrame.com
Sonar6
Photo & Video
Entertainment
Atlassian
Sonar6
Quadrem
Saba
Intacct
Education
Saba
Cornerstone onDemand
Mixi
Heroku
Zillabyte
Renren
SugarCRM
Kenexa
Database
Data Warehousing
PaperHost
Yandex
Navigation
Khan Academy
SuccessFactors
Yahoo
Microsoft
iSchedule
SCM
CyberShift
Corel
PLM
Time & Attendance
Service
Workday Baidu
Yahoo!
11 млн. сообщений
Zynga
SLI Systems
Avid
Billing
Sales tracking & Marketing
Zettabytes
Elemica
Accounts Receivable
Activity Management
Training
Serif
Xerox
OpSource
Fixed Assets
Costing
Claim Processing
Интернет
Клиент\сервер
695,000 апдейтов статусов
Pinterest
Twitter
Unisys
Мейнфрейм
Kilobytes
Sport
ScaleXtreme
Games
CloudSigma
nebula
CyberShift
box.net
Yandex
Sage
Workscape
Cost Management
LimeLight
Hootsuite
Qvidian
Datapipe Alterian
Quality Control
Burroughs
Amazon Web Services
Foursquare
Zoho
NetDocuments
Lifestyle
Atlassian
Splunk
Scanner Pro
NetReach
98,000+ твиттов
Taleo
Reference
PingMe
Bromium
buzzd
Tata Communications
Bills of Material
SCM
GoGrid
Hyland
Hosting.com
CCC
Product Configurator
IBM
UPS Mobile
eBay
Manufacturing Projects
Parse
LinkedIn
Facebook
Google
Travel
Dragon Diction
Plex Systems
DCC
Finance
Urban
NetSuite
Joyent
SmugMug
DocuSign
Snapfish
SuperCam
Каждые 60 секунд
Scribd.
Amazon
iHandy
Music
217 новых моб. пользователей
Yottabytes
Big Data: информационный вызов
Объем (Volume)
• 10% организаций обрабатывают 1+ Пб данных
• Социальные сети – миллионы транзакций в минуту
Скорость (Velocity)
• 30% организаций имеют 100+ Гб/день
• Данные обновляются и нужны раз в день, час
Вызов:
извлечь из Big Data важное для
бизнеса
Цели:
•
•
•
•
Эффективность
Удовлетворение клиентов
Снижение риска
Расширение бизнеса
Разнообразие (Variety)
• Тексты, Аудио и видео файлы
• Блоги, сообщения в сетях – для изучения клиентов
• Внутренние источники данных
Объем
Разнообразие
Скорость
Сложность
Сложность
• Осмысленные связи
• Преобразование
• Очистка
Типы информации
Ежегодный рост данных
62%
22%
Неструктурированные
Структурированные
HRMS
Документы
Изображения
Supply Chain
Management/
Inventory
Mgmt
Email
CRM
ERP
Видео
Текст
Социальные
медиа
90%
Transactional
Data
Procurement
Logs
10%
Clickstream
Data
Кейс: Telecom 3.0
Real Time Deсisioning Marketing на основе
поведения клиента
Социальные сети как канал информации о
клиентах, связях между собой, TextMining
Big Data
Социальные сети, как канал маркетинговых
коммуникаций – выделение «лидеров
мнений»
Альтернативные каналы коммуникаций
•Mobile Campaign Management, GeoTargeting
Кейс: Bank 3.0
Дистанционный банкинг и революция дистанционных сервисов
Банки без отделений, все
операции через Internet, Mobile и
Курьеров
Сокращают штат и сети отделений
из-за дистанционных
сервисов
Миграция из
Desktop Internet
в Mobile Internet
Кейс: Кредитный скоринг / Fraud
Detection / Collection
•
Персональная информация
•
Демографическая информация
•
Информация/контроль друзей
•
Личные интересы, группы, подписки, комментарии, likes и пр
•
Check-ins (fb, foursquare, instagram)
•
Персональные сообщения (early, soft)
•
Публичные сообщения на стене
•
Отслеживание перемещений (check-ins) real-time
•
Отслеживание сообщений/комментариев/статуса
•
Воздействие через «лидеров мнений», родственников, друзей
Кейс: Выявление интересов клиента.
Text-mining
Кейс: Идентификация «лидеров мнений
•
Идентификация «лидеров мнений»
клиента
•
Является ли клиент для кого-то
«лидером мнений»
•
Воздействие через OL,
администраторов групп
•
Таргетированное воздействие
Критерии
•
Подписчики, друзья
•
Количество likes, comments, re-posts
•
Администрирование групп
•
Активность в группах и т.д.
Кейс: выявить наиболее
посещаемые места клиента
1.
Вводные для анализа
2.
3.
4.
Репрезентативность (требования к
количеству check-in в месяц)
Очистка данных
Точность GPS координат – округление до 3
знаков: round(x,3)
Национальные праздники – учитывать как
не-рабочие дни
Интеграция c Google Maps API
d=3.2 km
Таргетированный маркетинг
• Воздействие на клиента в нужное время
• Распознать интересы пользователей (page likes,
комментарии, сообщения /textmining/)
• Определение локаций (check-in on
Foursquare/Instagram, facebook, vkontakte etc)
• Каналы: phone, email, push notifications, Ads,
inbox message
О НАС
• Международная компания специализирующаяся на управлении и реализации комплексных
проектов в областях Cloud Computing, Big Data & Analytic и IT Assurance/Consulting
• Наша миссия оказать поддержку организациям в их стремлении к улучшению эффективности,
продуктивности и гибкости используя инновации и огромный опыт нашей команды
• Основными ценностями компании являются Целостность и Прозрачность
• Список наших клиентов включает банки, телеком операторы, компании разработчики, ритейл, и
т.д.
• Работая в партнерстве с привлеченными консультантами и партнерами из Германии,
Финляндии, Украины и ОАЭ, мы строим наше предложение на основе практического
международного опыта опирающегося на лучшие в своем классе технологии
• Основана в Словакии и Украине, большой опыт работы на рынках Центральной и Восточной
Европы & СНГ, понимание бизнес ситуации, подходов к ведению бизнеса.
КОМАНДА
Владимир Люлька
Управляющий партнер
Александр Кариченский
Управляющий партнер
Алексей Белошицкий
Data Science & Big Data
Юрий Кучер
ICT Competency Center
Профессиональный ИТ
предприниматель с 15+
летним опытом в ИТ сфере
и практическим зрелым
опытом в решениях Cloud
и Big Data.
Высшее образование в
сфере ИТ и
профессиональные
сертификации.
Международный опыт в
управлении ИТ проектов и
ИТ трансформации
ИТ профессионал с 15+
летним опытом в ИТ, телекоммуникациях и
финансовой сферах.
Глубокие знания и
практический опыт в
различных аспектах ИТ,
облачных вычислений, датацентров, разработки ПО для
финансовой и
телекоммуникационной
отраслей.
Алексей имеет 12+ лет
успешного опыта в областях
Big Data, BI и Machine
Learning. Работая с
клиентами в Европе и США.
Специализация: Data Science,
Big Data, Text Mining, Data
Mining, Hadoop, BI
Алексей является PhD в
ИТ профессионал с 10+
опытом, имеет опыт в CRM,
Remote Digital Banking, и
проектах Big Data.
Опыт работы в передовых
компаниях – банки, телеком
операторы и ретейлеры в
CEE и Азии.
Высшее экономическое
образование и управление
бизнесом.
Специализация : CRM,
Digital Banking, Big Data, IT
strategy, Project Management.
области компьютерных наук.
Михаил Магун
Информационная
безопасность
Является экспертом по
информационной
безопасности/CISO с 10+
лет опыта. Знание
международных
стандартов безопасности
и ИТ (ISO 27K, Cobit, ITIL,
PCI DSS). Опыт
управления проектами, а
также проведение
аудитов безопасности.
THANK YOU