Облачная платформа Windows Azure для высоконагруженных проектов

Облачная платформа
Windows Azure
для высоконагруженных
проектов
сервисы
приложений
..
.
virtual machines
..
.
web sites
..
.
cloud services
..
.
mobile
SQL database
вычислительные сервисы
..
.
HDInsight
..
.
tables
сервисы данных
Автоматизировано
Гибко
Управляемые ресурсы
Основано на потреблении
Датацентры:
2 в Европе, 2 в Азии, 4 в Северной Америке + 24 узла сети CDN
..
.
blob storage
connect
..
.
virtual network
traffic manager
сетевые сервисы
Насколько
«Big Data»
биг сегодня?
1 PETABYTE
данных в секунду получает Большой адронный коллайдер
CERN
9000
8000
7000
6000
5000
4000
3000
2000
1000
0
2005
2008
2015
Интернет видео – 18 Экзабайт в месяц
Мобильный трафик – 2 Экзабайта в месяц
Big «Big Data»
В 2011 году Фейсбук перенес 11 Петабайт
данных в свой Hadoop кластер
Пользователи Twitter создают
более 1 терабайта сообщений в день
Cisco предполагает что к 2013 интернет
трафик достигнет величины 667 экзабайт
(в год), а к 2015 – превысит 1 Зеттабайт
Big
unstructured
data
* by Gartner
Microsoft
и Big Data
4 триллиона
объектов в
Windows Azure
Bing скачивает
7 петабайт
данных в месяц
500 миллионов активных
аккаунтов Microsoft Account
460 миллионов уникальных
пользователей MSN в месяц
Microsoft
и Big Data
355 миллионов пользователей почты Hotmail
5.5+ миллиардов запросов к Bing в месяц
40 миллионов активных пользователей Xbox Live
14 миллиардов показов рекламы
Microsoft Advertising в месяц
2-4 миллиарда писем в Office 365 ежедневно
Hadoop напрокат
HDInsight на сервере и в облаке
100% opensource-реализация
платформы Apache Hadoop
знакомые инструменты
для работы с данными (Excel, BI)
Microsoft
HDInsight
HDFS, MapReduce, Pig, Hive, Zookeeper, Mahout, …
интеграция с SQL Server, обмен данными
быстрое развертывание
инструменты управления
Apache Ambari+System Center
интеграция и безопасность с Active Directory
доступ к сервису по требованию
в облаке Windows Azure
Кластер
по запросу
Windows Azure
HDInsight
Кластер
по запросу
Кластер
Hadoop
по запросу
Суперкомпьютеры
по запросу
масштабное распараллеливание
и оплата по факту использования
LINPACK
TOP500
Как транслировать
Олимпиаду?
Windows Azure Media Services
Кодирование
Deltatre
CMS
Потоки
вещания
Сервис
админ-я
Кодировщики
Канал
Blob
Storage
Сервис
транскодинга
Датацентр
Windows Azure
(1из 4)
Плееры
клиентов
Akamai
CDN
Сервис
хранения
исходных
медиаданных
для VOD
YouTubeсиндикация
Балансировщик
нагрузки Windows Azure
Потребление
2 VM
Origin
3 VM
ARR
4 VM
Балансировщик
нагрузки Windows Azure
Blob
Storage
Blob
Reader
ARR
Балансировщик
нагрузки
Windows Azure
Как помочь
миллионам
избирателей
• https://votinginfoproject.org/
• неформатированный поиск по адресу, формат гос. данных
• маршрут ко всем определенным для своего
•
•
•
•
адреса избирательным пунктам
время голосования
и информация о кандидатах
требуемые в данном штате документы
контакты администрации и работников
50 языков приложения, в том числе
гаитянский, креольский, тагальский,
хинди и хмонг
• Трафик ~20 Гб за день с каждого из 50 штатов
• 1.5 миллиона пользователей за день
• 6 млн API-запросов за день
от пользователи из 50 штатов
• 100% uptime
• 0 сбоев
• без снижения скорости
• платформа — Microsoft Windows Azure
• 4 региона (дата-центра):
East, West, South, NorthEastern
• Облачные ресурсы: 90 ядер и 126 баз данных
• веб-протокол — Odata
• реализация UI — на knockout и ASP.NET MVC
• решение по масштабированию API — APIPhany
• $0 вложений в инфраструктуру, 1 день работы
• все ресурсы по запросу, оплата за потребление
Более 10 лет на рынке ИТ-услуг
Два базовых офиса – Новосибирск и Вашингтон
Более 100 сотрудников (в России и США)
Windows Phone, iOS, Android, Windows 8
Собственная дизайн студия
Четыре ключевых направления:
Microsoft, Java, BI, Mobile, MicroStrategy
Как спастись от фанатов
Гарри Поттера
Архитектура Pottermore
запуск
Как обеспечить
новостями весь мир
Архитектура системы
Front-End
RESTful API
Система поставки
Интернет-робот
КЭШ
Очередь
Платформа семантической
обработки данных
Связь с миром -· · ·-- ··· ···-- -···· ----RESTful API
North US
South US
Traffic Manager
WCF: HTTP(S) + JSON
Устройства
EU
CDN
Основана в июле 2010 г.
31 человек в 2 офисах
1 650 000 скачиваний
400 000 активных пользователей
Вместо заключения
vyunev@microsoft.com
http://microsoft.com/bigdata
https://facebook.com/groups/azurerus/
http://wazurr.ru
WindowsAzure.com
AzureHub.ru