IBM Global Business Services Технический обзор Май 2010 г. Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Как добиться максимальной производительности от вашего нового сервера System x или BladeCenter Ганеш Балакришнан (Ganesh Balakrishnan) IBM, группа по производительности серверов IBM System x и BladeCenter Ральф Беган (Ralph M. Begun) IBM, старший технический руководитель (STSM), группа по разработке серверов для установки в стойку Беджой Кочупарамбил (Bejoy Kochuparambil) IBM, группа по термальному проектированию серверов System x 2 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Содержание Аннотация 2. Аннотация В этом техническом обзоре рассматривается архитектура систем на базе процессоров Intel® Xeon® серии 5600 и их производительность. Как и в случае процессоров серии 5500, архитектура процессоров серии 5600 создает заказчикам определенные трудности вследствие высокой гибкости и широкого выбора конфигураций, предлагаемых этой новой платформой. Анализ производительности в этом обзоре охватывает такие параметры, как задержки основной памяти, пропускная способность основной памяти и производительность приложений. Затем в обзоре рассматриваются аналитические результаты из предшествующих технических обзоров для серии 5500 и новые аналитические результаты, а также проблемы производительности, связанные с частотой памяти и заполнением разъемов памяти в конкретной системе. Кроме того, в этом техническом обзоре анализируются оптимальные конфигурации памяти, а также излагаются наилучшие типовые методики и рекомендации по конфигурированию соответствующих платформ IBM. 2. Введение 3. Системная архитектура 3. Платформы с 12 DIMM-разъемами 4. Платформы с 16 DIMM-разъемами 4. Платформы с 18 DIMM-разъемами 5. Производительность памяти 5. Частота памяти 5. Модель процессора 6. Частота DIMM-модулей типа DDR3 6. Показатель DPC (DIMMs per channel – количество DIMM-модулей на канал) 7. Специфические низкоуровневые аспекты производительности 8. Производительность приложений 9. Заполнение разъемов памяти и балансировка системы 10. Эффект несбалансированной системы: как не следует поступать 11. Заполнение разъемов в платформах с 12 DIMM-разъемами 11. Заполнение разъемов в платформах с 16 DIMM-разъемами 11. Заполнение разъемов в платформах с 18 DIMM-разъемами 12. Ранки памяти 12. Заполнение разъемов памяти в каналах памяти 13. Заполнение разъемов памяти для разных процессоров 13. DIMM-модули с напряжением питания 1,35 В 15. Типовые методики 15. Максимальная производительность 15. Другие соображения 15. Порядок установки модулей 15. Рекомендации по энергосбережению 16. Надежность/готовность 16. Конфигурационные настройки UEFI 16. Заключение Введение Компания Intel уже давно придерживается «двухтактной» модели развития, где первый «такт» представляет собой крупное микроархитектурное усовершенствование, а на втором внедряется производственная технология с новой проектной нормой. Серия 5500 (первый «такт») представляла собой крупный шаг вперед с точки зрения микроархитектурных инноваций: интегрированный контроллер памяти, новые машинные команды, шина QPI, режим Turbo Mode, гибкий блок управления питанием, симметричная многопоточность (Symmetric Multi-Threading) и переход к памяти типа DDR3. Серия 5500 базировалась на производственной технологии с проектной нормой 45 нм, а в серии 5600 (второй «такт») используется производственная технология следующего поколения с проектной нормой 32 нм. Переход к следующей проектной норме позволяет разместить больше транзисторов на той же площади кристалла: по сравнению с серией 5500 в процессорах серии 5600 количество ядер и объемы кэш-памяти увеличены на 50%. В серии 5600 также введены новые машинные команды, IBM Global Business Services ориентированные на шифрование и виртуализацию. В серии 5600 эффективность энергопотребления повышена за счет появления возможности применения DIMM-модулей с напряжением питания 1,35 В и снижения энергопотребления системы в режиме простоя. Серия Xeon 5600 включает шестиядерные процессоры Intel следующего поколения, ориентированные на серверы с двумя процессорными разъемами. Эти процессоры применяются во многих серверных платформах IBM, включая blade-серверы IBM BladeCenter® HS22 и HS22V, серверы для установки в стойку IBM System x3650 M3 (высотой 2U) и x3550 M3 (высотой 1U), серверы в отдельном корпусе x3400 и x3500, а также сервер IBM System x® iDataPlex™ dx360 M3. Некоторые ключевые элементы, определяющие производительность памяти, такие же, как в серии 5500, и будут рассмотрены в этом техническом обзоре повторно. • • • С появлением интегрированного контроллера памяти в каждом процессоре Intel продолжает использовать архитектуру NUMA (Non-Uniform Memory Access – неоднородный доступ к памяти), введенную в серии 5500. Каждый интегрированный контроллер памяти имеет три канала памяти (аналогично серии 5500) и поддерживает память типа DDR3. В зависимости от типа памяти, заполнения разъемов памяти и модели процессора (SKU) память в системе может синхронизироваться на тактовой частоте 1333 МГц, 1066 МГц или 800 МГц. Каждый канал памяти поддерживает до 3 DIMM-модулей на канал (DPC – DIMMs per channel), что составляет теоретический максимум 9 DIMM-модулей на каждый процессор или 18 DIMM-модулей на сервер с 2 процессорными разъемами (см. рис. 1). Однако в реальных условиях максимальное число DIMM-модулей в конкретной системе зависит от конструкции этой системы. С целью поддержки когерентности данных в памяти процессоры Xeon 5600 связаны между собой посредством последовательной шины QPI (QuickPath Interconnect). В зависимости от модели процессора шина QPI способна осуществлять 6,4, 5,86 или 4,8 миллиардов пересылок в секунду (GT/s). Xeon 5600 Xeon 5600 Процессор 0 Процессор 1 Контроллер памяти Канал 0 Канал 1 QPI Канал 2 3 Контроллер памяти Канал 0 Канал 1 Канал 2 Рисунок 1. Максимальные объемы оперативной памяти в системе при использовании архитектуры Xeon 5600 Системная архитектура В этом разделе мы рассмотрим системную архитектуру нескольких серверов IBM System x и IBM BladeCenter с процессорами Xeon серии 5600. Платформы с 12 DIMM-разъемами Конструкция сервера HS22 имеет 12 разъемов для установки DIMM-модулей (см. рис. 2 и 3). С точки зрения размещения памяти этот сервер идентичен blade-серверу HS22, в котором используются процессоры серии 5500. В схеме с 12 DIMM-разъемами модули памяти равномерно распределяются между двумя процессорными разъемами (по 6 DIMM-модулей). Xeon 5600 Xeon 5600 Процессор 0 Процессор 1 Контроллер памяти QPI Контроллер памяти Канал 0 Канал 1 Канал 2 Канал 0 1 5 3 7 6 4 8 2 Канал 1 Канал 2 11 9 12 10 Рисунок 2. Архитектурное размещение DIMM-разъемов и нумерация DIMM-разъемов в сервере HS22 4 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Процессор 1 7 6 8 5 9 4 10 3 Xeon 5600 Xeon 5600 Процессор 0 Процессор 1 Контроллер памяти ФРОНТАЛЬНАЯ ЧАСТЬ Blade-модуля ЗАДНЯЯ ЧАСТЬ QPI Контроллер памяти Канал 0 Канал 1 Ch22 Канал 7 4 10 16 13 Канал 0 Канал 1 Канал 2 11 2 1 12 1 2 8 5 11 17 14 3 9 6 12 18 15 Процессор 0 Рисунок 5. Физическое размещение DIMM-разъемов в сервере dx360 M3 Рисунок 3. Физическое размещение DIMM-разъемов в сервере HS22 Платформы с 18 DIMM-разъемами Платформы с 16 DIMM-разъемами Единственный сервер IBM для установки в стойку, который имеет 16 DIMM-разъемов – это сервер iDataPlex dx360 M3 (рис. 4 и 5). С точки зрения архитектуры DIMMмодулей он идентичен своему предшественнику M2, и в нем применяются такие же правила заполнения разъемов памяти. У серверов в отдельных корпусах x3400 M3 и x3500 M3 применяется такая же схема размещения DIMMмодулей, как у сервера dx360 M3. Как показано ниже на рис. 6 – 9, остальные серверы IBM на базе процессоров Xeon серии 5600 – x3550 M3, x3650 M3 и HS22V – имеют по 18 DIMM-разъемов. В модели HS22V количество DIMM-модулей на канал увеличено с 2 до 3 в таком же форм-факторе bladeсервера, как у модели HS22. В системах для установки в стойку количество DIMM-разъемов увеличено с 16 до 18 (по сравнению с предшествующими моделями с индексом M2). Процессор 1 Xeon 5600 Xeon 5600 Процессор 0 Процессор 1 Контроллер памяти 8 9 7 10 6 11 5 12 4 13 3 14 2 15 1 16 Контроллер памяти QPI Канал 0 Канал 1 Ch2 Канал 2 1 4 7 9 12 15 2 5 8 10 13 16 3 6 11 14 Канал 0 Канал 1 Канал 2 Рисунок 4. Архитектурное размещение DIMM-разъемов и нумерация ФРОНТАЛЬНАЯ ЧАСТЬ сервера DIMM-разъемов в сервере dx360 M3 ЗАДНЯЯ ЧАСТЬ Процессор 0 Рисунок 6. Архитектурное размещение DIMM-разъемов и их нумерация в сервере HS22V IBM Global Business Services Производительность памяти 9 Процессор 1 8 10 7 11 6 12 5 13 ФРОНТАЛЬНАЯ ЧАСТЬ 4 ЗАДНЯЯ ЧАСТЬ 14 Blade-модуля 3 15 2 16 1 17 Процессор 0 18 Физическое размещение DIMM-разъемов в сервере HS22V Xeon 5600 Xeon 5600 Процессор 0 Процессор 1 Контроллер памяти QPI Ch22 Канал 1 4 7 10 13 16 2 5 8 11 14 17 3 6 9 12 15 18 Канал 0 Канал 1 Канал 2 Архитектурное размещение DIMM-разъемов и нумерация DIMM-разъемов в серверах x3650 M3/x3550 M3 сервера Частота памяти Контроллер памяти Канал 1 ФРОНТАЛЬНАЯ ЧАСТЬ При конфигурировании сервера, использующего процессоры серии 5600 (как и в случае процессоров серии 5500), существует большое количество опций. На производительность памяти по-прежнему влияют следующие основные параметры: частота памяти, ранки памяти и заполнение разъемов памяти, относящихся к разным каналами памяти и разным процессорам. Производительность памяти в платформе Xeon существенно различается в зависимости от модели процессора и от количества установленных DIMM-модулей. В последующих разделах каждый из этих факторов будет рассмотрен более подробно. Как указывалось выше, производительность памяти определяется сочетанием таких параметров, как модель процессора, частота DIMM-модулей и количество DIMMмодулей на канал. Канал 0 9 5 Процессор 1 8 10 7 11 6 12 5 13 4 14 3 15 2 16 1 17 Процессор 0 18 ЗАДНЯЯ ЧАСТЬ Физическое размещение DIMM-разъемов в серверах x3650 M3/x3550 M3 Модель процессора Все процессоры Xeon серии 5600 делятся на следующие четыре категории: Advanced, Standard, Basic и Low Voltage (см. таблицу ниже). Как показано в таблице 1, для каждой из этих четырех категорий установлена максимальная частота памяти: 1333 МГц, 1066 МГц, 800 МГц и 1066 МГц1 соответственно. Параметр «Модель процессора» (SKU) ограничивает максимальную частоту памяти. Категория Модель процессора Тепловой пакет (Вт) Частота ядра (ГГц) Число ядер Скорость QPI (ГТ/с) Максимальная частота памяти (МГц) Turbo Boost /Hyper Threading X5680 130 3,33 6 6,4 1333 Да/Да X5677 130 3,46 4 6,4 1333 Да/Да X5670 95 2,93 6 6,4 1333 Да/Да X5667 95 3,06 4 6,4 1333 Да/Да X5660 95 2,80 6 6,4 1333 Да/Да X5650 95 2,66 6 6,4 1333 Да/Да E5640 80 2,66 4 5,86 1066 Да/Да E5630 80 2,53 4 5,86 1066 Да/Да E5620 80 2,40 4 5,86 1066 Да/Да E5609 80 2,26 4 4,8 800 Нет/Нет E5606 80 2,13 4 4,8 800 Нет/Нет E5603 80 2,00 2 4,8 800 Нет/Нет L5640 60 2,26 6 5,86 1333 Да/Да L5630 40 2,13 4 5,86 1066 Да/Да L5609 40 1,86 4 5,86 1066 Да/Да Advanced Standard Basic Low Voltage Таблица 1. Модели процессоров Xeon серии 5600 Частота DIMM-модулей типа DDR3 Для рассматриваемых систем доступны модули памяти типа DDR3 различного объема, с номинальными частотами 1333 МГц или 1066 МГц. Частота памяти определяет максимальную пропускную способность DIMM-модуля и может быть снижена для уменьшения скорости. Например, в настройках системы частота DIMM-модуля на 1333 МГц может быть снижена до 1066 МГц или до 800 МГц. Это может быть сделано с целью сокращения энергопотребления. Показатель DPC (DIMMs per channel – количество DIMM-модулей на канал) Кроме того, частота тактирования памяти в системе зависит от количества и типа установленных DIMMмодулей, а также от их распределения по каналам. Поведение рассматриваемой платформы описано в таблицах 2, 3 и 4. В следующей таблице предполагается, что модель процессора Xeon 5600 способна поддерживать частоту памяти 1333 МГц. Если будет использоваться более медленная модель процессора, то в качестве частоты памяти будет выбрано наименьшее значение из двух параметров – максимальная частота самой памяти и максимальная частота памяти, поддерживаемая данной моделью процессора. Если количество DIMM-модулей не будет одинаковым во всех каналах, то система выберет частоту, соответствующую частоте самого медленного канала. Ключевое различие между процессорами серий 5500 и 5600 – поддержка одноранковых и двухранковых DIMM-модулей при установке двух DIMM-модулей на канал (2DPC) на частоте 1333 МГц2. IBM Global Business Services DPC Частота DIMMмодулей (МГц) Число ранков DIMM-модулей Частота памяти (МГц) DPC Частота DIMMмодулей (МГц) Число ранков DIMM-модулей Частота памяти (МГц) 1 1333 1 или 2 1333 1 1333 1 или 2 800 2 1333 1 или 2 1333 2 1333 1 или 2 800 3 1333 1 или 2 800 3 1333 1 или 2 800 1 1333 4 1066 1 1333 4 800 2 1333 4 800 2 1333 4 800 1 1066 1 или 2 1066 1 1066 1 или 2 800 2 1066 1 или 2 1066 2 1066 1 или 2 800 3 1066 1 или 2 800 3 1066 1 или 2 800 1 1066 4 1066 1 1066 4 800 2 1066 4 800 2 1066 4 800 Таблица 2. Частоты памяти при условии, что процессор способен Таблица 4. Частоты памяти при условии, что процессор способен поддерживать частоту памяти 1333 МГц поддерживать частоту памяти 800 МГц DPC Частота DIMMмодулей (МГц) Число ранков DIMM-модулей Частота памяти (МГц) 1 1333 1 или 2 1066 2 1333 1 или 2 1066 3 1333 1 или 2 800 1 1333 4 1066 2 1333 4 800 1 1066 1 или 2 1066 2 1066 1 или 2 1066 3 1066 1 или 2 800 1 1066 4 1066 2 1066 4 800 Таблица 3. Частоты памяти при условии, что процессор способен поддерживать частоту памяти 1066 МГц 7 Специфические низкоуровневые аспекты производительности Необходимо понимать, каким образом память влияет на общую производительность сервера на базе процессоров Xeon серии 5600. Для количественной оценки воздействия частоты памяти на производительность мы будем использовать низкоуровневые инструменты для работы с памятью и тесты приложений. Два ключевых низкоуровневых показателя, используемых для измерения производительности памяти, – задержки памяти и пропускная способность памяти. В этом исследовании мы используем систему с двумя разъемами, в которые установлены два процессора Xeon X5670 с собственной частотой 2,93 ГГц и с поддержкой частоты памяти 1333 МГц. В описываемых ниже тестах были использованы следующие конфигурации памяти для трех частот памяти: • • • 1333 МГц – 12 x 2 ГБ двухранковых RDIMM-модулей с номинальной частотой 1333 МГц, тактируемых на частоте 1333 МГц. 1066 МГц – 12 x 2 ГБ двухранковых RDIMM-модулей с номинальной частотой 1333 МГц, частота которых в настройках системы была снижена до 1066 МГц. 800 МГц – 12 x 2 ГБ двухранковых RDIMM-модулей с номинальной частотой 1333 МГц, частота которых в настройках системы была снижена до 800 МГц. Примечание. Концепция ранков памяти подробно объясняется ниже, в разделе под названием «Ранки памяти». Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Как показано на рис. 10, задержки локальной памяти без нагрузки для различных скоростей памяти сопоставимы с таковыми для процессоров серии 5500. В процессорах серии 5600 имеет место небольшое увеличение задержки, что вполне ожидаемо как результат увеличения размеров кэш-памяти. Из этого не следует, что при исполнении на процессорах серии 5600 приложения будут иметь сниженную производительность, поскольку увеличенный в этой серии размер кэш-памяти снижает коэффициент неудачных обращений к кэш-памяти и среднее время доступа. В тестах задержки памяти, использованных в данном обзоре, отсутствует т.н. «временная локальность» (temporal locality), которая позволяла бы повторно использовать данные из кэш-памяти, т.е. коэффициент неудач кэш-памяти составляет 100%. Это не позволяет воспользоваться преимуществами большой кэш-памяти. Однопоточные рабочие нагрузки, которые в свой массе более чувствительны к задержкам памяти, смогут использовать кэш-память большого размера, поэтому будут иметь сниженное среднее время доступа, несмотря на более высокие задержки памяти. Задержки памяти памяти на частоте 1066 МГц по сравнению с работой памяти на частоте 800 МГц составляет 31%. Рост производительности на частоте 1333 МГц по сравнению с частотой 1066 МГц составляет 18%. Как и ожидалось, потери производительности из-за снижения частоты памяти с 1066 МГц до 800 МГц намного больше, чем при снижении с 1333 МГц до 1066 МГц. Кроме того, в процессорах серии 5600 пропускная способность увеличена относительно предшествующей серии 5500 за счет увеличения количества snoop-транзакций, ожидающих исполнения. При сравнении 5500-системы с показателем 1DPC с 5600-системой с показателем 2DPC прирост пропускной способности составляет 5% (см. рис. 11). Пропускная способность памяти 68 800 (5600) Частота памяти (МГц) 8 1066 (5600) 89 105 1333 (5600) 1333 (5500) 100 114 800 (5600) Частота памяти (МГц) 0 20 40 60 80 100 120 Относительная пропускная способность памяти 1066 (5600) 107 Рисунок 11. Пропускная способность памяти в зависимости от частоты памяти 105 1333 (5600) 1333 (5500) 100 0 20 40 60 80 100 120 Относительная задержка памяти Рисунок 10. Задержки памяти в зависимости от частоты памяти при использовании процессоров Xeon 5600 Еще один индикатор производительности приложений – пропускная способность памяти. Мы воспользуемся внутренним инструментом IBM для генерации нагрузки и стандартным отраслевым тестом STREAM для генерации запросов к памяти. При определении пропускной способности памяти предполагается, что вся локальная память распределена и все 24 потока команд используют основную память системы. Как показано на рис. 11, прирост производительности вследствие использования Производительность приложений В этом разделе мы рассмотрим влияние частоты памяти на показатели производительности в трех широко используемых тестах: SPECint2006_rate, SPECfp2006_rate и SPECjbb2005. Сводные результаты показаны ниже на рис. 14. Результаты в отдельных тестах анализируются в следующих параграфах. Тест SPECint2006_rate обычно используется в качестве индикатора производительности для коммерческих приложений. Он более чувствителен к частоте процессора и менее чувствителен к пропускной способности памяти. Как показано на рис. 12, рабочие нагрузки этого теста могут быть разделены на три категории. Первая категория состоит из «дружественных к кэш-памяти» рабочих нагрузок, которые с увеличением частоты памяти не демонстрируют прибавки производительности. Вторая IBM Global Business Services 1333 МГц 1333 МГц 50 40 30 20 10 0 Рисунок 13. Результаты в тесте SPECfp2006_rate 60 50 40 30 20 10 st ar al an cb m k G eo -m ea n 47 3. a 48 3. x re f ne tp p m 64 47 1. o an tu m 46 4. h2 bq u 46 2. li er m je ng 45 8. s bm k 45 6. hm cc 42 9. m cf zi p2 40 3. g 44 5. go 40 0. p 40 1. b be nc h 0 er l Повышение производительности при повышении частоты относительно 800 МГц, % Классификация результатов в тесте SPECint 1066 МГц 1066 МГц 60 av 41 es 6. ga m es s 43 3. m 43 i lc 4. ze us m 43 p 5. gr om 43 ac 6. ca s ct us AD 43 M 7. le sl ie 3d 44 4. na m d 44 7. de al 45 II 0. so pl ex 45 3. po vr ay 45 4. ca 45 l c 9. ul G ix em sF D TD 46 5. to nt o 47 0. lb m 48 1. w 48 rf 2. sp hi nx 3 G eo -m ea n Повышение производительности при повышении частоты относительно 800 МГц, % Классификация результатов в тесте SPECfp 41 0. bw категория, охватывающая 50% рабочих нагрузок, демонстрирует увеличение производительности на 10 – 15%. Третья категория состоит из рабочих нагрузок, которые интенсивно работают с памятью и, соответственно, демонстрируют максимальный рост производительности. Таким образом, увеличение производительности в большой степени зависит от характеристик рабочей нагрузки. В качестве итога можно сказать, что средняя прибавка производительности при переходе от 800 МГц к 1066 МГц составляет 9%, а при дальнейшем увеличении частоты до 1333 МГц имеет место дополнительный рост на 3%. Тест SPECjbb2005 представляет собой рабочую нагрузку, которая не подвергает память максимальному напряжению, но поддерживает умеренный уровень использования шины данных. В определенном смысле эта рабочая нагрузка представляет собой некий компромисс, и прибавка производительности отражает это обстоятельство. Как показано на рис. 14, рост производительности при переходе от 800 МГц к 1066 МГц составляет 12%, а дополнительная прибавка при увеличении частоты до 1333 МГц составляет 3%. Рисунок 12. Результаты в тесте SPECint2006_rate Производительность приложений 800 МГц 1066 МГц 1333 МГц 140 Относительная производительность Тест SPECfp_rate используется в качестве индикатора производительности для HPC-нагрузок (HighPerformance Computing – высокопроизводительные вычисления). Как правило, такие рабочие нагрузки характеризуются интенсивным использованием памяти и должны демонстрировать существенную прибавку производительности в соответствии с увеличением частоты памяти. Как показано на рис. 13, при увеличении частоты с 800 МГц до 1066 МГц большинство рабочих нагрузок демонстрирует рост производительности на 20 – 30%, а при увеличении частоты до 1333 МГц общее повышение быстродействия превышает 40%. Производительность подобных приложений ограничивается пропускной способностью памяти, поэтому усовершенствования в области пропускной способности дают существенную прибавку производительности. В таких средах необходимо убедиться в том, что память сконфигурирована для функционирования с максимально возможной скоростью, поскольку это позволяет значительно повысить производительность. 124 120 109 100 116 112 100 100 112 115 100 80 60 40 20 0 SPECint2006_rate_base SPECfp2006_rate_base SPECjbb2005 Рисунок 14. Производительность приложений в зависимости от частоты памяти Заполнение разъемов памяти и балансировка системы Термин «чередование памяти» описывает, как физическая память чередуется между физическими DIMM-модулями. Сбалансированная система обеспечивает наилучшее чередование и максимально возможную производительность. 9 10 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Правила балансировки • • Если все имеющиеся у вас DIMM-модули имеют одинаковую емкость, то распределите DIMM-модули таким образом, что во всех 6 каналах было одинаковое количество DIMM-модулей. Если имеющиеся у вас DIMM-модули имеют разную емкость, то сбалансируйте все 6 каналов, установив в каждый из них одинаковый объем памяти. Эффект несбалансированной системы – как не следует поступать Плохо сбалансированные системы весьма распространены по трем основным причинам: • • Соблазн использовать имеющиеся DIMM-модули, что приводит к несбалансированным каналам. Исторически сложившееся предпочтение объемов Процессор 0 2 2 • памяти – 8 ГБ, 16 ГБ, 32 ГБ и т.д. В системе с неравным количеством DIMM-модулей в каналах невозможно сбалансировать память такого объема. В этом случае следует использовать следующие объемы памяти: 12 ГБ, 24 ГБ и т.д. В платформе с 16 DIMM-разъемами заполнение всех разъемов идентичными DIMM-модулями. Чтобы понять последствия, проанализируем несколько DIMM-конфигураций, которые демонстрируют плохое чередование и его воздействие на производительность. Эти весьма распространенные ситуации, которые применимы ко всем платформам на базе процессоров серии 5600. На рис. 15 представлено 8 различных конфигураций, для каждой из которых показаны объемы модулей памяти, установленных в DIMM-разъемы, и значение относительной производительности этой конфигурации. Процессор 0 Процессор 1 2 2 2 2 2 2 Процессор 1 2 2 2 0,76 Процессор 0 Процессор 0 Процессор 1 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 Процессор 0 Процессор 1 2 2 2 0,87 Процессор 0 2 Процессор 1 2 1,00 2 2 2 1,00 4 2 4 2 2 2 2 4 4 Процессор 1 2 4 4 2 0,87 1,00 Процессор 0 Процессор 0 Процессор 1 4 4 4 4 4 4 2 2 2 2 2 2 1,00 Рисунок 15. Примеры балансировки памяти 4 2 Процессор 1 2 4 0,76 2 2 IBM Global Business Services Во всех конфигурациях память функционирует на частоте 1333 МГц. Сбалансированные конфигурации показаны слева, а несбалансированные – справа. Первые две сбалансированные конфигурации используют DIMM-модули одинакового объема. Следующие две сбалансированные конфигурации используют DIMM-модули разного объема, но в каждом канале установлены равные объемы памяти. Несбалансированность конфигурации оказывает сильное отрицательное влияние на производительность, особенно когда объем памяти в одном из каналов какоголибо процессора отличается от объема памяти в каждом из двух других каналов этого же процессора. Заполнение разъемов в платформах с 12 DIMM-разъемами В случае сервера HS22, который имеет сбалансированное расположение DIMM-разъемов, можно легко сбалансировать систему для всех трех частот памяти без каких-либо отличий от blade-сервера на базе процессоров серии 5500. Рекомендуемое заполнение DIMM-разъемов показано на рис. 16. Оно предполагает заполнение разъемов DIMMмодулями равного объема и группами по 6 модулей, в результате чего общий объем памяти будет принимать такие значения, как 12 ГБ, 24 ГБ и т.д. Цифры в кругах обозначают группы. 11 как для сервера HS22. Так, разъемы, помеченные как «1» и «2», могут быть заполнены DIMM-модулями одинакового объема. Однако если вы хотите гарантировать сбалансированность системы при заполнении более 12 DIMM-разъемов, то все каналы должны иметь одинаковый объем памяти. Этот результат может быть достигнут посредством установки одинаковых DIMM-модулей во все DIMM-разъемы, кроме разъемов под номерами 8 и 16, которые для достижения сбалансированности конфигурации должны быть заполнены DIMM-модулями большего объема. Например, чтобы иметь 8 ГБ в каждом канале, каналы могут быть заполнены следующим образом: «4 ГБ – 2 ГБ – 2 ГБ», «4 ГБ – 2 ГБ – 2 ГБ» и «4 ГБ – 4 ГБ». Процессор 1 ФРОНТАЛЬНАЯ ЧАСТЬ ЗАДНЯЯ ЧАСТЬ сервера Процессор 1 Процессор 0 ФРОНТАЛЬНАЯ ЧАСТЬ ЗАДНЯЯ ЧАСТЬ Blade-модуля Процессор 0 Порядок заполнения разъемов памяти в платформе с 12 DIMM-разъемами Заполнение разъемов в платформах с 16 DIMM-разъемами Платформа с 16 DIMM-разъемами имеет разное количество DIMM-разъемов в каналах, поэтому необходимо уделять особое внимание корректному заполнению этих разъемов DIMM-модулями. При заполнении 12 или менее DIMM-разъемов применяются такие же правила, Заполнение разъемов памяти в платформах с 16 DIMM-разъемами Заполнение разъемов в платформах с 18 DIMM-разъемами Платформы с 18 DIMM-разъемами также имеют сбалансированное расположение DIMM-разъемов, подобное серверу HS22. На рис. 18 показано заполнение разъемов при использовании DIMM-модулей равного объема. Память заполняется группами по 6 модулей из расчета одинакового общего объема памяти для каждого процессора в 2-процессорной конфигурации. Цифры в кругах обозначают группы. На рисунке показан только сервер HS22V, однако в других системах с 18 DIMM-разъемами используется такой же порядок заполнения разъемов. 12 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 Процессор 1 ФРОНТАЛЬНАЯ ЧАСТЬ ЗАДНЯЯ ЧАСТЬ Blade-модуля ранков на канал (RPC) повышается с единицы до двойки. При последующем удвоении с двух до четырех ранков на канал прибавка производительности уменьшается до уровня примерно 3%. Таким образом, в описываемых платформах настоятельно рекомендуется использование двухранковых DIMM-модулей. Для получения результатов, представленных на рис. 19, использовались следующие конфигурации: • • Процессор 0 • Заполнение разъемов памяти в платформах с 18 DIMM-разъемами • Ранки памяти Ранк памяти – это сегмент памяти, который адресуется через определенный разряд адреса. Обычно DIMMмодули имеют 1, 2 или 4 ранка памяти. Эта информация указывается в маркировке модуля вместе с информацией о его объеме. 1 ранк на канал; шесть одноранковых DIMM-модулей емкостью по 2 ГБ на частоте 1333 МГц; 2 ранка на канал; шесть двухранковых DIMM-модулей емкостью по 2 ГБ на частоте 1333 МГц; 3 ранка на канал; шесть одноранковых DIMM-модулей емкостью по 2 ГБ и шесть двухранковых DIMM-модулей емкостью по 2 ГБ на частоте 1333 МГц; 4 ранка на канал; двенадцать двухранковых DIMMмодулей емкостью по 2 ГБ на частоте 1333 МГц. (Четырехранковые DIMM-модули не использовались, поскольку они снизили бы частоту памяти до 1066 МГц.) Пропускная способность памяти 131 • • 4R – количество ранков в данном DIMM-модуле (в рассматриваемом примере модуль является четырехранковым). x8 – ширина данных ранка. Количество ранков на канал 4 Типичное описание DIMM-модуля имеет вид 2GB 4R x8, где: 3 126 2 127 1 100 0 Для достижения оптимальной производительности необходимо гарантировать, что каждый канал заполнен DIMM-модулями с соответствующим количеством ранков. Когда это возможно, рекомендуется использовать в системе двухранковые DIMM-модули. Двухранковые DIMM-модули улучшают чередование по сравнению с одноранковыми DIMM-модулями и, соответственно, обеспечивают более высокую производительность. Кроме того, двухранковые DIMM-модули предпочтительнее четырехранковых DIMM-модулей, поскольку четырехранковые DIMM-модули могут вызвать снижение частоты памяти. Как показано на рис. 19, самая большая прибавка в производительности (27%) происходит в том случае, когда число 20 40 60 80 100 120 140 Относительная пропускная способность памяти Рисунок 19. Пропускная способность памяти в зависимости от количества ранков на канал Заполнение разъемов памяти в каналах памяти Необходимо убедиться в том, что в каждом процессоре заполнены все три канала памяти. На рис. 20 представлены значения относительной пропускной способности памяти, которые демонстрируют последствия заполнения разного количества каналов при нескольких частотах работы памяти. На частотах 1066 МГц и 800 МГц увеличение количества каналов дает линейный прирост производительности. На частоте 1333 МГц заполнение третьего IBM Global Business Services канала уже не дает линейного роста производительности, что указывает на исчерпание возможностей процессора по генерации запросов к памяти. Таким образом, минимальное число DIMM-модулей для достижения приемлемой производительности составляет три модуля на каждый процессор. ограничивается возможностями линий QPI. Задержки доступа к дистанционно расположенной памяти почти на 75% выше, чем задержки доступа к локальной памяти. Таким образом, если в системе установлено два процессора, то всегда следует стремиться к заполнению разъемов памяти для обоих процессоров. Пропускная способность памяти Xeon 5600 Процессор 0 ДИСТАНЦИОННО РАСПОЛОЖЕННАЯ ПАМЯТЬ Xeon 5600 Процессор 1 ЛОКАЛЬНАЯ ПАМЯТЬ 1,0 800 1 канал 2,0 800 2 канала Конфигурация памяти 13 3,0 800 3 канала 1066 1 канал 1,3 1066 2 канала QPI Контроллер памяти Канал 0 Канал 1 Канал 2 Контроллер памяти Канал 0 Канал 1 Канал 2 2,6 1066 3 канала 4,0 1333 1 канал 1,6 3,1 1333 2 канала 1333 3 канала 0 0,5 1 1,5 2 2,5 3 3,5 4 4,5 5 Рисунок 21. Доступ к локальной и дистанционно расположенной памяти Относительная пропускная способность памяти Рисунок 20. Эффект заполнения разного количества каналов памяти у процессора Заполнение разъемов памяти для разных процессоров Поскольку в процессорах Xeon 5600 применяется архитектура NUMA, необходимо гарантировать, что в системе задействованы оба контроллера памяти (по одному от каждого процессора), для чего необходимо обеспечить каждый процессор памятью. Кроме того, самым оптимальным вариантом является идентичное заполнение разъемов памяти для обоих процессоров, обеспечивающее сбалансированность системы. В качестве примера используем рис. 21. У процессора 0 заполнены все DIMMразъемы, а у процессора 1 не заполнен ни один его DIMMразъем. В этом случае процессор 0 будет иметь доступ к локальной памяти с низкой задержкой и с высокой пропускной способностью. Однако процессор 1 будет иметь доступ только к дистанционно расположенной (т.н. удаленной) памяти. В результате исполняемые на процессоре 1 потоки при доступе к памяти будут иметь более длительные задержки, чем потоки на процессоре 0. Это происходит вследствие дополнительных затрат времени на пользование шиной QPI для доступа к данным через дистанционно расположенный контроллер памяти. Кроме того, пропускная способность при доступе к дистанционно расположенной памяти DIMM-модули с напряжением питания 1,35 В Процессоры Xeon серии 5500 поддерживают только DIMM-модули с напряжением питания 1,5 В. Процессоры серии 5600 также позволяют использовать DIMM-модули с напряжением питания 1,35 В, которые потребляют меньше энергии, чем DIMM-модули с напряжением питания 1,5 В. Некоторые предостережения: • • • • DIMM-модули на 1,35 В способны работать при напряжении 1,5 В, но не наоборот. Если в системе установлены DIMM-модули на 1,35 В и на 1,5 В, то на все эти DIMM-модули будет подаваться напряжение 1,5 В. Для повышения производительности DIMM-модули на 1,35 В могут применяться при напряжении 1,5 В. В зависимости от операционного режима система UEFI выберет один из двух вариантов: более высокую частоту при более высоком напряжении (более высокая производительность) или сниженное напряжение и сниженную частоту памяти (уменьшенное энергопотребление). Например, чтобы достигнуть частоты 1333 МГц при двух DIMM-модулях на канал (2DPC) может потребоваться применение 1,35-вольтовых DIMMмодулей под напряжением 1,5 В. Выбор будет состоять в следующем: работа памяти под напряжением 1,5 В 14 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 для достижения частоты 1333 МГц или под напряжением 1,35 В, но на частоте 1066 МГц. С точки зрения производительности DIMM-модули на 1,35 В и на 1,5 В не демонстрируют каких-либо различий, если они работают на одинаковой частоте (см. рис. 22). При снижении напряжения питания с 1,5 В до 1,35 В (на 10%) при полной нагрузке потребляемая мощность сокращается почти на 20%. Это вполне ожидаемый результат, поскольку потребляемая мощность пропорциональна квадрату напряжения питания. Отношение пропускной способности к энергопотреблению также увеличится примерно на 20%, поскольку пропускная способность не меняется при снижении напряжения питания с 1,5 В до 1,35 В. Данные измерений были получены на сервере x3550 M3 при заполнении разъемов шестью 1,35-вольтовыми DIMM-модулями объемом по 8 ГБ. Нагрузка генерировалась с помощью внутреннего инструмента IBM, а потребление энергии памятью измерялось непосредственно в DIMM-разъемах с применением специальной «вертикальной» карты (riser card). немногим более 60% имеет место неизменное различие в энергопотреблении между DIMMмодулями на 1,35 В и на 1,5 В, составляющее 20%. Этим 20-процентным выигрышем в энергопотреблении способны воспользоваться самые разные приложения, однако для этого они не должны перегружать память своими запросами. Сравнение энергопотребления DIMM-модулей на 1,35 В и на 1,5 В (запись – 50% / чтение – 50%) 1,35 В 1333 МГц 1,5 В 1333 МГц 1,35 В 1066 МГц 1,5 В 1066 МГц 1,35 В 800 МГц 1,5 В 800 МГц 1,20 1,00 0,80 0,60 0,40 0,20 0,00 Пропускная способность Вт/DIMM Пропускная способность/ мощность DIMM Рисунок 22. Сравнение энергопотребления DIMM-модулей на 1,35 В и 1,5 В Существует несколько интересных тенденций, которые можно увидеть на рис. 22 и рис. 23. Энергопотребление DIMM-модулей в зависимости от нагрузки • • В исторической перспективе снижение частоты памяти традиционно применялось для сокращения энергопотребления. Однако сравнение отношения «пропускная способность/энергопотребление» при напряжении питания 1,5 В на разных частотах показывает: хотя при снижении частоты потребление энергии DIMM-модулями значительно уменьшается, отношение «пропускная способность – энергопотребление» оказывается лучше при более высокой частоте. У 1,35-вольтовых DIMM-модулей потребление энергии на частоте 1333 МГц близко к энергопотреблению 1,5-вольтовых DIMM-модулей на частоте 800 МГц и ниже энергопотребления 1,5-вольтовых DIMM-модулей на частоте 1066 МГц. Таким образом, можно значительно увеличить производительность приложений посредством применения 1,35-вольтовых DIMM-модулей памяти на более высокой частоте, чем у 1,5-вольтовых DIMM-модулей, и при этом сохранить эквивалентное или более низкое энергопотребление. Как показано на рис. 23, при загрузке памяти 1,35 В Нормализованная мощность DIMM • 1,5 В 120 100 80 60 40 20 0 50 60 70 80 90 100 Максимальная нагрузка памяти, % Рисунок 23. Энергопотребление DIMM-модулей при различной нагрузке 110 IBM Global Business Services Типовые методики Максимальная производительность Для достижения максимальной производительности соблюдайте следующие правила: • • • • • • Всегда заполняйте разъемы памяти обоих процессоров одинаковым объемом памяти, чтобы гарантировать сбалансированность NUMA-системы. Всегда устанавливайте во все 3 канала памяти каждого процессора одинаковый объем памяти. По возможности обеспечьте одинаковое количество ранков в канале. По возможности используйте двухранковые DIMM-модули. Для получения оптимальной производительности на частоте 1333 МГц в системе на базе процессоров с поддержкой 1333 МГц установите 12 двухранковых DIMM-модулей на 1333 МГц (по 6 на процессор; по 2 на канал). Для получения оптимальной производительности на частоте 1066 МГц в системе на базе процессоров с поддержкой 1333 МГц установите 12 двухранковых DIMM-модулей (по 6 на процессор), а в настройках системы уменьшите частоту памяти до 1066 МГц (снижение частоты памяти можно не производить, если процессор поддерживает частоту памяти не более 1066 МГц или если в системе установлена память с максимальной частотой 1066 МГц). Для получения оптимальной производительности на частоте 800 МГц в системе с большим количеством DIMM-разъемов: • • На платформах с 12 DIMM-разъемами выберите один из следующих вариантов: • Установите 12 двухранковых DIMM-модулей, а в настройках системы уменьшите частоту памяти до 800 МГц. • Установите 12 четырехранковых DIMM-модулей (в случае четырехранковых DIMM-модулей снижение частоты производится автоматически). На платформах с 16 DIMM-разъемами выберите один из следующих вариантов: Установите 12 двухранковых DIMM-модулей, а в настройках системы уменьшите частоту памяти до 800 МГц, или установите 12 четырехранковых DIMM-модулей (в случае четырехранковых DIMM-модулей снижение частоты производится автоматически). • Установите 14 двухранковых DIMM-модулей одного объема и 2 двухранковых DIMM-модуля удвоенного объема, как было описано выше в разделе «Заполнение разъемов в платформах с 18 DIMM-разъемами». На платформах с 18 DIMM-разъемами: • Заполните все 18 DIMM-разъемов двухранковыми DIMM-модулями. • В этом разделе мы обобщим различные правила, которым необходимо следовать для получения оптимальной конфигурации памяти на платформах Xeon 5600. • 15 • При соблюдении вышеизложенных правил невозможно получить оптимизированную по производительности систему с общим объемом памяти 4 ГБ, 8 ГБ, 16 ГБ или 128 ГБ. С учетом трех каналов памяти и правил чередования для получения оптимальной производительности необходимо конфигурировать системы с общим объемом памяти 6 ГБ, 12 ГБ, 18 ГБ, 24 ГБ, 48 ГБ, 72 ГБ, 96 ГБ и т.д. Другие соображения Прочие факторы, которые также необходимо учитывать: Порядок установки модулей При добавлении DIMM-модулей к 5600-платформам необходимо заполнять свободные DIMM-разъемы в определенном порядке для конкретной платформы. В первую очередь всегда заполняется DIMM-разъем, который расположен дальше всего от связанного с ним процессора (в каждом канале памяти). Для получения более подробной информации обратитесь к документации по своей конкретной системе. Рекомендации по энергосбережению Основное внимание в данном документе уделяется конфигурациям с максимальной производительностью для систем на базе процессоров Xeon серии 5600. Приведем несколько рекомендаций по энергосбережению: • В общем случае у меньшего количества DIMM-модулей большего объема энергопотребление будет ниже (например, 6 DIMM-модулей по 4 ГБ и 12 DIMM-модулей по 2 ГБ). 16 • • Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 В общем случае DIMM-модули x8 (где x8 – ширина данных ранка, см. раздел «Ранки памяти») потребляют меньше энергии, чем эквивалентные по объему DIMM-модули x4. 1,35-вольтовые DIMM-модули потребляют меньше энергии, чем 1,5-вольтовые DIMM-модули, – во всех конфигурациях. Надежность/готовность Приведем несколько рекомендаций по повышению надежности: • • В общем случае использование меньшего количества DIMM-модулей большего объема обеспечивает более высокий уровень надежности (например, 6 DIMM-модулей по 4 ГБ и 12 DIMM-модулей по 2 ГБ). Чем больше DIMM-модулей установлено в системе, тем больше вероятность их отказа. Контроллеры памяти процессоров Xeon серий 5500/5600 поддерживают технологию защиты памяти IBM Chipkill с DIMM-модулями x4, но не с DIMM-модулями x8. Технология защиты от ошибок Chipkill исправляет в 16 раз больше ошибок, чем стандартная память с поддержкой технологии ECC. Укажем на очевидную несовместимость: вы можете использовать память категории x8 для снижения энергопотребления или память категории x4 для повышения степени готовности, но не обе категории одновременно. Одновременное применение памяти с поддержкой и без поддержки Chipkill приведет к тому, что защита Chipkill не будет действовать ни для одного DIMM-модуля. Конфигурационные настройки UEFI UEFI (Unified Extended Firmware Interface) – BIOSподобная система следующего поколения, применяемая в новых серверах System x и BladeCenter – предоставляет конечному пользователю различные операционные режимы, позволяющие оптимизировать систему по минимуму потребления энергии, по максимуму энергоэффективности или по максимуму производительности. Выбор в системных настройках любого из этих вышеупомянутых операционных режимов гарантирует приемлемый уровень оптимизации системы для соответствующей среды. Прежде чем осуществлять дальнейшую оптимизацию настроек, предоставляемых операционными режимами, необходимо обеспечить компромисс между требуемыми уровнями производительности, энергопотребления и надежности. Например, в некоторых средах очистка данных (регулярная или по требованию) может оказать отрицательное влияние на производительность. В этом случае пользователь при желании может пожертвовать надежностью для достижения максимальной производительности. Для получения более подробной информации обратитесь к документации по своей конкретной системе. Заключение Серверы IBM System x на базе процессоров Xeon серии 5600 поддерживают большое количество разнообразных конфигураций памяти, которые могут быть оптимизированы по производительности, по эффективности использования энергии и по издержкам. Необходимо учитывать, что основное внимание в данном техническом обзоре уделяется вопросам повышения производительности при использовании некоторых рабочих нагрузок. Однако каждое приложение имеет свои уникальные характеристики, для выявления которых может потребоваться более глубокое профилирование. Лишь после этого можно будет выбрать наиболее подходящие конфигурационные опции. Соблюдение представленных в этом обзоре рекомендаций как минимум позволит получить систему, которая будет достаточно близкой к оптимальной с точки зрения производительности. IBM Global Business Services Дополнительная информация Серверы IBM System x ibm.eom/systems/x Серверы и опции решения IBM BladeCenter ibm.com/systems/bladecenter Продукт IBM Systems Director Service and Support Manager ibm.com/support/electronic Инструмент IBM System x and BladeCenter Power Configurator ibm.com/systems/bladecenter/powerconfig Инструмент IBM Standalone Solutions Configuration Tool ibm.com/servers/eserver/xseries/library/configtools.html Руководство по конфигурациям и опциям серверов IBM ibm.com/servers/eserver/xseries/cog Программа IBM ServerProven ibm.com/servers/eserver/serverproven/compat/us Техническая поддержка IBM ibm.com/server/support Другие ресурсы технической поддержки IBM ibm.com/servers/eserver/techsupport.html 17 18 Производительность памяти и оптимизация ее работы на платформах IBM System x и BladeCenter при использовании процессоров Intel Xeon 5600 1 За исключением процессора L5640, для которого частота памяти составляет 1333 МГц. 2 Некоторые серверы System x на базе процессоров серии 5500 поддерживают 2DPC на частоте 1333 МГц (доступны в виде заказных конфигураций). © Copyright IBM Corporation 123370, Москва Пресненская наб., 10 Тел.: +7 (495) 775-8800 Факс: +7 (495) 258-6468, 258-6404 Май 2010 г. Все права защищены. Этот документ может содержать ссылки на Web-сайты других производителей. Эти сайты не контролируются и не сопровождаются корпорацией IBM. Решение о доступе к этим Web-сайтам принимает сам пользователь. Корпорация IBM не несет какой-либо ответственности за информацию, данные, мнения, рекомендации или утверждения, содержащиеся на этих сайтах. IBM предоставляет эти ссылки исключительно для удобства пользователей. Включение таких ссылок в текст данного документа не предполагает каких-либо рекомендаций или обязательств со стороны IBM. Информация о продукции сторонних производителей получена от поставщиков такой продукции из опубликованных ими материалов или из других общедоступных источников. IBM не проводила проверку этой продукции и не может подтвердить точность информации, касающейся производительности, совместимости и иных характеристик продукции сторонних производителей. С вопросами относительно продукции сторонних производителей следует обращаться к ее поставщикам. Применительно к емкости накопителя, 1 МБ равен 1 млн байт, 1 ГБ равен 1 млрд байт, 1 ТБ равен 1 трлн байт. Фактический объем доступного пространства диска меньше номинального; до 3 ГБ может занимать служебный раздел. Реальная емкость накопителя может меняться в зависимости от многих факторов и может быть меньше приложенной величины. Производительность оценивается показателем Internal Throughput Rate (ITR) на основе измерений и прогнозов, сделанных с использованием стандартных эталонных тестов IBM в контролируемой среде. Фактические показатели пропускной способности и производительности конкретной системы зависят от ряда обстоятельств, например, от степени многозадачности в потоке заданий пользователя, от конфигурации ввода/вывода, от конфигурации системы хранения и от характера рабочей нагрузки. Таким образом, нельзя гарантировать, что конкретный пользователь получит увеличение пропускной способности и производительности в соответствии с приложенными здесь соотношениями. Для обеспечения максимальной емкости внутренней дисковой подсистемы может потребоваться удаление всех стандартных жестких дисков и установка во все отсеки жестких дисков с максимальной поддерживаемой емкостью. Для обеспечения максимального объема оперативной памяти может потребоваться удаление всех стандартных модулей памяти и установка во все разъемы модулей памяти максимального поддерживаемого объема. При использовании оптических дисководов CD-ROM, CD-R, CD-RW и DVD с переменной скоростью реальная скорость воспроизведения непостоянна и часто меньше максимально возможной. Экземпляр гарантийных обязательств по продукции можно заказать по почте: Warranty Information, P.O. Box 12195, RTP, NC 27709, Attn: Dept. JDJA/B203. Корпорация IBM не делает никаких утверждений и не предоставляет гарантий в отношении продукции или услуг сторонних поставщиков, включая продукцию/услуги с логотипами ServerProven или ClusterProven. Получение технической поддержки по телефону может быть сопряжено с дополнительными расходами. Перед отправкой технического специалиста на место установки сотрудники IBM предпринимают попытку диагностировать и устранить неполадку по телефону. IBM, логотип IBM, ibm.com, BladeCenter, Chipkill, iDataPlex и System x являются товарными знаками корпорации International Business Machines Corporation в США и/или других странах. Если первые упоминания в данной публикации вышеперечисленных или каких-либо других зарегистрированных товарных знаков IBM отмечены символами ® или ™, это означает, что данный товарный знак зарегистрирован в США или охраняется нормами общего права и принадлежит IBM на дату публикации этого материала. Такие товарные знаки могут также быть зарегистрированными в других странах товарными знаками или товарными знаками, охраняемыми нормами общего права других стран. Со списком принадлежащих IBM товарных знаков можно ознакомиться на сайте компании по адресу ibm.com/legal/ copytrade.shtml. Intel, логотип Intel и Intel Xeon являются товарными знаками или зарегистрированными товарными знаками Intel Corporation или ее дочерних компаний в США и других странах. Linux является зарегистрированным товарным знаком, принадлежащим Линусу Торвальдсу. Microsoft, Windows, Windows Server, логотип Windows, Hyper-V и SQL Server являются товарными знаками Microsoft Corporation. Другие названия компаний, продукции и услуг могут являться товарными знаками или знаками обслуживания соответствующих компаний. Корпорация IBM оставляет за собой право изменять спецификации и другую информацию о продукции без предварительного уведомления. Упомянутые в данной публикации продукты или услуги IBM могут быть недоступны в ряде стран, где IBM ведет свою деятельность. КОРПОРАЦИЯ IBM ПРЕДОСТАВЛЯЕТ ДАННЫЙ ДОКУМЕНТ ПО ПРИНЦИПУ «КАК ЕСТЬ», БЕЗ КАКИХ-ЛИБО ЯВНЫХ ИЛИ ПОДРАЗУМЕВАЕМЫХ ГАРАНТИЙ, ВКЛЮЧАЯ ПОДРАЗУМЕВАЕМЫЕ ГАРАНТИИ КОММЕРЧЕСКОЙ ВЫГОДНОСТИ И ПРИГОДНОСТИ ДАННОЙ ПРОДУКЦИИ ДЛЯ КОНКРЕТНЫХ ЦЕЛЕЙ. Некоторые юрисдикции не допускают отказа от явных или подразумеваемых гарантий при совершении определенных операций; в связи с этим сказанное выше может не распространяться на вас. Подлежит переработке для повторного использования