Аппаратно-программная конфигурация ЦИВК

Аппаратно-программная
конфигурация ЦИВК
Аппаратные ресурсы.
Программное обеспечение.
Организация работы пользователей.
Грид в ЦИВК, принципы работы.
http://lit.jinr.ru
Структурная схема ЦИВК
Сетевые соединения
Сетевое окружение
1Gbit Ethernet - опорная сеть.
Маршрутизатор и коммутаторы 1GbE.
Не более 3-х коммутаций между любыми
2-мя машинами ЦИВК.
4-8 линий между 1-ым и 2-ым уровнями
(802.3ad – link aggregation).
10GbE до опорной сети ОИЯИ (план).
Вычислительные ресурсы счетная ферма
60 машин: Xeon 5150, 8GB RAM,
64-х битная архитектура - x86_64.
2 x ЦПУ по 2 ядра = 4 ЦПУ на машину.
2 GB RAM на ядро (ЦПУ).
100 GB scratch на машину.
2730 SI2000 на ядро.
Всего: 240 ЦПУ; ~650 kSI2k.
Счетная ферма - расширение
(март 2008)
20 машин: Xeon 5345, 16GB RAM, x86_64.
2 x ЦПУ по 4 ядра = 8 ЦПУ на машину =
160 ЦПУ.
2 GB RAM на ядро.
200 GB scratch на машину.
2700 SI2000 на ядро = 432 kSI2k.
Всего: 400 ЦПУ; > 1000kSI2k.
Дисковые ресурсы
Общий (физический) объем: > 120TB.
Аппаратный RAID5 (3ware/AMCC).
Программный RAID1 (AFS и т.п.).
Direct Attached SATA (счетные,
интерактивные машины и т.п.).
Доступный объем: 1.3TB - AFS; 82TB dCache.
Остальные ресурсы
4 машины для интерактивной работы:
2 - Intel Core 2 Duo; 2 - AMD Athlon.
Серверы AFS и NFS.
Серверы dCache.
Серверы общего назначения.
Серверы WLCG сайта (грид).
Остальные ресурсы
(продолжение)
Архитектура серверов: от Intel Celeron и
Pentium 3 до Atlon64 X2 и Core 2 Duo.
Всего серверов 64.
Архитектура и ЦПУ: uname -ip
подробнее – cat /proc/cpuinfo.
Объем RAM: free
Программное обеспечение
Основная ОС - Scientific Linux SL 4.5
(SL4) – клон RHEL4, на всех счетных
машинах (cat /etc/redhat-release).
Основная архитектура – x86_64, 64-х
битная (uname -i).
Установлены все пакеты совместимости
для выполнения 32-х битных программ.
Система пакетной обработки (batch):
Torque + Maui.
Программное обеспечение
(продолжение)
Рекомендуется для разработки ПО
использовать SL4 x86_64 на lxpub01/02.
Для совместимости: SL4 i386 на lxpub03;
SL3 i386 на lxpub04.
Разработка ПО для архитектуры i386
возможна, но не тривиальна.
SL3 будет только до конца 2008.
Предполагается полный переход на 64-х
битную архитектуру.
Программное обеспечение
Средства разработки ПО
Компиляторы, компоновщик и отладчик
из SL4 версии 3.4.6: gcc; g++; f77; ld;
gdb(gcc -v).
Дополнительно из SL4: gcc4; g++4;
gfortran.
Дополнительно от Intel: icc; icpc; ifort;
idb (icc -V).
Средства разработки Intel дают ~15%
повышения производительности ПО.
Программное обеспечение
Средства разработки ПО (продолжение)
CERNlib 2006, архитектура x86_64 (gcc4).
ROOT 5.14.00e, архитектура x86_64.
OpenMPI 1.2.5, архитектура x86_64
(компиляторы Intel).
JINRlib (g77, gfortran и ifort).
Программное обеспечение
Средства разработки ПО (продолжение)
Практически все -devel- RPM из SL4:
glibc; libstd++ и т.д, архитектура x86_64
(некоторые - i386) (file /lib64/libc-2.3.4.so;
file /lib/libc-2.3.4.so).
Perl, Python, Tcl, Tk (только x86_64).
Средства разработки для графических
оболочек: xorg; kde; gnome.
Программное обеспечение
Средства поддержки - графика
Рекомендуется использовать kde.
Графические оболочки: xorg; kde; gnone.
Терминал: xterm; konsole.
WWW/FTP: firefox; konqueror; gftp.
Редакторы: gvim; emacs; nedit.
Mail: kmail; thunderbird.
Программное обеспечение
Средства поддержки – графика (прод)
Документы: ooffice; acroread; ggv; kpdf;
kghostview.
Калькулятор: qalc; kcalc.
Разработка: kdevelop; bluefish (www) .
Текст: Tex/LaTex.
Изображения: gimp; xfig; kuickshow.
Программное обеспечение
Средства поддержки - текст
Рекомендуется использовать putty (ssh)
для входа из Windows.
WWW/FTP: links; lynx; wget; lftp; pftp.
Редакторы: vim; pico.
Mail: alpine (pine); mutt.
Структурная схема ЦИВК
Потоки данных и задач
Организация работы
пользователей
Подробное описание – на сайте:
http://lit.jinr.ru.
Интерактивная работа: lxpub01 -:lxpub04 – User Interface.
Разработка и отладка ПО, не счет.
Работа с графикой.
Подготовка документации.
Mail, WWW и т.п.
Интерактивный вход на остальные
машины запрещен.
Организация работы
пользователей (продолжение)
Все счетные задачи работают через
batch систему (qsub, qstat, qpeek, qdel).
Приоритеты и порядок запуска –
планировщик Maui (“умный” алгоритм).
Желательно указывать для batch:
время CPU; RAM; размер scratch.
Как правило: одна задача – 1 CPU.
Организация работы
пользователей (продолжение)
Максимальное количество задач
пользователя = 170.
Максимальные параметры задач:
CPU=400 часов;RAM=2GB;scratch=25GB.
Параллельные задачи – особый случай.
Примеры задач для batch - на сайте LIT:
http://lit.jinr.ru
Регистрация и ресурсы
пользователей
Регистрируются в базе kerberos5.
Домашние директории в AFS.
Хранение данных в dCache.
Возможно выделение дополнительного
места в AFS под большое ПО для
группы/пользователя.
На UI есть scratch: /scr/u/...
На счетных машинах задача должна
работать в scratch: cd $TMPDIR
Структурная схема ЦИВК
Потоки данных и задач
WLCG грид в ЦИВК
ЦИВК имеет общие ресурсы с сайтом
WLCG – JINR-LCG2: счетные машины и
дисковые массивы в dCache.
Единый сервер запуска задач в batch.
Интерактивные машины работают как
User Interface для WLCG.
16 машин обслуживают инфраструктуру
сайта JINR-LCG2.
Работают 9 Виртуальных Организаций VO.
WLCG грид в ЦИВК
пользователям грид
Преимущества грид (потенциальные):
неограниченные компьютерные ресурсы
всего мира.
Необходимо: получить сертификат и
стать членом Виртуальной Организации.
Задачи должны удовлетворять
достаточно жестким требованиям:
использовать стандартные для грид
протоколы.
WLCG грид в ЦИВК
использование
WLCG работает c ПО промежуточного
уровня gLite, версия 3.1.
Запуск и проверка заданий:
. /opt/ui/etc/profile.d/grid-env.sh
(только на lxpub01/02)
voms-proxy-init -voms dteam
glite-wms-job-submit -a -o t1 t1.jdl
glite-wms-job-status -i t1
glite-wms-job-output -i t1
Заключение
Материалы с дополнениниями и
примерами будут опубликованы на
http://lit.jinr.ru “Вычисл. & Инф. Ресурсы”
-> “ЦИВК”.
В 20-ых числах февраля все
вычислительные и дисковые ресурсы
будут не доступны в связи с
модернизацией сетевой структуры ЦИВК.