Установка и настройка коллектора Flow2-2

Анисюти И.Б., 28.02.2013
Установка и настройка коллектора Flow2-2
I. Установка Cache
I. Установка Cache
1. копируем дистриб (в нашем случае ensemble-2009.1.2.602-lnxsusex64.tar.gz)
2. распаковываем (tar -xf ensemble-2009.1.2.602-lnxsusex64.tar.gz ensemble2009.1.2.602-lnxsusex64)
3. запустить установку (ensemble-2009.1.2.602-lnxsusex64/cinstall)
параметры установки в прилагаемом файле "Установка Cache.txt"
II. Настроить брэндмауэр - открыть порты суперсервера и веб сервера портала
(10101 и 20202)
III. дать права пользователям ОС на запуск консоли cache:
usermod -A cacheusr zunder
III. Настроить безопасность Cache
(http://10.112.151.17:20202/csp/sys/sec/UtilSysSecurity.csp)
1. отредактировать список пользователей и их права (добавить нужных,
заблокировать служебные)
2. настроить доступ к системным CSP приложениям
(http://10.112.151.17:20202/csp/sys/sec/UtilSysApplications.csp)
3. настроить доступ к сервисам
(http://10.112.151.17:20202/csp/sys/sec/UtilSysServices.csp)
III. Установить Adhoc1135 (в приложении)
IV. Настроить Cache
1. нужно настроить локаль (перед созданием новых баз)
(http://10.112.151.17:20202/csp/sys/mgr/%25CSP.UI.Portal.NLS.cls?$NAMESPACE=RK
C):
1. Нажимаем «Свойства».
2. Находим "Внутренние Таблицы" и нажимаем «Редактировать значение по
умолчанию» .
3. В поле «Таблица сортировки» нужно поставить «Cache standart».
В случае если это сделано после создания баз, то нужно их отредактировать и
перезапустить Cache. (Не уверены, но возможно поможет отмониторвание и
примонтирование базы)
2. остановить Cache (ccontrol stop 20091)
3. Копируем ключ лицензии с боевого сервера cache.key (в
/opt/cache/20091/mgr/cache.key)
4. настроить папки для журналов и баз (создать нужные папки и установить
права)
mkdir /base/kernel
mkdir /base/kernel/base/
mkdir /base/kernel/control/
mkdir /base/kernel/dataxdbc/
mkdir /base/kernel/ipac/
mkdir /base/kernel/log/
mkdir /base/journal/
права:
chown -R :cacheusr /opt/cache/20091/
chmod -R g+rwx /opt/cache/20091/
chown -R :cacheusr /base/kernel
chmod -R g+rwx /base/kernel
chown -R :cacheusr /base/journal/
chmod -R g+rwx /base/journal/
Анисюти И.Б., 28.02.2013
5. Копируем подготовленный конфиг cache.cpf_1_first в
/opt/cache/20091/cache.cpf (проверить, что на файл выставлены права WR для
группы cacheusr)
6. запускаем Cache (ccontrol start 20091)
7. проставляем нашим базам автоматическое монтирование баз при запуске Cache
(http://10.112.151.17:20202/csp/sys/mgr/UtilSysDatabases.csp)
8. монтируем базы
(http://10.112.151.17:20202/csp/sys/op/UtilSysOpDatabases.csp)
Настройка коллектора
1. Закопировать базы base и control
Закопировать в случае холодного бэкапа, либо сделать горячий бэкап баз с
работающего коллектора Flow v2 (сейчас я использую барнаульский коллектор
flow4-1, 10.112.156.130)
1. Создание горячего бэкапа:
а) на боевом сервере в консоле в области "%SYS" запускаем
Do ^BACKUP
редактирвуем список баз для полного бэкапа (в нашем случае это
KERNEL-BASE, KERNEL-CONTROL)
2. Восстановление горячего бэкапа:
а) на теневом сервере в консоле в области "%SYS" запускаем
Do ^BACKUP
восстанавливаем
2. .Создать базы ipac, log, xdbc
в портале системы
(http://10.112.151.17:20202/csp/sys/mgr/UtilSysDatabases.csp?$NAMESPACE=)
a. KERNEL-DATAXDBC=/base/kernel/dataxdbc/
b. KERNEL-IPAC=/base/kernel/ipac/
c. KERNEL-LOG=/base/kernel/log
3. .Настроить маппирование глобалей

Остановить каше

Скопировать подготовленный конфиг cache.cpf_2 в /opt/cache/20091/cache.cpf
(предварительно сделать копию текущего cp /opt/cache/20091/cache.cpf
/opt/cache/20091/cache.cpf_bakBM)

Запустить каше

Убедиться что все базы примонтированы (смонтировать если это не так и настроить
автоматическое монтирование при старте системы
4. Настроить глобали
Проверить текущие глобали области KERNEL и удалить лишнее.
Анисюти И.Б., 28.02.2013
Удаляю старые глобали и правила барнаульского коллектора (для новосибирского буду их
копировать с Flow2-1):
k
^Control.AccumulatorD,^Control.AccumulatorD,^Control.RuleD,^Control.RuleI,^ConvertData,^Counter
,^Control.ExporterD,^ERRORS,^NetFlow.RuleD,^NetFlow.RuleI,^NetFlow.LogResendD,^NetFlow.LogRe
sendI, ^NetFlow.ExporterD, ^NetFlow.QueueD, ^NetFlow.QueueI
остались такие глобали
Справочники
Abonent*, Address*, Common*, Help, Human*, Menu*,Ens*, Reference*, Organization*,SYS
Общие глобали для коллекторов:
NetFlow.AccumulatorD
Не знаю как используются эти глобали, оставил их:
NetFlow.NetGroupD
NetFlow.NetGroupElementD
NetFlow.NetGroupElementI
NetFlow.NetGroupI
1. Настроить csp приложение

Скопировать с существующего коллектора папку /opt/cache/20091/csp/kernel (или взять
из архива в приложении kernel_csp.tar)

Настроить права
o flow2-2:/opt/cache/20091/csp # chown -R :cacheusr ./kernel/
o flow2-2:/opt/cache/20091/csp # chmod g+rwx ./kernel

Создать приложение /csp/kernel
(http://10.112.151.17:20202/csp/sys/sec/UtilSysApplication.csp?$ID1=*&$ID2=1&$NAMESPA
CE=)

Дать ему права %All (вкладка [Роли приложения] )

Загрузить файлы csp из консоли cache
KERNEL>do $system.CSP.LoadPageDir("/csp/kernel")

Проверить возможность войти в приложение
(http://10.112.151.17:20202/csp/kernel/index.csp). Если доступа нет (неверный логин или
пароль) – создавайте пользователя из консоли
Анисюти И.Б., 28.02.2013
2. Настройка приложения

Выключаем отправку IPAC на сервер БД до тех пор, пока не закончим настройку
колелктора
Системный справочник, [Daemon.IPAC, IPAC.SendToServer] = 0

Идем по системному справочнику и делаем настройки
o Папки и права для отчетов и детализации (Collector , PathDetail =
/base/disk2/detail/ и Collector , PathDetailRes = /base/disk2/report/)
flow2-2:/base/disk2 # chown -R :cacheusr ./detail/
flow2-2:/base/disk2 # chown -R :cacheusr ./report/
flow2-2:/base/disk2 # chmod -R g+rwx ./detail/
flow2-2:/base/disk2 # chmod -R g+rwx ./report/

Collector

flow2-2:/base/disk2 # mkdir /tmp/ramdisk

flow2-2:/base/disk2 # chmod -R g+rwx /tmp/ramdisk

flow2-2:/base/disk2 # chown -R :cacheusr /tmp/ramdisk
PathDetailTmp = /tmp/ramdisk/
Скопировал глобали с Flow2-1
NetFlow.ExporterD
NetFlow.RuleD
Перестроил индексы для правил
KERNEL>w ##class(NetFlow.Rule).%BuildIndices()
3. Настроил пользователя Loader
Создал ресурсы (http://10.112.151.17:20202/csp/sys/sec/UtilSysResources.csp)
%DB_KERNEL-CONTROL и %DB_KERNEL-DATA с общедоступным правом на чтение (R)
Проверил, что базы KERNEL-CONTROL привязана к ресурсу %DB_KERNEL-CONTROL и база KERNELDATA привязана к %DB_KERNEL-DATA.
(http://10.112.151.17:20202/csp/sys/mgr/UtilSysDatabases.csp?$NAMESPACE=)
Создал роль FLOWLOADER
http://10.112.151.17:20202/csp/sys/sec/UtilSqlRoles.csp?$NAMESPACE=
Анисюти И.Б., 28.02.2013
Имя*:
FLOWLOADER
Описан Для загрузки данных (%Development позволяет выполнять csession,
ие:
%System_CallOut - выполнять $ZF)
Добавил привилегии
Ресурс
Право
%DB_KERNEL-DATA RW
%Development
U
%System_CallOut
U
%DB_%DEFAULT
RW
Создал пользователя Loader
http://10.112.151.17:20202/csp/sys/sec/UtilSqlUserEdit.csp
Имя*: Loader
Пароль*: Loader123
Подтвердите Пароль*:
Область для запуска:KERNEL
Логин и пароль должны совпадать с логиноп и паролем которые используются в
скрипте /base/install/netflow2-2/netflow/bin/loaddata в строке
echo -e "Loader\nLoader123\r"
Добавил ему роль FLOWLOADER
Проверяем, что пользователь создан и права настроены верно:
Делаем вход в консоль Cache с логином и паролем Loader
Делаем вызов внешней функции d $ZF(-1,"ls /etc")
Проверяем запись в базу KERNEL>s ^A=1 k ^A
4. Установка скриптов
Скопировал скрипты (в приложении usr_local_netflow.tar) в папку /usr/local/netflow/bin
Проверка:
1. Посмотреть /var/log/flowloader.log (там могут быть ошибки которые отдает Cache)
2. Посмотреть журнал ошибок в области KERNEL
(http://10.112.151.17:20202/csp/sys/op/UtilSysAppErrorDates.csp?$ID1=KERNEL&$
NAMESPACE=)
Анисюти И.Б., 28.02.2013
3. Посмотреть Журнал загрузок – (http://10.112.151.17:20202/csp/kernel/index.csp
меню Коллектор/ Журнал загрузок). При выборе записей за сегодня должны
появиться записи.
Что осталось сделать
1. Настроить детализацию – сейчас правила откопированы с flow2-1 и детализация делается
по тем же правилам что и на нем. Надо решить по каким правилам надо делать
детализацию, по каким нет и настроить.
2. Настроить формирование и отправку статистики IPAC – сейчас правила откопированы с
flow2-1 и настройки формирования IPAC те же, что и на flow2-1. Надо решить по каким
правилам надо формировать IPAC, по каким нет и настроить.
3. Включить отправку IPAC на сервер приложений (10.112.151.29). В системном справочнике
приложения надо установить настройку [“Daemon.IPAC”,”IPAC.SendToServer ”]=1 –
(http://10.112.151.17:20202/csp/kernel/index.csp меню Настройки/Системный
справочник)
4. Решить нужна ли на этом коллекторе работа через очереди, а не напрямую. Если надо –
настроить
5. Решить вопрос с ошибкой в логе /var/log/flowloader.log
[14268] Unknown rule: 10.178.255.36@2013-03-04 11:28:29] 11:10.254.254.148:0 ->
11:109.174.110.2:2816 = 336.
Видимо надо определить такое правило или настроить экспортер, чтобы такой трафик не
отправлялся на этот коллектор. На flow2-1 – такие же ошибки в логе.
6. Для ускорения процесса формирования детализации можно выделить оперативную
память под /tmp/ramdisk (сейчас папка просто смонтирована на /dev/sda1)