Пробую БГБ (BGBillingServer_4.6_463, BGIPNNetflowCollector_4.6_176, ipn_4.6_175, BGRadiusIPN_4.6_146, npay_4.6_157)
Встал вопрос как обрабатывать NetFlow...
Вариант, который предлагается в мануале не совсем нравится - там или источник NetFlow с БГБ-сервером на одной машине, или NetFlow гонится через сеть. Ни то, ни другое не подходит - первое по вопросам производительности, второе по надежности.
Хотелось (в идеале) вообще по сети NetFlow не гнать, в крайнем случае по интерфейсу lo (127.0.0.1).
Выбрана схема, при которой:
- интервал файлов NetFlow - 5 минут;
- источник NetFlow на роутере (Linux - Debian-lenny (stable));
- приемник на ней-же (flow-tools);
- на сервере БГБ поднят proftpd (DefaultRoot /var/get_flow , заведен бесправный юзер со всеми правами в этом каталоге).
Т.е. бинарные файлы собираются на роутере, по FTP гонятся на сервер БГБ. Для надежной (даже при сбоях) передачи файлов сделаны следущие скрипты:
test_flow - запускается по готовности очередного файла.
Для этого в конфиге /etc/flow-tools/flow-capture.conf строка
-w /var/flow/eth0 -n 275 0/127.0.0.1/555 -R /lib/test_flow/test
Код:
# Files of flow-tools
flow_dir="/var/flow/eth0"
flow_file="$flow_dir/$1"
# Тут проверка трафика средствами flow-tools, grep и gawk - для оперативного вмешательства в iptables ;)
#***************
# Копируем очередной файл во временный каталог
cp $flow_file /var/flow/tmp/
# Запускаем отправку на FTP БГБ-сервер
/lib/test_flow/send_flow
send_flow (использует пакет ncftp):
Код:
#!/bin/sh
ftp_user="****"
ftp_pass="****"
# Для отладки желательно. При желании можно указать report="/dev/null"
report="report"
cd /var/flow/tmp
echo "---------------" >> $report
date >> $report
# Получение md5 файлов. Параметр -V при обработке в режиме демона обязательно!
ncftpget -DD -V -u $ftp_user -p $ftp_pass 10.10.10.2 . *.md5
# теперь проверим наличие и правильность md5 для каждого бинарного файла
for ft in $(ls -C1 ft*1100); do
echo "Обрабатываем $ft" >> $report
if [ -r $ft.md5 ]; then
echo "Для файла $ft есть $ft.md5" >> $report
md5_r=$( md5sum -c --status "$ft.md5")
echo "Результат проверки: $md5_r" >> $report
if [ "$md5_r" = "" ]; then
echo "Файл $ft - правильный, удален" >> $report
# Тут можно и удалить ft - бинарный файл
rm $ft
else
echo "Файл $ft - ошибка md5 !!!!!!!!!" >> $report
fi
else
echo "Для $ft нет $ft.md5" >> $report
fi
done
# Удалим md5
rm *.md5
# Отправка всех накопившихся ft*
ncftpput -V -u $ftp_user -p $ftp_pass 10.10.10.2 . ft*1100
На сервере БГБ, по крону каждую минуту запускается скрипт check_flow (использует пакет gawk для вычленения YYYY, MM, DD, HH из имени файла):
Код:
#!/bin/sh
dir_get="/var/get_flow"
dir_flow="/var/flow/source_4"
cd $dir_get
# Если в работе - выход
if [ -f "$dir_get/all.par" ]; then
exit
fi
# Запишем контрольные суммы
for ft in $(ls -C1 ft*1100); do
echo "$ft"
md5sum -b $ft > $ft.md5
done
chmod 666 *.md5
# Сделаем список файлов
ls -C1 ft*1100 > all.list
# Теперь переделаем его в список параметров для копирования и запуска сбора логов
cat all.list | gawk -F'[.-]' '{ print $0 " " $3 " " $4 " " $5 " " substr($6, 1, 2) }' > all.par
# Ну и для каждой строки...
while read -r LINE; do
/lib/proc_flow/copy_load $LINE
done < all.par
rm all.par
rm all.lis
copy_load:
Код:
#!/bin/sh
get_dir="/var/get_flow"
send_dir="/var/flow/source_4"
ft=$1
YYYY=$2
MM=$3
DD=$4
HH=$5
# Проверим наличие каталогов, сделаем если надо
if [ ! -d "$send_dir" ]; then
mkdir $send_dir
#echo "Create $send_dir"
fi
if [ ! -d "$send_dir/$YYYY" ]; then
mkdir "$send_dir/$YYYY"
#echo "Create $send_dir/$YYYY"
fi
if [ ! -d "$send_dir/$YYYY/$YYYY-$MM" ]; then
mkdir "$send_dir/$YYYY/$YYYY-$MM"
#echo "Create $send_dir/$YYYY/$YYYY-$MM"
fi
if [ ! -d "$send_dir/$YYYY/$YYYY-$MM/$YYYY-$MM-$DD" ]; then
mkdir "$send_dir/$YYYY/$YYYY-$MM/$YYYY-$MM-$DD"
#echo "Create $send_dir/$YYYY/$YYYY-$MM/$YYYY-$MM-$DD"
fi
# Копирую файл куда надо, если удачно - удаляю
cp $get_dir/$ft $send_dir/$YYYY/$YYYY-$MM/$YYYY-$MM-$DD/$ft && rm $get_dir/$ft
# Запуск обработки в БГБ-коллекторе
/lib/bg_nf_ipn_c/netflow.sh isload 4 $YYYY-$MM-$DD-$HH
В получившейся схеме не страшна потеря связи между роутером и сервером БГБ, при ошибке передачи файлов - будут посланы и обработаны повторно.
Дополнительное удобство - на роутере можно просто положить файлы во временный каталог и они будут обработаны сервером БГБ.
ЗЫ. В линуксе не силен и БГБ только изучаю, просьба сильно не ругать... Но может кому идея пригодится... Отправка на FTP с подтверждением
ЗЫЫ. flow-tools складывает файлы:
{указанный в конфиге каталог}/YYYY/YYYY-MM/YYYY-MM-DD/ft-v50.YYYY-MM-DD.hhmmss+1100 - в конце часовой пояс.
Вход
Регистрация
FAQ
Поиск
