BiTel

Форум BiTel
bgbilling.ru     docs.bitel.ru     wiki.bitel.ru     dbinfo.bitel.ru     bgcrm.ru     billing.bitel.ru     bitel.ru    
Текущее время: 22 июн 2025, 23:53

Часовой пояс: UTC + 5 часов [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
 Заголовок сообщения: Проблема обработки логов Netflow в 4.6
СообщениеДобавлено: 05 май 2009, 13:23 
Не в сети

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10
В модуле были заведены три источника, по ним все в порядке - логи обрабатываются, трафик соотносится на клиента.
Добавили еще два источника - по ним в мониторе тишина (все белое).
Коллектор работает в связке с flow-tools. Логи по новым источникам создаются, скриптом ротироются, в логе collector.log:

Код:
05-05/10:30:00  INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10
05-05/10:30:00  INFO [Thread-8] generator - Generate source data..
05-05/10:30:00  INFO [Thread-8] collector - Admin command: isload
05-05/10:30:00  INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10
05-05/10:30:00  INFO [Thread-8] generator - Generate source data..
05-05/10:30:00  INFO [Thread-8] collector - Admin command: isload
05-05/10:30:00  INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10
05-05/10:30:00  INFO [Thread-8] generator - Generate source data..
05-05/10:30:01  INFO [Thread-8] collector - Admin command: isload
05-05/10:30:01  INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10
05-05/10:30:01  INFO [Thread-8] generator - Generate source data..
05-05/10:30:01  INFO [Thread-8] collector - Admin command: isload
05-05/10:30:01  INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10
05-05/10:30:01  INFO [Thread-8] generator - Generate source data..
05-05/10:45:00  INFO [Thread-8] collector - Admin command: isload
05-05/10:45:00  INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10
05-05/10:45:00  INFO [Thread-8] generator - Generate source data..
05-05/10:45:00  INFO [Thread-8] collector - Admin command: isload
05-05/10:45:00  INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10
05-05/10:45:00  INFO [Thread-8] generator - Generate source data..
05-05/10:45:00  INFO [Thread-8] collector - Admin command: isload
05-05/10:45:00  INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10
05-05/10:45:00  INFO [Thread-8] generator - Generate source data..
05-05/10:45:01  INFO [Thread-8] collector - Admin command: isload
05-05/10:45:01  INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10
05-05/10:45:01  INFO [Thread-8] generator - Generate source data..
05-05/10:45:01  INFO [Thread-8] collector - Admin command: isload
05-05/10:45:01  INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10
05-05/10:45:01  INFO [Thread-8] generator - Generate source data..
05-05/11:00:00  INFO [Thread-8] collector - Admin command: isload
05-05/11:00:00  INFO [Thread-8] generator - Add process task 2:4 05.05.2009 10
05-05/11:00:00  INFO [Thread-8] generator - Generate source data..
05-05/11:00:00  INFO [Thread-8] collector - Admin command: isload
05-05/11:00:00  INFO [Thread-8] generator - Add process task 2:3 05.05.2009 10
05-05/11:00:00  INFO [Thread-8] generator - Generate source data..
05-05/11:00:00  INFO [Thread-8] collector - Admin command: isload
05-05/11:00:00  INFO [Thread-8] generator - Add process task 2:2 05.05.2009 10
05-05/11:00:00  INFO [Thread-8] generator - Generate source data..
05-05/11:00:01  INFO [Thread-8] collector - Admin command: isload
05-05/11:00:01  INFO [Thread-8] generator - Add process task 2:8 05.05.2009 10
05-05/11:00:01  INFO [Thread-8] generator - Generate source data..
05-05/11:00:01  INFO [Thread-8] collector - Admin command: isload
05-05/11:00:01  INFO [Thread-8] generator - Add process task 2:1 05.05.2009 10
05-05/11:00:01  INFO [Thread-8] generator - Generate source data..

Коды новых источников 4 и 8, ранее заведенных 1,2,3.
Пробовал логирование переключать в режим DEBUG, ошибок нет,
информации в dataloader.log о загрузки логов по источникам 4 и 8 в биллинг нет.
Вопрос:
Пока нет абонентов соотнесенных с этими источниками, должны ли обрабатываться логи с этих источников и должна ли отображаться информация в "Менеджере источников" по ним?

Версия коллектора
Код:
Traffic collector for IPN v 4.6 build 172 from 29.04.2009 11:15:00
Started: 05.05.2009 10:17:18    Uptime: 0 d 01:05:05
Memory total: 123 011 072; max: 238 616 576; free: 23 824 600
Flow loader: ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLogger@5c1fe88d [files: 0]


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 15:18 
Не в сети

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10
Вот она засада!!!
Переменовал папку с логами в source_4 и source_8 соответственно и коллектор начал их обрабатывать.....
Где вообще эта привязка к имени?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 15:56 
Не в сети
Клиент

Зарегистрирован: 12 фев 2008, 18:10
Сообщения: 3951
Карма: 249
mazay-d писал(а):
Где вообще эта привязка к имени?

Цитата:
source_код источника

у Вас source_4 - источник с кодом 4 и т.д.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 05 май 2009, 16:27 
Не в сети

Зарегистрирован: 17 фев 2009, 19:18
Сообщения: 437
Откуда: Коломна
Карма: 10
Настройки коллектора:
Код:
port.admin=2003

#код модуля IPN
collector.mid=2

#опции подключения к БД
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://192.168.1.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

load=0

process=1
process.sources=1,2,3,4,5,8

#порт
collector.capture.flow.port.1=2004
#тип слушателя
collector.capture.flow.port.1.type=netflow
#обслуживаемые на порту источники (указанного типа)
collector.capture.flow.port.1.sources=1,2,3,4,5,8
#количество потоков
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=0
#collector.capture.flow.port.2.thread.count=10

#опрашиватель snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#размер блока
datalog.chunk.size=524288
#сжатие логов
datalog.flow.compression.type=1

log.dir=/work2/netflow


Внутри /work2/netflow - соответственно:
source_1
source_2
source_3
source_4
source_5
source_8

1,2,3,4,5,8 - соответствуют ID источникам

Сбор с как писал выше flow-capture:

Код:
flow-capture -N -3 -w /work2/netflow/source_1 -n 95 -R /usr/local/BGIPNNetflowCollector/rotate.pl 0/0/2004

.........
и так для каждого источника (соответственно путь, rotate.pl и порт для каждого свой).

Когда вместо source_4 стояло source_r2d2 - была проблема описана выше. При выполнении ./netflow.sh save 4 2009-05-05-12 /tmp/log.txt - на выходе пусто, поменял на source_4 все заработало...


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 5 часов [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
POWERED_BY
Русская поддержка phpBB
[ Time : 0.036s | 23 Queries | GZIP : On ]