forum.bitel.ru
http://forum.bitel.ru/

Пытаюсь настроить IPN в связке с flow-tools...
http://forum.bitel.ru/viewtopic.php?f=7&t=2481		 Страница 1 из 2
Автор:  georgdts [ 23 июн 2009, 17:38 ]
Заголовок сообщения:  Пытаюсь настроить IPN в связке с flow-tools...
Сделел вроде все по документации, но не работает...
В dataloader.out:
Код:
cat ../BGBillingServer/log/dataloader.out
Checking port 9033...
Port is free starting the applicalion...
Starting DLProcessManager on 9033
Creating socket on 9033
23.06.2009 15:19:39 java.lang.UnsupportedOperationException
23.06.2009 15:19:39     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:19:39     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:19:39     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 15:23:08 java.lang.UnsupportedOperationException
23.06.2009 15:23:08     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:23:08     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:23:08     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 15:24:08 java.lang.UnsupportedOperationException
23.06.2009 15:24:08     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:24:08     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:24:08     at bitel.billing.server.DataLoader.run(DataLoader.java:230)

server.log
Код:
06-23/15:18:19  INFO [main] DefaultServerSetup - Init DB connection pools
06-23/15:18:19  INFO [main] DefaultServerSetup - Init trash pools..
06-23/15:18:19  INFO [main] Server - Starting BGBillingServer..
06-23/15:18:19  INFO [main] Server - HTTP port: 8080
06-23/15:18:19  INFO [main] Server - Starting HTTP connector..
06-23/15:18:19  INFO [main] Server - HTTPS port: -1
06-23/15:18:19  INFO [main] Server - Add mapping: org.apache.catalina.servlets.DefaultServlet to /
06-23/15:18:19  INFO [main] Server - Add mapping: bitel.billing.server.Executer to /executer
06-23/15:18:19  INFO [main] Server - Add mapping: bitel.billing.server.WebExecuter to /webexecuter
06-23/15:18:19  INFO [main] Server - Add mapping: bitel.billing.server.PublicExecuter to /pubexecuter
06-23/15:18:20  INFO [main] Server - Browsing installed modules and plugins...
06-23/15:18:20  INFO [main] Server - bill v.4.6 build 198 from 16.06.2009 18:09:58
06-23/15:18:20  INFO [main] Server - dba v.4.6 build 143 from 23.06.2009 15:09:13
06-23/15:18:20  INFO [main] Server - ipn v.4.6 build 188 from 18.06.2009 12:33:27
06-23/15:18:20  INFO [main] Server - npay v.4.6 build 162 from 19.06.2009 15:14:26
06-23/15:18:20  INFO [main] Server - phone v.4.6 build 191 from 17.06.2009 15:27:13
06-23/15:18:20  INFO [main] Server - reports v.4.6 build 162 from 23.06.2009 16:00:13
06-23/15:18:20  INFO [main] Server - rscm v.4.6 build 153 from 16.06.2009 18:10:14
06-23/15:18:20  INFO [main] Server - ru.bitel.bgbilling.plugins.crm v.4.6 build 172 from 19.06.2009 14:25:22
06-23/15:18:20  INFO [main] Server - ru.bitel.bgbilling.plugins.documents v.4.6 build 117 from 16.06.2009 18:11:05
06-23/15:18:20  INFO [main] Server - ru.bitel.bgbilling.plugins.helpdesk v.4.6 build 146 from 16.06.2009 18:11:06
06-23/15:18:20  INFO [main] Server - Add servlet for modules and plugins...
06-23/15:18:20  INFO [main] Server - Add mapping: bitel.billing.server.bill.PDFExecuter to /pdfexecuter
06-23/15:18:20  INFO [main] Server - Creating installed modules map...
06-23/15:18:20  INFO [main] server - Starting listen admin port 2005
06-23/15:20:21  INFO [http-8080-1] Setup - Load config for mid=2
06-23/15:22:03  INFO [http-8080-1] EventProcessor - Add event to queue Event bitel.billing.server.script.bean.event.ServiceUpdateEvent cid: 29; module: 0; type: 11
06-23/15:22:07  INFO [http-8080-1] EventProcessor - Add event to queue Event bitel.billing.server.script.bean.event.ServiceUpdateEvent cid: 29; module: 0; type: 11

collector.log
Код:
06-23/15:24:02  INFO [main] DefaultServerSetup - Init DB connection pools
06-23/15:24:03  INFO [main] DefaultServerSetup - Init trash pools..
06-23/15:24:03  INFO [main] Collector - Starting flow collector for IPN...
06-23/15:24:03  INFO [main] Collector - Load => false; process => true
06-23/15:24:03  INFO [main] DetailMaker - Starting detail maker...
06-23/15:24:07  INFO [Thread-8] collector - Admin command: isload
06-23/15:24:07  INFO [Thread-8] generator - Add process task 2:1 22.06.2009 21
06-23/15:24:07  INFO [Thread-8] generator - Generate source data..

Данные подсовываю вот так:
Код:
./rotate.pl /usr/local/flow/source_1/2009/2009-06/2009-06-22/ft-v05.2009-06-22.214934+0400

Ну и конфиг:
Код:
port.admin=2003

#ЙНД ЛНДСКЪ IPN
collector.mid=2

#НОЖХХ ОНДЙКЧВЕМХЪ Й ад
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#ДХПЕЙРНПХЪ КНЦНБ
log.dir=/usr/local/flow
load=0

process=1
sources=2

#ОНПР
collector.capture.flow.port.1=2004
#РХО ЯКСЬЮРЕКЪ
collector.capture.flow.port.1.type=netflow
#НАЯКСФХБЮЕЛШЕ МЮ ОНПРС ХЯРНВМХЙХ (СЙЮГЮММНЦН РХОЮ)
collector.capture.flow.port.1.sources=
#ЙНКХВЕЯРБН ОНРНЙНБ
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#НОПЮЬХБЮРЕКЭ snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#ПЮГЛЕП АКНЙЮ
datalog.chunk.size=393216
#ЯФЮРХЕ КНЦНБ
datalog.flow.compression.type=1


Подскажите что я недоделал?
Автор:  Amir [ 23 июн 2009, 17:57 ]
Заголовок сообщения: 
У нас сейчас обработку логов делает коллектор.
В netflow_ipn.properties должно быть

#где будут храниться логи (папка должна существовать и должны быть полные права на неё для процесса коллектора)
log.dir=/usr/bill/log
#обрабатывать логи
process=1
#источники, логи которых будут обрабатываться коллектором
#данное поле не влияет на прием данных, а только на обработку логов
process.sources=s1,s2,s3,s4

http://bgbilling.ru/v4.6/doc/ch05s08.html
Автор:  Amir [ 23 июн 2009, 17:58 ]
Заголовок сообщения: 
Т.е.

log.dir=/usr/local/flow
process=1
process.sources=1
Автор:  georgdts [ 23 июн 2009, 18:06 ]
Заголовок сообщения: 
Поставил
process.sources=1

(хотя у меня один источник с id = 2)

в dataloader.log:
Код:
06-23/16:01:31  INFO [Thread-9] dataloader - Processing source:1 time: 2009-06-22 21:00:00.0
06-23/16:01:31  INFO [Thread-9] Setup - Load config for mid=1
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'bgbilling.ipn_service_1' doesn't exist
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.Util.getInstance(Util.java:381)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1030)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3515)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3447)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2554)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1761)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1912)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:93)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.bean.ServiceLinkManager.getServiceLinkList(ServiceLinkManager.java:132)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.DataProcess.getFinderMap(DataProcess.java:249)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:139)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:121)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor.run(Processor.java:135)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream - com.mysql.jdbc.exceptions.jdbc4.MySQLSyntaxErrorException: Table 'bgbilling.ipn_user_source_1' doesn't exist
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:39)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:27)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at java.lang.reflect.Constructor.newInstance(Constructor.java:513)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.Util.handleNewInstance(Util.java:406)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.Util.getInstance(Util.java:381)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:1030)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:956)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3515)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3447)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.sendCommand(MysqlIO.java:1951)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.MysqlIO.sqlQueryDirect(MysqlIO.java:2101)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.ConnectionImpl.execSQL(ConnectionImpl.java:2554)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.PreparedStatement.executeInternal(PreparedStatement.java:1761)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at com.mysql.jdbc.PreparedStatement.executeQuery(PreparedStatement.java:1912)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at org.apache.commons.dbcp.DelegatingPreparedStatement.executeQuery(DelegatingPreparedStatement.java:93)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.bean.AddressRangeFinder.getAddressRangeList(AddressRangeFinder.java:59)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.bean.AddressRangeFinder.<init>(AddressRangeFinder.java:32)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:147)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:121)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
06-23/16:01:31 ERROR [Thread-9] LoggingPrintStream -    at bitel.billing.server.netflow.ipn.Processor.run(Processor.java:135)
06-23/16:01:36  INFO [Thread-9] dataloader - proccess [ 22-06-2009 21:00:00; mid => 1; param => 1 ]  Bean create => 13 Processed lines => 9376440; inserts => 0; errors => 0; time => 4756 ms.
Автор:  georgdts [ 23 июн 2009, 18:16 ]
Заголовок сообщения: 
При process.sources=2
(еще прописал generate.minutes=1)
в collector.log:
Код:
06-23/16:10:17  INFO [main] DefaultServerSetup - Init DB connection pools
06-23/16:10:17  INFO [main] DefaultServerSetup - Init trash pools..
06-23/16:10:17  INFO [main] Collector - Starting flow collector for IPN...
06-23/16:10:17  INFO [main] Collector - Load => false; process => true
06-23/16:10:17  INFO [main] DetailMaker - Starting detail maker...
06-23/16:10:22  INFO [Thread-8] collector - Admin command: isload
06-23/16:10:22  INFO [Thread-8] generator - Add process task 2:1 22.06.2009 21
06-23/16:10:22  INFO [Thread-8] generator - Generate source data..

А в BGBillingServer/log/dataloader.out:
Код:
Checking port 9033...
Port is free starting the applicalion...
Starting DLProcessManager on 9033
Creating socket on 9033
23.06.2009 15:19:39 java.lang.UnsupportedOperationException
23.06.2009 15:19:39     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:19:39     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:19:39     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 15:23:08 java.lang.UnsupportedOperationException
23.06.2009 15:23:08     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:23:08     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:23:08     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 15:24:08 java.lang.UnsupportedOperationException
23.06.2009 15:24:08     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 15:24:08     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 15:24:08     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 16:06:41 java.lang.UnsupportedOperationException
23.06.2009 16:06:41     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 16:06:41     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 16:06:41     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
23.06.2009 16:10:26 java.lang.UnsupportedOperationException
23.06.2009 16:10:26     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 16:10:26     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 16:10:26     at bitel.billing.server.DataLoader.run(DataLoader.java:230)
Автор:  Amir [ 23 июн 2009, 18:18 ]
Заголовок сообщения: 
Тогда
process.sources=2
Просто вы писали
./rotate.pl /usr/local/flow/source_1/2009/2009-06/2009-06-22/ft-v05.2009-06-22.214934+0400
а source_1 - это для источника с id=1

Похоже у вас код модуля неправильно указан в netflow_ipn.properties
collector.mid=
Автор:  georgdts [ 23 июн 2009, 18:22 ]
Заголовок сообщения: 
Модуль IPN у меня под номером 2.
В источниках прописан только один источник, почему-то под номером 2. В нем прописана папка /usr/local/flow/source_1/ и в конфигурации ignore.by.zero.dst.iface=1.
Автор:  Amir [ 23 июн 2009, 19:16 ]
Заголовок сообщения: 
В ipn источнике не надо указывать путь к папке.
Путь надо указать в netflow_ipn.properties

Если код источника - 2, код модуля 2, то

collector.mid=2

log.dir=/usr/local/flow
process=1
process.sources=2
Автор:  georgdts [ 23 июн 2009, 19:33 ]
Заголовок сообщения: 
Текущий конфиг:
Код:
port.admin=2003

#ЙНД ЛНДСКЪ IPN
collector.mid=2

#НОЖХХ ОНДЙКЧВЕМХЪ Й ад
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#ДХПЕЙРНПХЪ КНЦНБ
log.dir=/usr/local/flow
load=0

generate.minutes=1

process=1
process.sources=2

#ОНПР
collector.capture.flow.port.1=2004
#РХО ЯКСЬЮРЕКЪ
collector.capture.flow.port.1.type=netflow
#НАЯКСФХБЮЕЛШЕ МЮ ОНПРС ХЯРНВМХЙХ (СЙЮГЮММНЦН РХОЮ)
collector.capture.flow.port.1.sources=
#ЙНКХВЕЯРБН ОНРНЙНБ
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#НОПЮЬХБЮРЕКЭ snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#ПЮГЛЕП АКНЙЮ
datalog.chunk.size=393216
#ЯФЮРХЕ КНЦНБ
datalog.flow.compression.type=1


Когда выполняю:
Код:
./rotate.pl /usr/local/flow/source_1/2009/2009-06/2009-06-22/ft-v05.2009-06-22.214934+0400


в логах только:
collector.log
Код:
06-23/17:29:52  INFO [Thread-8] collector - Admin command: isload
06-23/17:29:52  INFO [Thread-8] generator - Add process task 2:1 22.06.2009 21
06-23/17:29:52  INFO [Thread-8] generator - Generate source data..

и в то же время в dataloader.out
Код:
23.06.2009 17:29:52 java.lang.UnsupportedOperationException
23.06.2009 17:29:52     at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:78)
23.06.2009 17:29:52     at bitel.billing.server.DataLoader.processData(DataLoader.java:430)
23.06.2009 17:29:52     at bitel.billing.server.DataLoader.run(DataLoader.java:230)


В настройках источника: Тип - Локадьная или сетевая папка, путь не прописан, конфигурация- ignore.by.zero.dst.iface=1. В интерфейсах к источнику прописан 1 интерфейс с номером '-1'.
Автор:  Amir [ 23 июн 2009, 19:54 ]
Заголовок сообщения: 
Надо смотреть только логи коллектора, там должен быть dataloader.log
Автор:  georgdts [ 23 июн 2009, 19:55 ]
Заголовок сообщения: 
ls -la /usr/local/BGIPNNetflowCollector/log/
total 10
drwxr-xr-x 2 root wheel 512 Jun 11 21:55 .
drwxr-xr-x 4 root wheel 512 Jun 23 16:08 ..
-rw-r--r-- 1 root wheel 567 Jun 23 17:30 collector.log
-rw-r--r-- 1 root wheel 0 Jun 23 17:28 dataloader.log
-rw-r--r-- 1 root wheel 71 Jun 23 17:29 detail.log
-rw-r--r-- 1 root wheel 0 Jun 23 17:28 generator.log
-rw-r--r-- 1 root wheel 342 Jun 23 17:53 loader.log
-rw-r--r-- 1 root wheel 0 Jun 23 17:28 netflow.out

Он пустой.
Автор:  Amir [ 23 июн 2009, 19:58 ]
Заголовок сообщения: 
Поставьте тип источника Netflow и на всякий случай все перезапустите.
Автор:  georgdts [ 23 июн 2009, 20:09 ]
Заголовок сообщения: 
Поставил тип источника netflow, прописал адрес хоста, все перезапустил. Но все по прежнему - dataloader.log пуст. В остальных файлах те-же сообщения.
Автор:  georgdts [ 24 июн 2009, 17:33 ]
Заголовок сообщения: 
up
Автор:  Amir [ 24 июн 2009, 17:35 ]
Заголовок сообщения: 
ssh доступ можете дать?
Автор:  georgdts [ 24 июн 2009, 18:14 ]
Заголовок сообщения: 
отправил в личку...
Автор:  Amir [ 24 июн 2009, 18:34 ]
Заголовок сообщения: 
Надо поменять путь, чтобы логи сохранялись в /usr/local/flow/source_2/

У нас фиксированный пусть source_<код источника>.

источник 1 - это у вас телефония, потому dataloader думает, что это его задача.
Автор:  georgdts [ 24 июн 2009, 19:14 ]
Заголовок сообщения: 
Спасибо!.. Теперь вроде загружается!.. В источниках тип оставлять netflow или поставить тип папка? Потому как при типе netflow он запрашивает ip источника, а в логах у меня netflow с двух источников...
Автор:  Amir [ 24 июн 2009, 20:12 ]
Заголовок сообщения: 
Тип netflow, а ip не важен, если не сам коллектор собирает логи.
Автор:  georgdts [ 24 июн 2009, 21:41 ]
Заголовок сообщения: 
Итого, что у меня получилось:
netflow_ipn.properties
Код:
port.admin=2003

#ЙНД ЛНДСКЪ IPN
collector.mid=2

#НОЖХХ ОНДЙКЧВЕМХЪ Й ад
db.driver=com.mysql.jdbc.Driver
db.url=jdbc:mysql://127.0.0.1/bgbilling?useUnicode=true&characterEncoding=Cp1251&zeroDateTimeBehavior=convertToNull&jdbcCompliantTruncation=false
db.user=bill
db.pswd=bgbilling
db.maxActive=300
db.maxIdle=100

#ДХПЕЙРНПХЪ КНЦНБ
log.dir=/usr/local/flow
load=0

generate.minutes=1

process=1
process.sources=2
process.datalog.thread.count=4

#ОНПР
collector.capture.flow.port.1=2004
#РХО ЯКСЬЮРЕКЪ
collector.capture.flow.port.1.type=netflow
#НАЯКСФХБЮЕЛШЕ МЮ ОНПРС ХЯРНВМХЙХ (СЙЮГЮММНЦН РХОЮ)
collector.capture.flow.port.1.sources=
#ЙНКХВЕЯРБН ОНРНЙНБ
collector.capture.flow.port.1.thread.count=10
#
#collector.capture.flow.port.2=2005
#collector.capture.flow.port.2.type=sflow
#collector.capture.flow.port.2.sources=
#collector.capture.flow.port.2.thread.count=10

#НОПЮЬХБЮРЕКЭ snmp
#collector.capture.snmp=1
#collector.capture.snmp.sources=1

#ПЮГЛЕП АКНЙЮ
datalog.chunk.size=393216
#ЯФЮРХЕ КНЦНБ
datalog.flow.compression.type=1

rotate.pl
Код:
#!/usr/bin/perl

# Path of base folder
my $base = '/usr/local/flow/source_2/';
my $name = "$base$ARGV[0]";
my $loader='/usr/local/BGIPNNetflowCollector/netflow.sh';

if ( $name =~ /source_(\d+)\/.*\.(\d\d\d\d)-(\d\d)-(\d\d)\.(\d\d)/ )
{
    my $source = $1;
    my $logYY = $2;
    my $logMM = $3;
    my $logDD = $4;
    my $logHH = $5;

    print `$loader isload $source $logYY-$logMM-$logDD-$logHH`;
}
else
{
    die "unknown format $name";
}


Прошу обратить внимание на rotate.pl, его пришлось дописать. Потому как при запущенном:
Код:
flow-capture -N -3 -w /usr/local/flow/source_2 -n 95 -R /usr/local/BGIPNNetflowCollector/rotate.pl 0/0/9996

flow-capture подставляет не полный путь, а относительно рабочей папки. Т.е. 2009/2009-06/2009-06-23/ft-v05.2009-06-23.190000+0400

Спасибо Амиру за помощь.
Автор:  georgdts [ 24 июн 2009, 23:42 ]
Заголовок сообщения: 
Подскажите пожалуйста как BGIPNNetflowCollector отнесется к netflow логам при flow-capture -z > 0?

И второй вопрос, если я, например, заливаю логи файлами по 15 минут, а затем хочу из бэкапа заменить их файлами по 12 часов (т.е. было 96 файлов в сутках, а я подставляю 2 файла в сутки, каждый с 12-ти часовыми логами) как мне удалить предыдущие данные из биллинга?
Автор:  Amir [ 25 июн 2009, 11:49 ]
Заголовок сообщения: 
Цитата:
flow-capture подставляет не полный путь, а относительно рабочей папки. Т.е. 2009/2009-06/2009-06-23/ft-v05.2009-06-23.190000+0400

Поправим доку...

Цитата:
Подскажите пожалуйста как BGIPNNetflowCollector отнесется к netflow логам при flow-capture -z > 0?

Поддерживает сжатые flow-tools логи.

Цитата:
И второй вопрос, если я, например, заливаю логи файлами по 15 минут, а затем хочу из бэкапа заменить их файлами по 12 часов (т.е. было 96 файлов в сутках, а я подставляю 2 файла в сутки, каждый с 12-ти часовыми логами) как мне удалить предыдущие данные из биллинга?


В менеджере логов можно сделать обработку логов снова, при этом старые данные за час он удаляет. Однако коллектор работает с часовыми логами (хотя и поддерживает в одном часу несколько лог-файлов) - так что с одним файлом за 12 часов не получится, надо один файл за час.
При этом, когда обрабатывает час он ищет файлы
2009/2009-06/2009-06-23/ft-v05.2009-06-23.190000+0400
в папке дня вот по этой подстроке 2009-06-23.19
Вроде flow-split -ом можно разделять...
Автор:  georgdts [ 25 июн 2009, 16:57 ]
Заголовок сообщения: 
Разложил логи частями по 15 минут, в таком вот виде:
Код:
ls /usr/local/flow/source_2/2009/2009-06/2009-06-01/
ft-v05.2009-06-01.0000  ft-v05.2009-06-01.0800  ft-v05.2009-06-01.1600
ft-v05.2009-06-01.0015  ft-v05.2009-06-01.0815  ft-v05.2009-06-01.1615
ft-v05.2009-06-01.0030  ft-v05.2009-06-01.0830  ft-v05.2009-06-01.1630
ft-v05.2009-06-01.0045  ft-v05.2009-06-01.0845  ft-v05.2009-06-01.1645
ft-v05.2009-06-01.0100  ft-v05.2009-06-01.0900  ft-v05.2009-06-01.1700
ft-v05.2009-06-01.0115  ft-v05.2009-06-01.0915  ft-v05.2009-06-01.1715
ft-v05.2009-06-01.0130  ft-v05.2009-06-01.0930  ft-v05.2009-06-01.1730
ft-v05.2009-06-01.0145  ft-v05.2009-06-01.0945  ft-v05.2009-06-01.1745
ft-v05.2009-06-01.0200  ft-v05.2009-06-01.1000  ft-v05.2009-06-01.1800
ft-v05.2009-06-01.0215  ft-v05.2009-06-01.1015  ft-v05.2009-06-01.1815
ft-v05.2009-06-01.0230  ft-v05.2009-06-01.1030  ft-v05.2009-06-01.1830
ft-v05.2009-06-01.0245  ft-v05.2009-06-01.1045  ft-v05.2009-06-01.1845
ft-v05.2009-06-01.0300  ft-v05.2009-06-01.1100  ft-v05.2009-06-01.1900
ft-v05.2009-06-01.0315  ft-v05.2009-06-01.1115  ft-v05.2009-06-01.1915
ft-v05.2009-06-01.0330  ft-v05.2009-06-01.1130  ft-v05.2009-06-01.1930
ft-v05.2009-06-01.0345  ft-v05.2009-06-01.1145  ft-v05.2009-06-01.1945
ft-v05.2009-06-01.0400  ft-v05.2009-06-01.1200  ft-v05.2009-06-01.2000
ft-v05.2009-06-01.0415  ft-v05.2009-06-01.1215  ft-v05.2009-06-01.2015
ft-v05.2009-06-01.0430  ft-v05.2009-06-01.1230  ft-v05.2009-06-01.2030
ft-v05.2009-06-01.0445  ft-v05.2009-06-01.1245  ft-v05.2009-06-01.2045
ft-v05.2009-06-01.0500  ft-v05.2009-06-01.1300  ft-v05.2009-06-01.2100
ft-v05.2009-06-01.0515  ft-v05.2009-06-01.1315  ft-v05.2009-06-01.2115
ft-v05.2009-06-01.0530  ft-v05.2009-06-01.1330  ft-v05.2009-06-01.2130
ft-v05.2009-06-01.0545  ft-v05.2009-06-01.1345  ft-v05.2009-06-01.2145
ft-v05.2009-06-01.0600  ft-v05.2009-06-01.1400  ft-v05.2009-06-01.2200
ft-v05.2009-06-01.0615  ft-v05.2009-06-01.1415  ft-v05.2009-06-01.2215
ft-v05.2009-06-01.0630  ft-v05.2009-06-01.1430  ft-v05.2009-06-01.2230
ft-v05.2009-06-01.0645  ft-v05.2009-06-01.1445  ft-v05.2009-06-01.2245
ft-v05.2009-06-01.0700  ft-v05.2009-06-01.1500  ft-v05.2009-06-01.2300
ft-v05.2009-06-01.0715  ft-v05.2009-06-01.1515  ft-v05.2009-06-01.2315
ft-v05.2009-06-01.0730  ft-v05.2009-06-01.1530  ft-v05.2009-06-01.2330
ft-v05.2009-06-01.0745  ft-v05.2009-06-01.1545  ft-v05.2009-06-01.2345

Когда из Менеджера источников выделяю вертикально один день и даю команду "Добавить в загрузку", "Добавить в обработку" в dataloader.log вываливается такие ошибки:
Код:
06-25/14:47:19  INFO [Thread-9] dataloader - Processing source:2 time: 2009-06-01 22:00:00.0
06-25/14:47:20  INFO [data-process-p-2-t-2] dataloader - proccess [ 01-06-2009 21:00:00; mid => 2; param => 2 ]  Bean create => 2 Processed lines => 1882560; inserts => 2; errors => 0; time => 912 ms.
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream - java.lang.NullPointerException
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at com.mysql.jdbc.ResultSetImpl.buildIndexMapping(ResultSetImpl.java:745)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at com.mysql.jdbc.ResultSetImpl.findColumn(ResultSetImpl.java:1100)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at com.mysql.jdbc.ResultSetImpl.getInt(ResultSetImpl.java:2777)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at org.apache.commons.dbcp.DelegatingResultSet.getInt(DelegatingResultSet.java:237)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at bitel.billing.server.load.bean.SourceManager.getSourceFromRs(SourceManager.java:250)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at bitel.billing.server.load.bean.SourceManager.getSource(SourceManager.java:216)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:118)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at java.lang.Thread.run(Thread.java:619)
06-25/14:47:20 ERROR [data-process-p-2-t-2] LoggingPrintStream -        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
06-25/14:47:20  INFO [Thread-9] dataloader - Processing source:2 time: 2009-06-01 23:00:00.0
06-25/14:47:20 ERROR [Thread-9] dataloader - java.util.concurrent.ExecutionException: java.lang.NullPointerException
java.util.concurrent.ExecutionException: java.lang.NullPointerException
        at java.util.concurrent.FutureTask$Sync.innerGet(FutureTask.java:222)
        at java.util.concurrent.FutureTask.get(FutureTask.java:83)
        at bitel.billing.server.netflow.ipn.Processor.run(Processor.java:152)
Caused by: java.lang.NullPointerException
        at bitel.billing.server.netflow.ipn.BinaryLogProcessIn.<init>(BinaryLogProcessIn.java:28)
        at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:120)
        at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:441)
        at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303)
        at java.util.concurrent.FutureTask.run(FutureTask.java:138)
        at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:885)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:907)
        at java.lang.Thread.run(Thread.java:619)
        at ru.bitel.common.worker.WorkerThread.run(WorkerThread.java:40)
06-25/14:47:21  INFO [data-process-p-2-t-1] dataloader - proccess [ 01-06-2009 17:00:00; mid => 2; param => 2 ]  Bean create => 6 Processed lines => 8821200; inserts => 2; errors => 0; time => 4490 ms.
06-25/14:47:21  INFO [data-process-p-2-t-2] dataloader - proccess [ 01-06-2009 23:00:00; mid => 2; param => 2 ]  Bean create => 2 Processed lines => 1686179; inserts => 2; errors => 0; time => 939 ms.

Данные не помечаются как загруженные... Подскажите как быть?
Автор:  Amir [ 25 июн 2009, 17:54 ]
Заголовок сообщения: 
Выложили обновление
Автор:  georgdts [ 25 июн 2009, 18:10 ]
Заголовок сообщения: 
На обновленном коллекторе при запуске создает в логах только один файл с содержимым:
Код:
cat ./log/netflow.out
log4j:ERROR Could not create an Appender. Reported error follows.
java.lang.ClassNotFoundException: ru.bitel.common.logging.AsyncAppender
        at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:276)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
        at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:169)
        at org.apache.log4j.helpers.Loader.loadClass(Loader.java:179)
        at org.apache.log4j.xml.DOMConfigurator.parseAppender(DOMConfigurator.java:237)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByName(DOMConfigurator.java:171)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByReference(DOMConfigurator.java:184)
        at org.apache.log4j.xml.DOMConfigurator.parseChildrenOfLoggerElement(DOMConfigurator.java:502)
        at org.apache.log4j.xml.DOMConfigurator.parseRoot(DOMConfigurator.java:471)
        at org.apache.log4j.xml.DOMConfigurator.parse(DOMConfigurator.java:921)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:790)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:696)
        at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:471)
        at org.apache.log4j.LogManager.<clinit>(LogManager.java:125)
        at org.apache.log4j.Logger.getLogger(Logger.java:118)
        at bitel.billing.server.netflow.ipn.Collector.<clinit>(Collector.java:34)
log4j:ERROR Could not parse url [file:/usr/local/BGIPNNetflowCollector/log4j-collector.xml].
java.lang.NullPointerException
        at java.util.Hashtable.put(Hashtable.java:394)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByName(DOMConfigurator.java:172)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByReference(DOMConfigurator.java:184)
        at org.apache.log4j.xml.DOMConfigurator.parseChildrenOfLoggerElement(DOMConfigurator.java:502)
        at org.apache.log4j.xml.DOMConfigurator.parseRoot(DOMConfigurator.java:471)
        at org.apache.log4j.xml.DOMConfigurator.parse(DOMConfigurator.java:921)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:790)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:696)
        at org.apache.log4j.helpers.OptionConverter.selectAndConfigure(OptionConverter.java:471)
        at org.apache.log4j.LogManager.<clinit>(LogManager.java:125)
        at org.apache.log4j.Logger.getLogger(Logger.java:118)
        at bitel.billing.server.netflow.ipn.Collector.<clinit>(Collector.java:34)
log4j:ERROR Could not create an Appender. Reported error follows.
java.lang.ClassNotFoundException: ru.bitel.common.logging.AsyncAppender
        at java.net.URLClassLoader$1.run(URLClassLoader.java:200)
        at java.security.AccessController.doPrivileged(Native Method)
        at java.net.URLClassLoader.findClass(URLClassLoader.java:188)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:306)
        at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:276)
        at java.lang.ClassLoader.loadClass(ClassLoader.java:251)
        at java.lang.ClassLoader.loadClassInternal(ClassLoader.java:319)
        at java.lang.Class.forName0(Native Method)
        at java.lang.Class.forName(Class.java:169)
        at org.apache.log4j.helpers.Loader.loadClass(Loader.java:179)
        at org.apache.log4j.xml.DOMConfigurator.parseAppender(DOMConfigurator.java:237)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByName(DOMConfigurator.java:171)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByReference(DOMConfigurator.java:184)
        at org.apache.log4j.xml.DOMConfigurator.parseChildrenOfLoggerElement(DOMConfigurator.java:502)
        at org.apache.log4j.xml.DOMConfigurator.parseRoot(DOMConfigurator.java:471)
        at org.apache.log4j.xml.DOMConfigurator.parse(DOMConfigurator.java:921)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:790)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:682)
        at org.apache.log4j.xml.XMLWatchdog.doOnChange(DOMConfigurator.java:1033)
        at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:89)
        at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:58)
        at org.apache.log4j.xml.XMLWatchdog.<init>(DOMConfigurator.java:1025)
        at org.apache.log4j.xml.DOMConfigurator.configureAndWatch(DOMConfigurator.java:662)
        at ru.bitel.common.logging.Log4j.<clinit>(Log4j.java:34)
        at ru.bitel.common.logging.NestedContext.<clinit>(NestedContext.java:32)
        at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:234)
log4j:ERROR Could not parse file [log4j-collector.xml].
java.lang.NullPointerException
        at java.util.Hashtable.put(Hashtable.java:394)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByName(DOMConfigurator.java:172)
        at org.apache.log4j.xml.DOMConfigurator.findAppenderByReference(DOMConfigurator.java:184)
        at org.apache.log4j.xml.DOMConfigurator.parseChildrenOfLoggerElement(DOMConfigurator.java:502)
        at org.apache.log4j.xml.DOMConfigurator.parseRoot(DOMConfigurator.java:471)
        at org.apache.log4j.xml.DOMConfigurator.parse(DOMConfigurator.java:921)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:790)
        at org.apache.log4j.xml.DOMConfigurator.doConfigure(DOMConfigurator.java:682)
        at org.apache.log4j.xml.XMLWatchdog.doOnChange(DOMConfigurator.java:1033)
        at org.apache.log4j.helpers.FileWatchdog.checkAndConfigure(FileWatchdog.java:89)
        at org.apache.log4j.helpers.FileWatchdog.<init>(FileWatchdog.java:58)
        at org.apache.log4j.xml.XMLWatchdog.<init>(DOMConfigurator.java:1025)
        at org.apache.log4j.xml.DOMConfigurator.configureAndWatch(DOMConfigurator.java:662)
        at ru.bitel.common.logging.Log4j.<clinit>(Log4j.java:34)
        at ru.bitel.common.logging.NestedContext.<clinit>(NestedContext.java:32)
        at bitel.billing.server.netflow.ipn.Collector.main(Collector.java:234)
log4j:WARN No appenders could be found for logger (ru.bitel.bgbilling.server.util.DefaultServerSetup).
log4j:WARN Please initialize the log4j system properly.
Автор:  Amir [ 25 июн 2009, 18:27 ]
Заголовок сообщения: 
Файл настройки логирования log4j-collector.xml неправильный был, выложили обновление.
Автор:  georgdts [ 25 июн 2009, 19:45 ]
Заголовок сообщения: 
Подскажите пожалуйста, в данной схеме работы с логами, когда я в Менеджере источников выбираю загрузить логи - ничего не происходит... Это так и должно быть?
Т.е. мне все файлы нужно пропустить через rotate.pl что бы они пометились как загруженные?
Автор:  Amir [ 26 июн 2009, 12:22 ]
Заголовок сообщения: 
Надо выбрать пункт обработать, чтобы запустить переобработку. Пункт загрузить в данном случае не работает, остался от старого функционала (как загрузить в телефонии).
Автор:  madmax [ 21 авг 2009, 18:21 ]
Заголовок сообщения: 
Мы также попробывали произвести связку с flow-tools, все работает как часики.
Но вот появляется в файле error.log одна и та же проблема
dataloader 08-21/17:45:01 ERROR [Thread-11] HourlyDataLog - Error when opening dataLog /var/db/flows/source_1/2009/2009-08/2009-08-21/tmp-v05.2009-08-21.173000+0600
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - java.io.FileNotFoundException: /var/db/flows/source_1/2009/2009-08/2009-08-21/tmp-v05.2009-08-21.173000+0600 (No such file or directory)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at java.io.RandomAccessFile.open(Native Method)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at java.io.RandomAccessFile.<init>(RandomAccessFile.java:212)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at ru.bitel.bgbilling.server.util.ip.datalog.hourly.IPHourlyDataLog.newDataLog(IPHourlyDataLog.java:44)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at ru.bitel.bgbilling.server.util.datalog.hourly.HourlyDataLog.nextReader(HourlyDataLog.java:95)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.ipn.DataProcess$1.call(DataProcess.java:164)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.ipn.DataProcess$1.call(DataProcess.java:1)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.ipn.DataProcess.proccess(DataProcess.java:182)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:125)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Processor$1.call(Processor.java:1)
dataloader 08-21/17:45:01 ERROR [Thread-11] LoggingPrintStream - at bitel.billing.server.netflow.ipn.Processor.run(Processor.java:144)

Как видно в 17:45 система не смогла обработать файл за время 17:30 (такое ощущение что файл не успел переименоваться из tmp а загрузчик уже пробует его обраьотать).
И такие ошибки вылазиют переодически в разное время
Автор:  Amir [ 21 авг 2009, 19:27 ]
Заголовок сообщения: 
Выложили обновление коллектора. Должно помочь...
Страница 1 из 2 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/