forum.bitel.ru
http://forum.bitel.ru/

Удаление логов Инет
http://forum.bitel.ru/viewtopic.php?f=44&t=12947
Страница 1 из 1

Автор:  Akhmat [ 03 июл 2018, 16:53 ]
Заголовок сообщения:  Удаление логов Инет

Приветы.
вопросы по след таблицам, интересует возможность их удаления, и последствия удаления:
connection_log_entry_{mid}_yyyyMM
inet_session_log_detail_{mid}_yyyyMM
занимают много места

Автор:  Akhmat [ 11 июл 2018, 00:14 ]
Заголовок сообщения:  Re: Удаление логов Инет

up

Автор:  ok-2004 [ 11 июл 2018, 17:15 ]
Заголовок сообщения:  Re: Удаление логов Инет

Уже в течение 10 лет каждое 1-е число текущего месяца автоматом ( т.е скриптом по хрону ) drop-аю в базе ВСЕ таблицы, оканчивающиеся на YYYYMM , где YYYYMM отстоит от текущего на 2 месяца.
No problems.....

Автор:  Akhmat [ 12 июл 2018, 15:53 ]
Заголовок сообщения:  Re: Удаление логов Инет

но проблем это да. все будет работать. нужные ли таблицы в этом вопрос.
не удаляю таблицы bgs_query_log (журнал действий, полезная таблица), сессии инет, звонки телефонии. чтобы их в лк можно было посмотреть и в клиенте, т.е. эти таблицы вполне себе информативны и полезны. если таблицы те что сверху дропну на сессии или данным по сессиям как отразится?
логи типа log_server log_error, логи скриптов и другой треш тоже не держу. там совсем так себе данные.

Автор:  Amir [ 12 июл 2018, 16:15 ]
Заголовок сообщения:  Re: Удаление логов Инет

Цитата:
connection_log_entry_{mid}_yyyyMM
Пункт "Показать RADIUS/DHCP логи" в контекстном меню сессии - можно удалять
Цитата:
inet_session_log_detail_{mid}_yyyyMM
Детализация трафиков сессии по типам трафика - не будет возможен переобсчет.

Автор:  Phricker [ 12 июл 2018, 16:22 ]
Заголовок сообщения:  Re: Удаление логов Инет

Amir писал(а):
Цитата:
inet_session_log_detail_{mid}_yyyyMM
Детализация трафиков сессии по типам трафика - не будет возможен переобсчет.


И не будет показываться история сессий в клиенте ЕМНИМП.

Автор:  Amir [ 12 июл 2018, 16:28 ]
Заголовок сообщения:  Re: Удаление логов Инет

Да, возможно лучше TRUNCATE вместо DROP.

Автор:  ok-2004 [ 12 июл 2018, 16:39 ]
Заголовок сообщения:  Re: Удаление логов Инет

Цитата:
И не будет показываться история сессий .....


Кто старое помянет - тому ....(c) :wink:

Автор:  Cromeshnic [ 13 июл 2018, 07:45 ]
Заголовок сообщения:  Re: Удаление логов Инет

У меня скрипт накидан, который делает по шедулеру раз в месяц:
- Удаление таблиц
- Truncate таблиц
- Дамп таблиц

И конфиг к нему, в котором в общем случае такие правила выработались:

- дропаем:
log_server_x
log_error_x
log_function_process
connection_log_entry_x
inet_auth_error_x
log_gscript_process
npay_add_cost_detail_x
npay_detail_x
source_data_x
tariff_detail_x

- Бэкапим и дропаем
bgs_query_log
web_query_log

- Транкейтить я перестал, хотя по-моему из-за этого в интерфейсе могут ошибки быть, когда пытаешься сессию посмотреть, например.

Ну и для каждой таблицы индивидуально период устаревания задаётся: 3,6 или 12 месяцев например.

Могу выложить на вики, хотя это другой сотрудник писал :)

Автор:  Phricker [ 13 июл 2018, 09:46 ]
Заголовок сообщения:  Re: Удаление логов Инет

Цитата:
Могу выложить на вики, хотя это другой сотрудник писал 

+++

Автор:  Cromeshnic [ 13 июл 2018, 12:19 ]
Заголовок сообщения:  Re: Удаление логов Инет

Хм, а подобный уже есть:
http://wiki.bitel.ru/index.php/%D0%93%D ... 0%B8%D1%86

Автор:  Cromeshnic [ 13 июл 2018, 12:34 ]
Заголовок сообщения:  Re: Удаление логов Инет

Запилил:

http://wiki.bitel.ru/index.php/%D0%93%D ... B8%D1%86_2

Эх, если бы за это ещё платили... :)

Автор:  Cromeshnic [ 25 июл 2018, 14:33 ]
Заголовок сообщения:  Re: Удаление логов Инет

В очередной раз задумался на тему удаления старых таблиц.
До сих пор не удаляем у себя логи телефонии и логи сессий inet/dialup.
С одной стороны, можно удалять и бэкапить, скажем, старше 3 лет.
С другой стороны, отсутствие нормального механизма закрытого периода и вообще сам механизм пересчётов такие, что кто-нибудь может зайти и пересчитать старый месяц, тогда начисления поплывут.
Это так, мысли вслух.

Пока я думаю добавить в свой скрипт 2 вещи:
- Удалять данные из session_detail модуля dialup, у которых нулевая наработка в session_account, а потом сразу делать optimize table
- Делать optimize table для log_session и log_incoming_session за прошлые периоды - там, оказывается, много можно выиграть в объёме. Да и вообще исторические таблицы неплохо бы сразу оптимизировать после того, как туда перестаём активно писать.

Автор:  Akhmat [ 25 июл 2018, 19:37 ]
Заголовок сообщения:  Re: Удаление логов Инет

воу воу, ребята откликнулись) спасибо всем.

Автор:  Cromeshnic [ 01 авг 2018, 13:41 ]
Заголовок сообщения:  Re: Удаление логов Инет

Cromeshnic писал(а):
Пока я думаю добавить в свой скрипт 2 вещи:
- Удалять данные из session_detail модуля dialup, у которых нулевая наработка в session_account, а потом сразу делать optimize table
- Делать optimize table для log_session и log_incoming_session за прошлые периоды - там, оказывается, много можно выиграть в объёме. Да и вообще исторические таблицы неплохо бы сразу оптимизировать после того, как туда перестаём активно писать.


Сделал, проверил, зачистил много места.
Обновил скрипт на wiki:

http://wiki.bitel.ru/index.php/%D0%93%D ... B8%D1%86_2

Страница 1 из 1 Часовой пояс: UTC + 5 часов [ Летнее время ]
Powered by phpBB® Forum Software © phpBB Group
http://www.phpbb.com/