CLF: минимальный набор полей, хранимых в журнале
- IP-адрес клиента.
- Идентификационный номер пользователя.
- Время обращения.
- Метод запроса HTTP (GET, POST и т.д.)
- Путь к запрашиваемому ресурсу.
- Использованный протокол.
- Ответ сервера (200 - "все хорошо", 404 - "ресурс не найден" и т.д.)
- Объем переданной информации.
Идея очистки состоит в удалении из рассмотрения всех тех объектов, к которым пользователь прямо не обращался при своем путешествии по сайту, сюда также попадают файлы сценариев или таблицы стилей. Иногда, пользователь явно запрашивает графические файлы, для таких случаев в программе очищающей журнал должна быть предусмотрена модификация фильтра.
***Техника обнаружения ассоциаций обычно применяется к базам данных транзакций, где каждой транзакции соответствуют несколько полей. В таком случае задача состоит в обнаружении всех взаимосвязей между наличием одних или отсутствием других полей в транзакции. В терминах использования сети это означает обнаружение связей между обращениями к различным файлам от одного клиента, например, 80% клиентов, запросивших файл sql.rar, также запросили sql.r00; 30% клиентов, обращавшихся за этим файлом, прошли регистрацию.
