57

Анализ и визуализация событий в распределенной системе на основании лог-файлов

Кирилл Коротаев

Категория: Летняя практика

— представляет из себя некое web application, в которое можно загружать логи со всех CS(cloud server)/MDS(metadata server)/client из кластера (с указанием топологии кластера);

— визуализирует все I/O запросы в кластере. Я это вижу как timeline на каждый CS/client (возможно MDS) и каждый запрос отображается на необходимых timeline;

— позволяет фильтровать запросы по:

* времени исполнения

* read/writes

* inode/имя файла

* клиент/CS

— у каждого запроса есть ассоциированная с ним мета информация (очередь на клиенте/целевых CS в момент запроса/latency клиента/CS)

— позволяет производить автоматический поиск узких мест (слишком загруженный CS, проблемы в сети, проблемы с каким-нибудь диском)

— умеет генерировать лог запросов в формате, который потом можно было бы проиграть с помощью, например, at_io_iops

— умеет показывать запросы превысившие указанный deadline