Всем привет
Есть задача:
Нужно парсить логи клиента, забирать результат себе, хранить его и анализировать.
Подробности задачи:
1) Парсить нужно чем-то простым, чтобы не требовало предустановки доп. ПО. (у клиентов Windows)
2) Инфы придётся парсить немало, возможно за один раз от 2 до 10 Гбайт(она хранится в обычных текстовых файлах, правда там есть данные в бинарном виде :) на выходе инфы получается не много, с 25Мб всего 53Кб )
3) Полученную информацию после парсинга, нужно забрать у клиента и положить в своё хранилище(чтобы потом им можно было воспользоваться не один раз)
4) Из хранящейся информации нужно брать срезы и анализировать(выборка информации по определённым объектам, за определённое время, постоение графиков и подобное)
3-4 пункты будут делать люди неимеющие отношения к программированию, т.е. это тоже должно быть достаточно просто и с дружественным интерфейсом.
Как я вижу решение и как я могу его реализовать:
1) Напишу скрипт для парсинга и скомпилирую его с помощью cx-freeze
2) Инфу скрипт будет собирать в sqlite3
т.е. клиенту нужно просто положить скрипт рядом с логами, запустить его, а потом отдать файл с БД
3-4 пункты я думаю реализовать на Django, так как, не вижу более простого способа предоставить простой и дружественный интерфейс. Использовать думаю встроенный dev-сервер, чтобы пользователи не мучались, а одной командой запускали его(пользоваться инфой будут только внутри компании).
Например в админке можно указывать путь к файлу БД sqlite3, нажимать Ок, и инфа будет переливаться в нашу MySQL. А на главной страничке можно разместить интерфейс для возможности задавать параметры срезов инфы, графиков и прочее.
3-4) Забираем у клиента файл БД полный инфы.
Аналитик запускает dev-сервер Django, переливает инфу от клиента в общую БД MySQL. Переходит на главную страницу для работы с инфой из БД.
Покритикуйте, подскажите, как оптимальнее решить такую задачу.