Форум сайта python.su
0
Уважаемые участники форума подскажите пожалуйста:
На бирже криптовалют данные меняются очень быстро, бывает даже больше 10 раз в секунду по одной паре. Задача программы - парсить данные по всем парам (больше 100 пар) одновременно, обрабатывать данные и выводить результат в графическом виде на лету. Апи не рассматриваю, поскольку на биржах лимиты на количество запросов.
При помощи какой библиотеки оптимальнее реализовать парсинг?
Офлайн
0
А вы уверены в стабильности канала? Не каждый канал потянет 10 запросов в секунду и не каждый сервер их сможет отдать тем более 100 пар, это как минимум 1000 запросов в секунду 
К чему такая точность?
Я не представляю даже, какой компьютер нужен, чтобы отрабатывать OHLC по минуткам даже
Если тики использовать, то кроме всего прочего, каждый запрос еще нужно сравнивать, скажем с запросом 10 секунд назад (например)
По опыту - самый оптимальный режим работы - 4 часа в масштабах 6 месяцев
но не воспринимайте написанное мной, как ограничение полета ваших мыслей
Все это ИМХО, не более
Офлайн
0
У меня уровень программирования ниже нуля.
Решил начинать вот с этой идеи.
Но браузер же отображает больше 10-ти изменений в секунду, разве это корректно питон не сможет обработать (спарсить)? Да это будет одновремеменно больше чем со 100 страниц. Потому и открыл вопрос, чтобы обратится к более опытным людям.
Идея моя заключается к подключению к странице как браузер, а потом уже оттуда парсить. Но как это сделать я понятия не имею, хотя уверен что это возможно.
Офлайн
857
BongoДа это так выглядит просто. Браузер тебе картинку создаёт, а ты думаешь, что это на сайте так.
Но браузер же отображает больше 10-ти изменений в секунду
Офлайн
0
Bongo
Но браузер же отображает больше 10-ти изменений в секунду, разве это корректно питон не сможет обработать (спарсить)?
Офлайн
0
При открытом браузере происходит изменение содержимого сайта в следствии изменения html кода. Как я понимаю сервер посылает этот код в браузер (распознаватель). Подскажите пожалуйста, вопрос вот в чем: чтобы получить обновление (изменение) этого кода каждый раз браузер отправляет запрос, или запрос отправляется один раз для создания канала (как бы подключается), и потом просто получает данные по этому каналу без отправки многочисленных запросов ежесекундно?
Офлайн