Найти - Пользователи
Полная версия: Grab получение информации с сайта
Начало » Data Mining » Grab получение информации с сайта
1
paraman
Более опытные товарищи, подскажите. Хочу собирать инфу о скорости с сайта https://www.multipool.us/ Pool Hashrate (правый верхний угол)

#!/usr/bin/python
# -*- coding: utf-8 -*-
from grab import Grab
g = Grab()
g.setup(debug=True)
g.setup(timeout=60, connect_timeout=120, reuse_cookies=True)
g.go('https://www.multipool.us/')
string = g.response.body
print string

Но у меня не выходит. Что я делаю не так?
Спасибо, что потратили своё время на меня.
Singularity
#!/usr/bin/python
# -*- coding: utf-8 -*-
from grab import Grab
g = Grab()
g.setup(debug=True)
g.setup(timeout=60, connect_timeout=120, reuse_cookies=True)
g.go('http://www.multipool.us/')
string = g.doc.select('//div[@id="poolstats"]')
print string.text()
print string.select('.//td').count()
граб вроде ж работает с https
paraman
Singularity
g.response.body
Cпасибо, что помогаете, но ваш код выдал ошибку:
DataNotFound: Could not get first item for xpath: //div[@id="poolstats"]
noob_saibot
Вот что получилось:
# -*- coding: utf-8 -*-
from grab import Grab
g = Grab(log_file='bit.html')
g.setup(post={"Host":"http://www.multipool.us/"})
g.go("https://www.multipool.us")
for mel in xrange(12,24):
    print g.doc.select("//tr")[mel].text()

Результат:
scrypt top5
(MP) MOON 7332.7 MH/s 0h3m 0.00000017 53.09
TAG 0 MH/s 929h26m 0.00144000 72.80
MEC 6.4 MH/s 2h41m 0.00071701 47.49
DOGE 5410.5 MH/s 0h2m 0.00000209 45.17
WDC 99.9 MH/s 0h13m 0.00039170 44.82
sha-256 top5
(MP) TRC 20.255 TH/s 0h15m 0.00044900 1.04
BTC 0.855 TH/s 18h11m 1.00000000 1.00
PPC 0.616 TH/s 497h4m 0.00667020 0.97
FRC 0.022 TH/s 31h6m 0.00006168 0.64
ZET 0.117 TH/s 0h11m 0.00002449 0.62


PS: Без поста в setup не работает
paraman
noob_saibot
Вот что получилось:
О! Спасибо, а как поняли про пост в сетапе?
noob_saibot
У меня g.response.body и firebug показывали разное
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB