Python-сообщество
Форум сайта python.su
- Вы не вошли.
Уведомления
![[RSS Feed]](/static/djangobb_forum/img/feed-icon-small.png "[RSS Feed]"){kind=icon}
#1 Март 2, 2009 15:17:56
- rusbarbarian
-
-
- От:
- Зарегистрирован: 2009-03-02
- Сообщения: 5
- Репутация:
0 
- Профиль Отправить e-mail
Получение кода страницы, проблема
Собственно мне надо получить код странички, вот такой код(ValidURL определен в программе ранее):
import pycurl
p = pycurl.Curl()
p.setopt(pycurl.URL, ValidURL)
import StringIO
code = StringIO.StringIO()
p.setopt(pycurl.WRITEFUNCTION, code.write)
p.setopt(pycurl.FOLLOWLOCATION, 1)
p.perform()
print code.getvalue()
и дело в том, что код етот работает на большинстве страничек, но вот например на http://www.vozmidarom.ru/auctions/9030171922
выдает такой код:
<html>
<head>
<script>
var expire = new Date();
expire.setTime(expire.getTime() + 3600000 * 24);
document.cookie = ‘check=’ + escape('70763ec667ed6f6ab6f9dc586116f753') + ‘;
expires=’ + expire.toGMTString() + ‘;path=/’;
// document.location.href = document.location.href;
document.location.reload(false);
</script>
</head>
а мне нужна настоящая страничка.
Заранее спасибо!
Офлайн
#2 Март 2, 2009 15:28:20
- Ferroman
-
-
- От:
- Зарегистрирован: 2006-11-16
- Сообщения: 2759
- Репутация:
1
- Профиль Отправить e-mail
Получение кода страницы, проблема
А сами не пробовали задатся вопросом почему не тянется страница и что это за код вместо нее?
Офлайн
#3 Март 2, 2009 15:37:55
- rusbarbarian
-
-
- От:
- Зарегистрирован: 2009-03-02
- Сообщения: 5
- Репутация:
0
- Профиль Отправить e-mail
Получение кода страницы, проблема
код вместо нее какойто ява скрипт наверно, который делает document.location.reload(false); и грузица уже “настоящая” страница
почему не тянет понятия не имею, единственно думал может явно каким нибудь браузером прикинутся, но как незнаю, спасибо за наводящие вопросы и все такое, но лучше бы действительно помогли
Офлайн
#4 Март 2, 2009 15:41:32
- Quard
-
-
- От:
- Зарегистрирован: 2008-12-10
- Сообщения: 8
- Репутация:
0
- Профиль Отправить e-mail
Получение кода страницы, проблема
Вот эти две строки нужно переписать на питоне и добавить в вашу программу что бы они выполнялись когда получаете подобную страницу
document.cookie = 'check=' + escape('70763ec667ed6f6ab6f9dc586116f753') + ';
document.location.reload(false);Офлайн
#5 Март 2, 2009 15:46:50
- Ferroman
-
-
- От:
- Зарегистрирован: 2006-11-16
- Сообщения: 2759
- Репутация:
1
- Профиль Отправить e-mail
Получение кода страницы, проблема
rusbarbarian
“Помочь” != “сделать за меня”.
Javascript формирует урл, по которому тянется страница. Есть множество способов получить этот урл, и тянуть её напрямую.
Например, с помощью firebug.
Офлайн
#6 Март 2, 2009 15:49:51
- rusbarbarian
-
-
- От:
- Зарегистрирован: 2009-03-02
- Сообщения: 5
- Репутация:
0
- Профиль Отправить e-mail
Получение кода страницы, проблема
Quardему надо подсунуть такую куку и перезагрузить я правильно понял?
Вот эти две строки нужно переписать на питоне и добавить в вашу программу что бы они выполнялись когда получаете подобную страницу
Ferromanно обьяснить то можно подробно? или если не обьяснить дать ссылку на материалы, потому что я искал(как мог) и ничего толком ненашол
“Помочь” != “сделать за меня”.
Офлайн
#7 Март 2, 2009 15:52:18
- Quard
-
-
- От:
- Зарегистрирован: 2008-12-10
- Сообщения: 8
- Репутация:
0
- Профиль Отправить e-mail
Получение кода страницы, проблема
rusbarbarianДа. Вот только не какую то, а ту что он просит
ему надо подсунуть такую куку и перезагрузить я правильно понял?
Офлайн
#8 Март 2, 2009 15:54:06
- rusbarbarian
-
-
- От:
- Зарегистрирован: 2009-03-02
- Сообщения: 5
- Репутация:
0
- Профиль Отправить e-mail
Получение кода страницы, проблема
СПАСИБО!
Офлайн