Уведомления

Группа в Telegram: @pythonsu

#1 Фев. 16, 2012 07:08:15

anemak
От:
Зарегистрирован: 2012-01-23
Сообщения: 12
Репутация: +  0  -
Профиль   Отправить e-mail  

urllib2 и размер буфера

# -*- coding: windows-1251 -*-

import urllib2

source = urllib2.urlopen("http://www.realtypress.ru/ipotechnie-banki/110/")

print source.read()

source.close()
Почему страница загружается не полностью?

мне выдает такой результат: http://pastebin.com/qgF2BhB9

Видно, что страничка загружена не до конца.



Офлайн

#2 Фев. 18, 2012 12:44:23

pooteen
От:
Зарегистрирован: 2012-01-27
Сообщения: 9
Репутация: +  0  -
Профиль   Отправить e-mail  

urllib2 и размер буфера

только что проверил этот код. Загрузилась полностью.
w7 x64, python 2.7



Офлайн

#3 Фев. 18, 2012 19:13:39

o7412369815963
От:
Зарегистрирован: 2009-06-17
Сообщения: 1986
Репутация: +  32  -
Профиль   Отправить e-mail  

urllib2 и размер буфера

linux ubuntu 32bit, py 2.7.2
загрузилось полностью

Офлайн

#4 Фев. 27, 2012 19:44:51

dropnz
От:
Зарегистрирован: 2012-02-25
Сообщения: 5
Репутация: +  1  -
Профиль   Отправить e-mail  

urllib2 и размер буфера

arch linux 32bit. python 3.2
загрузилось все.
а может пропробовать readall()?



Офлайн

#5 Фев. 27, 2012 20:45:50

anemak
От:
Зарегистрирован: 2012-01-23
Сообщения: 12
Репутация: +  0  -
Профиль   Отправить e-mail  

urllib2 и размер буфера

Хм, тут проблема несколько в другом.

Вот, например:

page = file.read()

title1 = regexTitle1.search(page)
title2 = regexTitle2.search(page)
title3 = regexTitle3.search(page)
title4 = regexTitle4.search(page)
title5 = regexTitle5.search(page)
title6 = regexTitle6.search(page)
content = regexContent.search(page)
    title1 = regexTitle1.search(file.read())
title2 = regexTitle2.search(file.read())
title3 = regexTitle3.search(file.read())
title4 = regexTitle4.search(file.read())
title5 = regexTitle5.search(file.read())
title6 = regexTitle6.search(file.read())
content = regexContent.search(file.read())
В первом коде страница бы загрузилась полностью, а во втором нет. Я так понимаю это особенность питона, он переменные хранит в памяти. Еще до конца не разобрался, но думаю я на правильном пути.



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version