Ctrl →

ingfa_1981 · Март 14, 2014 16:48:06

[code python]
import urllib.request
import re
stranica = urllib.request.urlopen("http://www.mail.ru/").read()
f = open("Sot.html", "wb")
f.write(stranica)
f.close()
r = r'(?#Protocol)(?:(?:ht|f)tp(?:s?)\:\/\/|~\/|\/)?(?#Username:Password)(?:\w+:\w+@)?(?#Subdomains)(?:(?:[-\w]+\.)+(?#TopLevel Domains)(?:com|org|net|gov|mil|biz|info|mobi|name|aero|jobs|museum|travel|[a-z]{2}))(?#Port)(?::[\d]{1,5})?(?#Directories)(?:(?:(?:\/(?:[-\w~!$+|.,=]|%[a-f\d]{2})+)+|\/)+|\?|#)?(?#Query)(?:(?:\?(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)(?:&(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)*)*(?#Anchor)(?:#(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)?'
#txt = u"""hi world!you url http://pravda-vsay.ya.ru/#y5__id37 and url http://google.com/"""
txt = open(r'Sot.html',"r").read()
for silki in re.findall(r, txt, re.U):
    print(silki)
[/code]

Подскажите, как парсить ссылки не сохраняя страницу в фал?

Отредактировано ingfa_1981 (Март 14, 2014 16:48:27)

sanodin · Март 14, 2014 16:56:39

import urllib.request
import re
stranica = urllib.request.urlopen("http://www.mail.ru/").read()
r = r'(?#Protocol)(?:(?:ht|f)tp(?:s?)\:\/\/|~\/|\/)?(?#Username:Password)(?:\w+:\w+@)?(?#Subdomains)(?:(?:[-\w]+\.)+(?#TopLevel Domains)(?:com|org|net|gov|mil|biz|info|mobi|name|aero|jobs|museum|travel|[a-z]{2}))(?#Port)(?::[\d]{1,5})?(?#Directories)(?:(?:(?:\/(?:[-\w~!$+|.,=]|%[a-f\d]{2})+)+|\/)+|\?|#)?(?#Query)(?:(?:\?(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)(?:&(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)*)*(?#Anchor)(?:#(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)?'
for silki in re.findall(r, str(stranica), re.U):
    print(silki)

ingfa_1981 · Март 14, 2014 17:57:16

А какой тип данных возвращает urllib.request.urlopen("http://www.mail.ru/").read(), что их нужно преобразовывать в строки?

Отредактировано ingfa_1981 (Март 14, 2014 17:57:47)

sanodin · Март 14, 2014 18:04:19

print type(stranica)

ingfa_1981 · Март 14, 2014 18:13:41

Поэтому у меня и не получилось, потому что там возвращались байты а нужны были строки. Спасибо за помощь

py.user.next · Март 14, 2014 22:03:28

ingfa_1981
там возвращались байты а нужны были строки

её надо сначала раскодировать

>>> import urllib.request
>>> 
>>> data = urllib.request.urlopen('http://python.su/forum/topic/23714/')
>>> html = data.read().decode(data.headers.get_content_charset() or 'latin1')
>>> 
>>> import re
>>> re.search(r'там возвращались байты[^.]+', html).group()
'там возвращались байты а нужны были строки'
>>>

ingfa_1981

r = r'(?#Protocol)(?:(?:ht|f)tp(?:s?)\:\/\/|~\/|\/)?(?#Username:Password)(?:\w+:\w+@)?(?#Subdomains)(?:(?:[-\w]+\.)+(?#TopLevel Domains)(?:com|org|net|gov|mil|biz|info|mobi|name|aero|jobs|museum|travel|[a-z]{2}))(?#Port)(?::[\d]{1,5})?(?#Directories)(?:(?:(?:\/(?:[-\w~!$+|.,=]|%[a-f\d]{2})+)+|\/)+|\?|#)?(?#Query)(?:(?:\?(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)(?:&(?:[-\w~!$+|.,*:]|%[a-f\d{2}])+=?(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)*)*(?#Anchor)(?:#(?:[-\w~!$+|.,*:=]|%[a-f\d]{2})*)?'

это лучше записать в виде многословного регулярного выражения
python.org. re.X

Отредактировано py.user.next (Март 14, 2014 22:03:53)

ingfa_1981 · Март 14, 2014 22:29:09

А как авторизироваться на странице, или на каждой странице по разному? например на одноклассниках..

py.user.next · Март 15, 2014 03:30:53

ingfa_1981
или на каждой странице по разному?

везде разные способы, их нужно сначала выяснять, а потом реализовывать

sanodin · Март 15, 2014 12:14:33

from grab import Grab
g = Grab()
g.setup(post={"fr.posted": "set", "fr.needCaptcha": "", 'fr.login':'*************', 'fr.password':'***************',"button_login": "Войти"})
g.go("http://m.odnoklassniki.ru/dk?bk=GuestMain&st.cmd=main&_prevCmd=main&tkn=8520")

Отредактировано sanodin (Март 16, 2014 12:41:20)

ingfa_1981 · Март 15, 2014 23:34:54

а как понять

sanodin
g.setup(post={“fr.posted”: “set”, “fr.needCaptcha”: “”, ‘fr.login’:'*************', ‘fr.password’:'***************',“button_login”: “Войти”})

куда этот пост запрос передается, ведь там две ссылки после? Страница авторизации, и список сообщений. Кстати чем их выловить?

Python-сообщество

Уведомления

#1 Март 14, 2014 16:48:06

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#2 Март 14, 2014 16:56:39

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#3 Март 14, 2014 17:57:16

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#4 Март 14, 2014 18:04:19

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#5 Март 14, 2014 18:13:41

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#6 Март 14, 2014 22:03:28

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#7 Март 14, 2014 22:29:09

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#8 Март 15, 2014 03:30:53

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#9 Март 15, 2014 12:14:33

Подскажите, как парсить ссылки не сохраняя страницу в фал?

#10 Март 15, 2014 23:34:54

Подскажите, как парсить ссылки не сохраняя страницу в фал?

Board footer