Python-сообщество

webstghost · Июнь 6, 2012 03:06:45

Пытаюсь выдрать ссылки:

import re  
body = html
rex = re.compile(r'(\href=(\"|\'|\.\.)([^>]*?)(\"|\'|(class=))([^>]*?)>)', re.S)
urls = [c[2] for c in rex.findall(body)]
print urls

Получаю :

“TypeError: expected string or buffer”

В “body” html код.

fata1ex · Июнь 6, 2012 03:14:11

html-код принято парсить html-парсерами. Например: lxml, beautifulsoup, htmlparser и тд.

webstghost · Июнь 6, 2012 06:20:50

fata1ex
html-код принято парсить html-парсерами. Например: lxml, beautifulsoup, htmlparser и тд.

Да, знаю но к сожалению это не совсем мой случай. При том, что используемая для парсинга либа умеет работать совместно с beautifulsoup у меня не сложилось. Это была попытка использовать знакомый и понятный вариант, пусть и не красиво.
П.С. А в jabber конференции вы есть?

fata1ex · Июнь 6, 2012 12:14:03

webstghost, ну правда будет удобнее :) И вам, и тем, кто на код будет смотреть потом.
В любом случае гугл никто не отменял, поэтому по этому запросу ‘find urls on page python’ на первой же странице огромное количество работающих примеров.

В конференции меня нету (

webstghost · Июнь 6, 2012 16:06:16

Ну, необходимо использовать spynner. Там есть “set_html_parser”, можно указать используемую парсилку. А дальше начинаются пляски с бубном, т.к. примеров взаимодействия этого один с половиной на весь гугл И везде используется ‘pyquery’ который у меня говорит “AttributeError: ‘module’ object has no attribute ‘Pyquery’”.

py.user.next · Июнь 7, 2012 02:25:56

приведи код страницы
что должно получиться после обработки

Python-сообщество

Уведомления

#1 Июнь 6, 2012 03:06:45

TypeError: expected string or buffer

#2 Июнь 6, 2012 03:14:11

TypeError: expected string or buffer

#3 Июнь 6, 2012 06:20:50

TypeError: expected string or buffer

#4 Июнь 6, 2012 12:14:03

TypeError: expected string or buffer

#5 Июнь 6, 2012 16:06:16

TypeError: expected string or buffer

#6 Июнь 7, 2012 02:25:56

TypeError: expected string or buffer

Board footer