Уведомления

Группа в Telegram: @pythonsu

#1 Ноя. 23, 2014 13:47:10

ajib6ept
От: От: От: От: От: От: От: От:
Зарегистрирован: 2013-08-04
Сообщения: 297
Репутация: +  26  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

Верно выше сказали, selenium не обязателен, информация выводит по запросу

http://krasnoyarsk.kinomechta.com/sites/default/files/prebook-schedule/city_55.schedule.js



_________________________
Python golden rule: Do not PEP 8 unto others; only PEP 8 thy self.
Don't let PEP 8 make you insanely intolerant of other people's code.

Офлайн

#2 Ноя. 24, 2014 14:59:55

hdj
Зарегистрирован: 2014-11-19
Сообщения: 27
Репутация: +  0  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

ajib6ept
м-да, с веб-программирвоанием не знаком.)
- как вы нашли эту функцию?
- можно этот код как-то выполнить, чтобы получить одну html-страницу и потом по ее коду пройтись алгоритмами - мне так понятней. А этот код не понятен, и шрифт почему-то не отображается абракадаброй.


Пытался удалить переустановить версию селениума с 2.44.0 на 2.40.0. Теперь не работает, щас копаюсь) Установил обратно 2.44.0 - работает, но без фантома.
И все же - почему фантом не работает? Какая у вас версия питона и селениума?


http://python.su/forum/topic/22359/?page=3

поменялось вроде только

my = soup.findAll(name='span', attrs={'class': 'hottrends-single-trend-title ellipsis-maker-inner'})
re1 = re.compile('<span class="hottrends-single-trend-title ellipsis-maker-inner">(.+?)</span>', re.IGNORECASE)

посмотреть js

from lxml.html import parse
dom = parse('http://www.google.com').getroot()
d = dom.xpath('//script[@type="text/javascript"]/text()')
print d

import requests
import lxml.html
s = requests.session()
doc = lxml.html.fromstring(s.get('http://google.com/').content)
d = doc.xpath('//script[@type="text/javascript"]/text()')
print d

Это для просмотра и парсинга файла .js с сервера?

Отредактировано hdj (Ноя. 24, 2014 15:17:41)

Офлайн

#3 Ноя. 24, 2014 16:07:46

Kasta_neda
Зарегистрирован: 2014-06-08
Сообщения: 210
Репутация: +  6  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

hdj
http://python.su/forum/topic/22359/?page=3

поменялось вроде только

my = soup.findAll(name='span', attrs={'class': ‘hottrends-single-trend-title ellipsis-maker-inner’})
re1 = re.compile('<span class=“hottrends-single-trend-title ellipsis-maker-inner”>(.+?)</span>', re.IGNORECASE)
это ссылка на подобный вопрос, где тоже не отображался весь код, пока не нашли два варианта, один из которых много легче, требуется скачать или распарсить, на странице с ajax вот по этой ссылке http://www.google.com/trends/hottrends/hotItems с параметрами
то есть как и на вашем ресурсе
а остальной код который я привел, теперь не относится к делу

Отредактировано Kasta_neda (Ноя. 24, 2014 16:09:57)

Офлайн

#4 Ноя. 25, 2014 16:51:36

hdj
Зарегистрирован: 2014-11-19
Сообщения: 27
Репутация: +  0  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

Офлайн

#5 Ноя. 25, 2014 16:56:55

Kasta_neda
Зарегистрирован: 2014-06-08
Сообщения: 210
Репутация: +  6  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

hdj
А как вы отыскали эту функцию? http://krasnoyarsk.kinomechta.com/sites/default/files/prebook-schedule/city_55.schedule.js
это ссылка на js
установите Charles или Wireshark, увидите куда запросы идут и ответы какие приходят

Офлайн

#6 Ноя. 25, 2014 17:00:59

Kasta_neda
Зарегистрирован: 2014-06-08
Сообщения: 210
Репутация: +  6  -
Профиль   Отправить e-mail  

Не полностью отображается html-код для со страницы

пример во вложении

Прикреплённый файлы:
attachment sk.jpg (243,2 KБ)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version