Уведомления

Группа в Telegram: @pythonsu

#1 Дек. 18, 2012 17:54:32

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

Я решил записать серию скринкастов о том, как я парсю сайты с помощью библиотеки Grab. Буду анонсы писать сюда, если никто не против. Также если кто-то захочет вдруг записать скринкаст о парсинге любой библиотекой, тоже кладите сюда, чтобы не потерялись.
Вот первый скринкаст: http://www.youtube.com/watch?v=cB5mLUmgjkk

Офлайн

#2 Дек. 20, 2012 22:23:12

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

Второй каст: http://www.youtube.com/watch?v=AugQn3SdvxY - рассказываю, что такое ajax и как его парсить. К сожалению, ютуб что-то со звуком сделал и он стал каким-то хлопающим.

Офлайн

#3 Дек. 21, 2012 11:28:27

altRUist
Зарегистрирован: 2012-12-17
Сообщения: 7
Репутация: +  0  -
Профиль   Отправить e-mail  

Скринкасты о парсинге

отлично, спасибо, интересно!
да, со звуком проблема (ты перед ютюбом в каком виде сохраняешь звук?)

Офлайн

#4 Дек. 21, 2012 12:12:39

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

Записывал программой recordmydesktop - она записывает какие-то глючные ogv файлы у которых время определяется как многочасовое и ютуб их отвергает при попытке залить. Переливаю в mkv формат командой:

avconv -i out-1.ogv -c:v libx264 -c:a copy screen2.mkv

Офлайн

#5 Дек. 21, 2012 12:58:49

altRUist
Зарегистрирован: 2012-12-17
Сообщения: 7
Репутация: +  0  -
Профиль   Отправить e-mail  

Скринкасты о парсинге

можешь скинуть семпл mkv файла глянуть?

Офлайн

#6 Дек. 21, 2012 14:13:01

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

http://lorien.name/static/pub/screen2.mkv - весь файл (68мб)
Уточню, сам файл норм, а вот после заливки на утуб появились проблемы со звуком.
Вообще, я так понял можно там звук как-то перезалить. А вот видео целиком - нельзя.

Офлайн

#7 Дек. 21, 2012 14:13:52

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

Ну и это, если у кого есть идеи по скринкастам, какие темы осветить, пишите.

Офлайн

#8 Дек. 21, 2012 16:50:27

mks
От:
Зарегистрирован: 2009-08-07
Сообщения: 80
Репутация: +  5  -
Профиль   Отправить e-mail  

Скринкасты о парсинге

Добрый день.
Заглянул на сайт grablib в раздел документации. На этой странице есть код:

from grab.tools.logs import default_logging()
default_logging()
Проверте всё ли тут в порядке со скобками.



Офлайн

#9 Дек. 21, 2012 21:58:37

lorien
От:
Зарегистрирован: 2006-08-20
Сообщения: 755
Репутация: +  37  -
Профиль  

Скринкасты о парсинге

Я думаю в документации багов мильон и она частично устарела. Нет времени на такие мелочи. Если охото что-то исправить, клонируйте репу, документация содержится в репе в виде исходников для sphinx, правьте её,делайте коммит, шлите пулл-реквест.

Офлайн

#10 Дек. 23, 2012 13:33:52

altRUist
Зарегистрирован: 2012-12-17
Сообщения: 7
Репутация: +  0  -
Профиль   Отправить e-mail  

Скринкасты о парсинге

посмотрел исходный mkv - там аудиодорожка закодирована кодеком Vorbis, найти linux с установленным mencoder-ом не смог, а тот что был откомпилирован под win работал как-то криво, потому вариант для linux и из командной строки предложить не смогу.

вариант для win такой:
беру Xilisoft Video Converter Ultimate (в рутреккере есть)
открываю в нем MKV файл, в профиле выбираю AC3 и нажимаю кнопку кодировать (этот профиль кодирует из mkv только звук - в итоге получается звук дорожка ac3) занимает менее 30 сек.
в пакете mkvtoolnix запускаю mmg (mkvmerge GUI) туда кидаю полученную дорожку ac3 а напротив старой (Vorbis) убираю чекбокс и нажимаю кнопку обработать, 1 сек и файл собран.
попробовал залить в ютюб - http://www.youtube.com/watch?v=y8fd0onJlwI вроде без задержек (видео удалю) также все нормально если аудио пожать в mp3

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version