Ctrl →

a2761240 · Сен. 28, 2013 21:14:19

Нужно написать граббер сайтов. Суть заключается в следующем:
1. Скрипт должен работать автономно на сервере
2. Многопоточность
3. Поддержка списка url, т.е когда 1 сайт спарсит, чтобы переходил к следующему
4. Нужно чтобы он с HTML страниц спасенных доставал определенную информацию, если такая имеется
5. Интерфейс для работы через браузер - Url:шаблон (регулярное выражение)
6. Поддержка авторизаций на сайтах

Такой набросок. Кто может взяться и сколько это будет стоить?

Отредактировано a2761240 (Сен. 28, 2013 21:21:35)

Singularity · Сен. 29, 2013 00:22:32

a2761240
5. Интерфейс для работы через браузер - Url:шаблон (регулярное выражение)

А что это значит?

a2761240 · Сен. 29, 2013 05:51:11

Я поторопился с желанием, это обучалка. Но лучше заранее обучить скрипт, в том числе и обходу примитивной защиты данных. Чтобы все сводилось к тому - что надо загрузить список url и нажать start

Отредактировано a2761240 (Сен. 29, 2013 06:00:54)

lorien · Сен. 30, 2013 20:03:15

Могу работать через одеск с $30/hour оплатой. Минимум часов 20-30 нужно угрохать на это. Итого 600-900 баксов получается.

a2761240 · Окт. 1, 2013 20:04:26

Считаю 1к$ нормальная сумма для данного софта. Хорошо бы посмотреть на твои работы, узнать есть ли у тебя наработки или умеешь ли ты читать дригие языки, как ты понимаешь с нуля мне не надо, я знаю, что с нуля пишут…
То что я сверху накидал в общих чертах, это и 100$ не стоит, цель была что бы зазнающийся человек понял что нужно.

На пыхе с поддержкой прокси и аккаунтов я нашел человека готового приделать данный подвиг за 300$, но у него очень много наработак в данной теме.

Я хочу на python т.к сам собираюсь его изучать.

Отредактировано a2761240 (Окт. 1, 2013 20:10:30)

bw · Окт. 2, 2013 03:38:11

> цель была что бы зазнающийся человек понял что нужно.
Странно такое слышать. Здесь программисты, а не телепаты.
Вы продукты в магазине так же покупаете, подходите к продавцу и говорите: поймите, что мне нужно!

> То что я сверху накидал в общих чертах, это и 100$ не стоит
Чего же там в оставшихся 90%? Гадать? Воображение начинает рисовать картину где SkyNet правит миром.

> Чтобы все сводилось к тому - что надо загрузить список url и нажать start
Есть такое, я могу рассчитывать на 100$?

if __name __ == '__main__':
    print 'Усё сделана насяльника!'

> Но лучше заранее обучить скрипт, в том числе и обходу примитивной защиты данных.
Такое вы не получите ни за 300$, ни за 1000$. В том смысле, что заранее всё не предусмотришь и потребуется постоянное сопровождение. Врядли вам нужны эвристические алгоритмы или вы не понимаете что это такое.

> 4. Нужно чтобы он с HTML страниц спасенных доставал определенную информацию, если такая имеется
Вы задание коду так же формулировать хотите? “Ты там это… ну ты понял… и что бы ещё вчера у меня тут”.

p.s. В принципе, всё это казуистика получится, с обеих сторон. Договоритесь лучше на берегу.

..bw

lorien · Окт. 2, 2013 12:08:40

Считаю 1к$ нормальная сумма для данного софта. Хорошо бы посмотреть на твои работы, узнать есть ли у тебя наработки или умеешь ли ты читать дригие языки, как ты понимаешь с нуля мне не надо, я знаю, что с нуля пишут…
То что я сверху накидал в общих чертах, это и 100$ не стоит, цель была что бы зазнающийся человек понял что нужно.

На пыхе с поддержкой прокси и аккаунтов я нашел человека готового приделать данный подвиг за 300$, но у него очень много наработак в данной теме.

Я хочу на python т.к сам собираюсь его изучать.

К сожалению, работать с вами интереса нет.

a2761240 · Окт. 2, 2013 15:53:33

lorien
К сожалению, работать с вами интереса нет.

Ну беда)

Bw, в общем граббер мыл нужен с админкой и бд. И что трудно обойти примитивную защиту типа - собачка или js?

Вот что хочу

1. Управление потоками, тайм-аутом
2. Поддержка списка url
3. Сортировка по серверам
4. Поддержка авторизаций на сайтах
5. Поддержка proxy
6. Лог файл с отчетами разными: результаты, ошибки, статистика по каждому домену
7. Работа со SQL, выборка по базам, импорт баз в разные форматы
8. Обход защиты email
9. Проверка mx
10. Поддержка стоп-слов
11. Защита от сбоев, допустим сервер оказался не доступен или бан etc

Зы конечно поддержка продукта нужна будет и допилка

Отредактировано a2761240 (Окт. 2, 2013 15:59:12)

Singularity · Окт. 2, 2013 16:05:52

Я знаю выход!

a2761240
нашел человека готового приделать данный подвиг за 300$

ZZZ · Окт. 3, 2013 11:06:20

Жесть… Пусть такие работодатели работают с пэхэпэшниками.

Python-сообщество

Уведомления

#1 Сен. 28, 2013 21:14:19

Сколько будет такое стоить?

#2 Сен. 29, 2013 00:22:32

Сколько будет такое стоить?

#3 Сен. 29, 2013 05:51:11

Сколько будет такое стоить?

#4 Сен. 30, 2013 20:03:15

Сколько будет такое стоить?

#5 Окт. 1, 2013 20:04:26

Сколько будет такое стоить?

#6 Окт. 2, 2013 03:38:11

Сколько будет такое стоить?

#7 Окт. 2, 2013 12:08:40

Сколько будет такое стоить?

#8 Окт. 2, 2013 15:53:33

Сколько будет такое стоить?

#9 Окт. 2, 2013 16:05:52

Сколько будет такое стоить?

#10 Окт. 3, 2013 11:06:20

Сколько будет такое стоить?

Board footer