Python-сообщество

Всем добрый день. Пишу парсер сайта, который должен обходить 60 тыс. страниц с карточками товара и собирать с них нужные атрибуты. Использую список из 16 тыс. прокси и 1 тыс. юзер-агентов, из которых выбираю сочетание случайным образом. Если ответа нет в течение 5 секунд, то беру следующий прокси. В среднем 1 из 5 раз удается получить страницу. Основное время, как я понимаю, уходит на ожидание ответа страницы. Результаты пишу в CSV.

Вопрос 1.
Сейчас делаю всё в 100 потоков через мультипроцессинг. Занимает около 4 Гб оперативной памяти.
Имеет ли смысл использовать мультипоточность? Или может быть стоит сделать мультипоточность внутри мультипроцессинга? Есть ли разница?

Вопрос 2.
При записи в CSV часть строк получаются кривые, попадает только часть фразы из поля. Такое впечатление, что процессы конфликтуют между собой при записи в один и тот же файл. Может ли действительно быть такое и как это исправить?

Вопрос 3.
Как сделать так, чтобы разные процессы обменивались между собой переменными? Например, сделать единый счетчик кол-во обработанных страниц, т.е. чтобы разные процессы увеличивали переменную на +1. Сейчас получается, что в каждом процессе своя переменная (делаю через Global).

Вопрос 4.
Как правильно писать результаты в БД? Если делать в лоб, то могу после парсинга каждой страницы открывать соединение, запускать нужный курсор, делать комит и закрывать соединение. Но наверное это не очень оптимально. Можно ли открыть одно соединение на все процессы/потоки и писать результаты в одну таблицу?

Заранее спасибо за ответы и советы.

Room_on
Сейчас делаю всё в 100 потоков через мультипроцессинг. Занимает около 4 Гб оперативной памяти.
Имеет ли смысл использовать мультипоточность? Или может быть стоит сделать мультипоточность внутри мультипроцессинга? Есть ли разница?

Room_on
Вопрос 2.
При записи в CSV часть строк получаются кривые, попадает только часть фразы из поля. Такое впечатление, что процессы конфликтуют между собой при записи в один и тот же файл. Может ли действительно быть такое и ка

Room_on
Как сделать так, чтобы разные процессы обменивались между собой переменными?

Room_on
Вопрос 4.
Как правильно писать результаты в БД? Если делать в лоб, то могу после парсинга каждой страницы открывать соединение, запускать нужный курсор, делать комит и закрывать соединение. Но наверное это не очень оптимально. Можно ли открыть одно соединение на все процессы/потоки и писать результаты в одну таблицу?

[code python][/code]

Отредактировано PEHDOM (Фев. 14, 2019 14:09:09)

> Сейчас делаю всё в 100 потоков через мультипроцессинг….Имеет ли смысл использовать мультипоточность? Или может быть стоит сделать мультипоточность внутри мультипроцессинга?

Какая ОС? С какой целью multiprocessing используется?

в современном мире все больше такие задачи решаются асинхронным программированием.
Писать все в 1 файл это конечно безумие.

Rodegast
> Какая ОС? С какой целью multiprocessing используется?

JOHN_16
в современном мире все больше такие задачи решаются асинхронным программированием.Писать все в 1 файл это конечно безумие.

ну самое просто сейчас, не пишите в файл. Соберите все данные в памяти, и только потом пишите в файл. “кривых” совсем не будет. У вас же проблема с конкурентным доступом.

> Multiprocessing использую с целью ускорения прохода по всем страницам

Твоя основная ошибка в том что ты пытаешься решить конкурентную задачу при помощи многопоточности (да ещё и самым хреновым способом, хотя он единственный в случае Python-а). Для конкурентности используй модуль threading или асинхронность, тогда вопросы 2 и 3 сам собой отпадут.

> 1 из 5 прокси срабатывает только

Что мешает заранее удалить не работающие прокси?

> Можно ли открыть одно соединение на все процессы/потоки и писать результаты в одну таблицу?

Да, так и нужно делать.

> Такое впечатление, что процессы конфликтуют между собой при записи в один и тот же файл. …. Стал писать для каждого процесса в свой файл (типа SpawnPoolWorker-1.csv), кривых строк стало гораздо меньше, но всё равно иногда встречаются.

Вызывай перед закрытием файла:

 file.flush()
os.fsync(file)

Отредактировано Rodegast (Фев. 14, 2019 20:39:29)

JOHN_16
ну самое просто сейчас, не пишите в файл. Соберите все данные в памяти, и только потом пишите в файл. “кривых” совсем не будет. У вас же проблема с конкурентным доступом.

Rodegast
Твоя основная ошибка в том что ты пытаешься решить конкурентную задачу при помощи многопоточности (да ещё и самым хреновым способом, хотя он единственный в случае Python-а). Для конкурентности используй модуль threading или асинхронность, тогда вопросы 2 и 3 сам собой отпадут.

Rodegast
Что мешает заранее удалить не работающие прокси?

Rodegast
Вызывай перед закрытием файла:

 def write_csv(data, proc):
	with open('result ' + proc + '.csv', 'a+', encoding='utf-8', newline='') as f:
		writer = csv.writer(f, quotechar = "'", delimiter=',')
		writer.writerow((data['name'],
					data['id']
					data['price'],
					data['url'],
					data['proxy'],
					data['proc']))	

Отредактировано Room_on (Фев. 14, 2019 21:03:40)

JOHN_16
ну самое просто сейчас, не пишите в файл. Соберите все данные в памяти, и только потом пишите в файл. “кривых” совсем не будет. У вас же проблема с конкурентным доступом.