Python-сообщество

Marat__ · Июль 19, 2020 14:01:03

Есть такое дело:

         for item_fi in all__1:
            my_func()
  #          thread.start_new_thread(my_func,)

где all__1 лист из пары сотен значений.
Хочу распараллеливать цикл, то есть часть набора из all__1 считать на разных ядрах (вручную я это делал запуская несколько питонов в разных терминалах и каждому указывая свой набор all__1, что некрасиво). Попытки прикрутить thread.start_new_thread (закоментено) не прошли. Также не зашел multiprocessing (процесс зависал, может потому что работаю под виндоус). Задачка простенькая, а я уже второй день не могу ее решить. Может кто что подсказать? Спасибо

Отредактировано Marat__ (Июль 19, 2020 14:02:10)

FishHook · Июль 19, 2020 17:02:48

В питоне этого сделать нельзя, забудь

doza_and · Июль 19, 2020 22:55:22

Ну почему нельзя. Питон отлично запустит кучу тредов, другое дело что это ничего не ускорит.

Я бы рекомендовал почитать.
https://docs.python.org/3/library/concurrent.futures.html

Если функции на питоне то используйте ProcessPoolExecutor

Marat__
процесс зависал, может потому что работаю под виндоус

Под виндами
1 помоему надо специально скрипт оформлять, чтобы было if __main__.
2 Передаваемые аргументы очевидно должны уметь пиклиться.
3. Давненько пробовал под виндой использовать multiprocessing Оказалось что процессы в виндоусе запускаются безумно долго, доходило до 80 мс (в юникс системах если данных немного то запуск процесса мало чем отличается от треда). Это под windows 7 было. Может сейчас что и поменялось, но винды уж нет, не попробуешь.

FishHook · Июль 20, 2020 14:00:47

FishHook
Хочу распараллеливать цикл, то есть часть набора из all__1 считать на разных ядрах

doza_and
Ну почему нельзя.

разве можно?

Rodegast · Июль 20, 2020 14:23:33

> разве можно?

Можно, только через multiprocessing. Но ожидать от распараллеливания через процессы какой-то эффективности не стоит.

С дураками и сектантами не спорю, истину не ищу.
Ели кому-то правда не нравится, то заранее извиняюсь.

Отредактировано Rodegast (Июль 20, 2020 14:23:55)

Python-сообщество

Уведомления

#1 Июль 19, 2020 14:01:03

Параллельное программирование

#2 Июль 19, 2020 17:02:48

Параллельное программирование

#3 Июль 19, 2020 22:55:22

Параллельное программирование

#4 Июль 20, 2020 14:00:47

Параллельное программирование

#5 Июль 20, 2020 14:23:33

Параллельное программирование

Board footer