Уведомления

Группа в Telegram: присоединиться

#1 Сен. 11, 2018 15:24:59

kappa-sama
Зарегистрирован: 2012-09-21
Сообщения: 15
Репутация: +  0  -
Профиль   Отправить e-mail  

Python + xdist + pytest

Привет, народ!

Подскажите, может кто сталкивался.

Дано:
python
xdist
pytest
120+ тестов. В разных файлах, в разных классах. Часть параметризирована.
Машина с 32 ядрами

Запускаю тесты на 20 потоков. параметр –dist указывал и “no” и “load”, картина не меняется.

В результате, часть тестов нормально распределяется по потокам, но часть ждет завершения самого долгого теста и запускается только после него, хотя часть потоков простаивает.

В результате на таймлайне наблюдается картина. Хотелось бы чтобы тесты распределилиь бы по свободному времени в потоках.

Вопрос: Кто нить знает решение? Или хотя бы куда копать.

Прикреплённый файлы:
attachment 1.png (20,9 KБ)

Офлайн

#2 Сен. 11, 2018 17:39:11

JOHN_16
От: Россия, Петропавловск-Камчатск
Зарегистрирован: 2010-03-22
Сообщения: 3042
Репутация: +  211  -
Профиль   Отправить e-mail  

Python + xdist + pytest

А чем таймлайн рисуется? И почему некоторые задачи окрашены другим цветом?



_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

Офлайн

#3 Сен. 12, 2018 13:48:04

vv
От:
Зарегистрирован: 2011-09-16
Сообщения: 8
Репутация: +  0  -
Профиль   Отправить e-mail  

Python + xdist + pytest

Cталкивался с аналогичным поведением при использовании parallelpython (https://www.parallelpython.com/).
У меня 8 потоков было. Моделирование по методу конечных элементов.
Надо было обработать каждый элемент.

Проблему не решил, а обошел: на каждый поток выделил по меньшему количеству работы - в таком случае после каждого цикла те потоки, что завершились, ждали самый долгий меньшее количество времени.
Думаю, в parallelpython можно было просто не ожидая завершения последнего потока либо создать новый сервер (у parallelpython там свой виртуальный вроде), либо внимательнее читать доки :D.
Но заморачиваться времени уже не было.

Good regards.



Офлайн

#4 Сен. 16, 2018 11:18:12

velican001
Зарегистрирован: 2018-09-16
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Python + xdist + pytest

нужна помошь програмиста по питону не бесплатно))) пишите в личку

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version