Python-сообщество

скажите, чем обусловлен лимит на потоки? не видел ещё ни разу, чтобы одновременно работало больше 200 штук
можно ли его увеличить?

1. Ограничение может быть установлено, исходя из здравого смысла - при дальнейшем увеличении числа потоков не наблюдается увеличения производительности. Скорее всего, именно в этом причина.
2. Ограничение, связанное с ОС. Например, в Линукс регулируется общее кол-во потоков в системе. Но это явно не ваш случай. Плюс вот это почитайте: http://forum.0day.kiev.ua/index.php?showtopic=127455
3. Ограничение может быть установлено какими-то правилами/политиками на конкретной машине.

Отредактировано (Июль 7, 2011 14:12:08)

>>Например, в Линукс регулируется общее кол-во потоков в системе. Но это явно не ваш случай

отчего же не мой? у меня Линукс и скрипт пишется под линукс
спасибо, почитаю

Игнат как всегда в своем репертуаре.
Скажите, а зачем вам 200 и больше потоков? Я бы рекомендовал пересмотреть архитектуру.
Я бы настойчиво рекомендовал пересмотреть архитектуру.
Я бы очень настойчиво рекомендовал пересмотреть архитектуру и перестать писать постоянно херню на форум.

Спасибо.

Херня заключается в том, что мне надо больше 200 потоков? :)
Это скорее форум не подходит для таких вопросов, если такое недопонимание.

По моему это ограничение либо в питоне, либо в стандартных либах ОСи.
Может разбивать на процессы по 200 потоков?

Зачем их так много? Что они делают?

Никому 200 потоков не нужно, а Игнату непременно требуется! Чудеса….

Игнат
не совсем в тему, у нас есть сервер 64 ядер cpu, 400Gb озу и 30Тб, там 3к потоков, по (60 тредов на ядро) и всё работает (конечно субд не на питоне писана, но суть не в этом).
У тебя на много сложнее задача чем эта?)
прочитай про асинхронный подход, а лучшее вобще коректней ставить вопрос и писать где тебе эти 200 понадобились

tg : https://t.me/slav0nic

Эти 200 потоков - крутая писькомерка при написании разных гуглопарсеров и т.п.
А насчет 200 потоков, видимо Игнат никогда не сравнивал фактическую скорость работы на 200 потоках и на 80
Я вот в свое время задался таким вопросом - результаты неутешительны, больше 80 потоков просто не имеет смысла ставить, прироста практически нет…

Отредактировано (Июль 8, 2011 09:20:55)

diam123
Эти 200 потоков - крутая писькомерка при написании разных гуглопарсеров и т.п.
А насчет 200 потоков, видимо Игнат никогда не сравнивал фактическую скорость работы на 200 потоках и на 80
Я вот в свое время задался таким вопросом - результаты неутешительны, больше 80 потоков просто не имеет смысла ставить, прироста практически нет…