Python-сообщество

Про парсинг логов на Питоне и не только http://softwaremaniacs.org/blog/2007/10/07/widefinder-in-python/ и далее по ссылкам.

Вот я всё таки постепенно перехожу на питон с пхп
На моей конкретной задаче выигрыш очевиден как по скорости так и по расходуемой памяти

было
- apache 2
- FCGI PHP

а теперь
- nginx
- cherrypy.wsgiserver

по памяти
- был расход 250 - 500 мб и более (зависело от тог сколько народу на сайте - один процесс httpd 15..17 мб)
- теперь более 220 мб не видел (в основном 190 мб, на этой же машине почта вот и плавает объем)
а все запросы динамики обслуживает один процесс python(cherrypy.wsgiserver) - 18..22 мб
нагружал до 110 запросов в секунду проблем не заметил (по логам более 15 запросов не было) так что большой запас еще даже по тестам

даже страшно представить сколько памяти потребовалось бы в случае php 15мб*100 запросов в сек = 1500 мб
а у меня все теже не более 220 мб
и это там еще есть 5 httpd процессов т.е. в идеале можно из указанной цифры вычесть и получится 220 - 15*5 = максимум 145 мб

Народ я хотел тарифный план повышать, а теперь его в пору понижать.

ИТОГ
apache + php - нафиг
nginx + python - УРА

Аллилуйя!

ооооо… а почему должен запускаться на каждого пользователя отдельный httpd?
и кстате, почемуто на офф сайте джанги для нагруженных серверов рекомендуют использовать mod_python (вот уж никогда неразбирался почему).

По поводу джанги:
- как раз с помощью djangocerise-1.2 разобрался как запускать cherrypy.wsgiserver чтобы и pid был и т.д. в общем чтобы процесс был управляем по терминалу.

Почему они рекомендуют mod_python мне не известно, я начал писать на mod_wsgi и понял что 512 мб памяти это очень мало. А вот сменив apache(httpd модом mod_wsgi весил от 18 мб) на nginx (2,5 мб), и при том процессов ему надо меньше, понял что еще и до 256 мб не добираю.

В общем делюсь очень положительными впечатлениями. Каждому свое.

http://www.modpython.org/live/mod_python-3.3.1/doc-html/pyapi-interps.html

Once created, a subinterpreter will be reused for subsequent requests. It is never destroyed and exists until the Apache process dies.

Именно поэтому mod_python выжирает больше памяти, чем mod_wsgi. И именно поэтому mod_python после этапа, когда субинтерпретатор уже стартовал, отвечает на запрос быстрее. Для загруженных сайтов mod_python - вполне актуально, но если позволяет железяка (типичная ситуация - через определнный промежуток времени сервер падает, когда объем оперативной памяти исчерпан).