Форум сайта python.su
Пишу сервер на питоне 2.6 с использованием epoll
Наваял следующую конструкцию.
import select
import Queue
import socket
from threading import Thread
connections = {}
qq = Queue.Queue()
epoll = select.epoll()
class Connection(object):
def __init__(self, connection):
self.connection = connection
self.fileno = None
self.q = Queue.Queue()
class handlerThread(Thread):
def run(self):
while True:
idata, fileno = qq.get()
if idata:
odata = '\x00' # something
connections[fileno].q.put(odata)
if not connections[fileno].q.empty():
epoll.modify(fileno, select.EPOLLIN | select.EPOLLOUT)
def main():
serversocket = socket.socket(socket.AF_INET, socket.SOCK_STREAM)
serversocket.setsockopt(socket.SOL_SOCKET, socket.SO_REUSEADDR, 1)
serversocket.bind(('0.0.0.0', 31337))
serversocket.listen(5)
serversocket.setblocking(0)
serversocket.setsockopt(socket.IPPROTO_TCP, socket.TCP_NODELAY, 1)
epoll.register(serversocket.fileno(), select.EPOLLIN)
try:
while True:
events = epoll.poll(1)
for fileno, event in events:
if fileno == serversocket.fileno():
connection, address = serversocket.accept()
connection.setblocking(0)
connections[connection.fileno()] = Connection(connection)
connections[connection.fileno()].fileno = connection.fileno()
odata = '\x00' # something
connections[connection.fileno()].q.put(odata)
epoll.register(connection.fileno(), select.EPOLLIN | select.EPOLLOUT)
elif event & select.EPOLLIN:
idata = connections[fileno].connection.recv(8192)
if not idata:
epoll.modify(fileno, 0)
try:
connections[fileno].connection.shutdown(socket.SHUT_RDWR)
except:
pass
else:
qq.put((idata, fileno))
elif event & select.EPOLLOUT:
if not connections[fileno].q.empty():
qsize = connections[fileno].q.qsize()
while (qsize):
odata = connections[fileno].q.get()
connections[fileno].connection.send(odata)
qsize -= 1
if connections[fileno].q.empty():
epoll.modify(fileno, select.EPOLLIN)
elif event & select.EPOLLHUP:
epoll.unregister(fileno)
connections[fileno].connection.close()
del connections[fileno]
elif event & select.EPOLLERR:
print "Error connection: ", fileno
finally:
epoll.unregister(serversocket.fileno())
epoll.close()
serversocket.close()
if __name__ == '__main__':
handlerThread().start()
main()
Отредактировано (Фев. 12, 2010 08:47:11)
Офлайн
а зачем поток понадобился?
Офлайн
В поток сбрасываются полученные данные от клиента и там они разбираются и формируется ответ.
По задумке - основной цикл в это время дальше обрабатывает соединения.
Офлайн
Как по мне - вроде бы нормально, код читабельный. Что ещё нужно, кроме обработчиков исключений? Но я в queue глупый.
Офлайн
Интересуют мнения - полезен здесь будет отдельный поток с передачей данных ему через Queue и возврат ответа через реквизит класса соединения (Connection.q) ?
И нужна в таком количестве модификация событий для epoll, а то где не посмотришь примеры - везде смотрят только select.EPOLLIN и сразу отправляют ответ без проверки select.EPOLLOUT ?
Офлайн
А почему не пул потоков?
Почему нет ограничения на кол-во подключаемых клиентов?
Что будет делать 1000-й клиент, если одновременно присоединится 1000 клиентов? Ждать, пока 1 поток обработает 999 клиентов?
Какова вероятность, что клиент отвалится по таймауту?
Я не спец по epoll, у вас есть в коде обработка этой ситуации (таймаут)?
Офлайн
LexanderПотому что - мне сначала надо понять - есть проигрыш или выигрыш этой схемы - тогда и буду расширять.
А почему не пул потоков?
LexanderЭто же просто схема - порезана, чтоб просто запуститься.
Почему нет ограничения на кол-во подключаемых клиентов?
LexanderПо идее - схема даже без потока обработки должна легко выдерживать 1к соединений.
Что будет делать 1000-й клиент, если одновременно присоединится 1000 клиентов? Ждать, пока 1 поток обработает 999 клиентов?
LexanderВот здесь - глухо, из-за неполной реализации epoll в питоне. Но у меня из-за специфичности задачи - клиент обязан периодически посылать keep-alive, так что думаю решать это скорее всего сохранением таймстампа и проверки его отдельным потоком.
Какова вероятность, что клиент отвалится по таймауту?
Я не спец по epoll, у вас есть в коде обработка этой ситуации (таймаут)?
if event & select.EPOLLIN:
idata = connections[fileno].connection.recv(8192)
if not idata:
epoll.modify(fileno, 0)
connections[fileno].connection.shutdown(socket.SHUT_RDWR)
Отредактировано (Фев. 12, 2010 01:08:12)
Офлайн
Глянул, как twisted это делает. Второго потока, конечно, нет. Кривость epoll решается написанием _epoll.pyx
Отредактировано (Фев. 12, 2010 03:54:23)
Офлайн
Danfocus
Мои вопросы - из разряда “наводящие на мысль” для самостоятельной оценки работы, не более того :)
Офлайн