Latest posts on Можно ли с помощью пакета Numpy асинхронно читать файлы? topichttp://python.su/forum/topic/39530/2021-05-20T08:46:59+03:00Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2021-05-20T08:46:59+03:00AD0DE412216690может быть затолкать файлы в ram? <a href="https://www.youtube.com/watch?v=ZFyM0JgLqjg">https://www.youtube.com/watch?v=ZFyM0JgLqjg</a> <br/>ну или memcached (ну тут понятно ограничения по объему и … хотя … не все равно спорно)
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-17T13:46:00+03:00AlekseyPy212579<blockquote><em>PEHDOM</em><br/>может для ССД действительно другая ситуация</blockquote>Действительно, я использовал ССД. <br/>Хотя при работе с асинхроностью всегда надо следить, чтобы накладные расходы на использование цикла коррутин были ниже потенциальной выгоды. Например, в представленном примере файлы читаются целиком (потому что у метода read( ) не указан размер считываемого блока) и возможно они очень маленькие. Я читал большие файлы и четко указывал, что читать блоком размером 1Мбайт.<br/><a href="https://www.youtube.com/watch?v=z7WIm0iZcOU&t=987s">Есть видео</a> с разбором похожего вопроса, только там асинхронность использовалась для доступа к СУБД: на легких запросах asyncio отставал от конкурентов, а на тяжелых- отрывался вперед.
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-15T09:58:19+03:00PEHDOM212553<blockquote><em>AlekseyPy</em><br/>Так что asyncio рулит (если правильно пользоваться).</blockquote>так я ж не спорю, возможно, конкретно в вашей ситуации прирост и будет, лично я не мерял, за что купил за то и продаю, но вот <strong>doza_and</strong> мерял и говорит примерно тоже самое. это что касаеться ХДД, может для ССД действительно другая ситуация.<br/><blockquote><em>AlekseyPy</em><br/>я не могу переписать весь NumPy.</blockquote>Ну может весь и не надо, если хотите есть вариант:<br/>вот линк на чтение csv <a href="https://pypi.org/project/aiofile/">https://pypi.org/project/aiofile/</a> (искать Async CSV Dict Reader) <br/>там максимально понятный пример, попробйте переделать для нампи. Может чтото и получиться.<br/>ЗЫ за скорость не гарантирую.<br/>
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-14T08:53:19+03:00doza_and212541<blockquote><em>AlekseyPy</em><br/>мне помнится за счет 2-ух коррутин на один процесс получил прирост производительности ~ 30-40%</blockquote>Очень интересно. Пришлите код. Опишите какое у вас железо. Мы специально занимались оптимизацией чтения и записи больших файлов на языке C. Многопоточность чтения существенно СНИЖАЕТ скорость ФАЙЛОВЫХ ОПЕРАЦИЙ, поскольку увеличивает потребность в репозиционировании головок жесткого диска. С SSD дисками ситуация наверное другая. <br/><br/>Но безусловно предоставляемые ОС операции асинхронного чтения имеют смысл при определенных сценариях использования
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-14T08:42:31+03:00AlekseyPy212540<br/><blockquote><em>PEHDOM</em><br/>есть, ровно такие же как и при чтении с помощью любой другой библиотеки. Правда возникает вопрос целесообразности, так как скорость чтения с помощью asyncio на порядок меньше чем без него<br/><a href="https://www.confessionsofadataguy.com/python-async-file-operations-juice-worth-the-squeeze/">https://www.confessionsofadataguy.com/python-async-file-operations-juice-worth-the-squeeze/</a></blockquote><br/>Вы пишите, что такие способы есть, но приведенный вами код полностью заменяет исходный на асинхронный. У меня другая ситуация: я не могу переписать весь NumPy.<br/>В свое время я делал тесты скорости чтения крупных файлов и насколько мне помнится за счет 2-ух коррутин на один процесс получил прирост производительности ~ 30-40% (3-и коррутины не давали преимущества перед 2-умя). Так что asyncio рулит (если правильно пользоваться).<br/>
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-14T07:07:00+03:00peterjohnee1212535Thank you when you have a hard time because if you don't have it, you won't have a chance to understand yourself and experience life <a href="https://cookie-clicker2.com">cookie clicker</a>
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-12T17:06:19+03:00PEHDOM212511<blockquote><em>AlekseyPy</em><br/>Я правильно понимаю, что ее совсем нет в Numpy</blockquote>Да ,Numpy это не про асинхронность, мухи отдельно, асинхронность отдельно.<br/><blockquote><em>AlekseyPy</em><br/>есть какие- то хитрые трюки, позволяющие получить асинхронность при чтении файлов с помощью библиотеки NumPy?</blockquote>есть, ровно такие же как и при чтении с помощью любой другой библиотеки. Правда возникает вопрос целесообразности, так как скорость чтения с помощью asyncio на порядок меньше чем без него <br/><a href="https://www.confessionsofadataguy.com/python-async-file-operations-juice-worth-the-squeeze/">https://www.confessionsofadataguy.com/python-async-file-operations-juice-worth-the-squeeze/</a><br/>
Общий :: Python для экспертов :: Можно ли с помощью пакета Numpy асинхронно читать файлы?
2020-10-12T10:46:37+03:00AlekseyPy212489Не нашел в <a href="https://numpy.org/doc/stable/reference/routines.io.html">их документации по чтению файлов</a> каких- либо отсылок к асинхронности. Я правильно понимаю, что ее совсем нет в Numpy или есть какие- то хитрые трюки, позволяющие получить асинхронность при чтении файлов с помощью библиотеки NumPy?<br/><br/>Заранее благодарю за помощь.