Уведомления

Группа в Telegram: @pythonsu

#1 Дек. 25, 2015 07:00:18

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

Всем привет. Столкнулся с такой проблемой.
Есть файлик размером 150 Мбайт и оттуда необходимо вытащить нужные данные (парсинг).
Скрипт писал на питоне 2.7 в Linux Mint время ожидания около 6 секунд.
Но когда этот скрипт перекинул на Windows (поменял в скрипте только путь к файлу с размером 150 Мбайт), прога стоит целую вечность (совсем не 6 секунд а горозда больше) .
Парсю я файлик методом грубой силы (то есть от начало до конца файла с помощью рег выражении).
Подскажите пожалуиста в чем проблема один и тот же скрипт на разных ОС работает по - разному. Почему на Windows работает гороздо медленно. Хотя, характеристики компов одиноковые (процессор оператива и тд).
Заранее спасибо.

Офлайн

#2 Дек. 25, 2015 08:04:51

doza_and
От:
Зарегистрирован: 2010-08-15
Сообщения: 4138
Репутация: +  252  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

python1991
стоит целую вечность
Так вечность закончилась или нет? Результат получили?
Скорее всего проблема в чтении файла.
Дальнейший разговор не имеет смысла. Приведите код.



Офлайн

#3 Дек. 25, 2015 08:14:08

JOHN_16
От: Россия, Петропавловск-Камчатск
Зарегистрирован: 2010-03-22
Сообщения: 3292
Репутация: +  221  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

поддерживаю, нужен код. Вопрос интересен, если конечно не выяснится какой нибудь ляп



_________________________________________________________________________________
полезный блог о python john16blog.blogspot.com

Офлайн

#4 Дек. 25, 2015 11:48:47

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

Спасибо за отклик вот скрипт

Прикреплённый файлы:
attachment python.py (2,0 KБ)

Офлайн

#5 Дек. 25, 2015 11:51:04

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

doza_and, я смотрел на скрипт около 5 минут. Ничего не вышло. 5 минут это очень долго)))

Офлайн

#6 Дек. 25, 2015 11:56:30

FishHook
От:
Зарегистрирован: 2011-01-08
Сообщения: 8312
Репутация: +  568  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

f = open("/home/example.txt","r")

у вас в винде есть такой путь, /home/example.txt ?



Офлайн

#7 Дек. 25, 2015 11:58:34

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт


Нет я его поменял на C:\\example.txt

Офлайн

#8 Дек. 25, 2015 12:00:12

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

Нет я его поменял на C:\\example.txt
Все равно также

Офлайн

#9 Дек. 25, 2015 12:01:00

FishHook
От:
Зарегистрирован: 2011-01-08
Сообщения: 8312
Репутация: +  568  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

Хотя бы так

f = open(r"/home/example.txt","r")

/e - это всё-таки управляющий символ



Офлайн

#10 Дек. 25, 2015 12:03:48

python1991
Зарегистрирован: 2015-12-25
Сообщения: 11
Репутация: +  0  -
Профиль   Отправить e-mail  

Обработка файла размером 150 Мбайт

FishHook
Только что поменял на f = open(“C:\\imi.txt”,“r”)
Все также

Отредактировано python1991 (Дек. 25, 2015 12:12:22)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version