Уведомления

Группа в Telegram: @pythonsu

#1 Июнь 26, 2018 21:25:35

Yulya
Зарегистрирован: 2018-06-26
Сообщения: 1
Репутация: +  0  -
Профиль   Отправить e-mail  

Чтение и сплит всех файлов из директории

Ребята, я в питоне новичок, на завтра задали написать скрип : имеется папка, в ней хранятся файлы с текстами. Нужно написать такой скрипт, чтобы он считывал каждый файл, сплитил на слова и создавал частотный словарь , который содержит информацию о том, сколько раз каждое слово встречалось. Словарь один общий для всех текстов. Помогите, пожалуйста, хотя бы до уровня считывания всех файлов и сплита по словам

Офлайн

#2 Июнь 27, 2018 01:40:21

doza_and
От:
Зарегистрирован: 2010-08-15
Сообщения: 4138
Репутация: +  253  -
Профиль   Отправить e-mail  

Чтение и сплит всех файлов из директории

:)
Задача в общем случае не для новичка. Если в тексте будет “Миклухо-маклай друг индейцев съел двух индейцов. Опять-двадцаьтпять.” то что есть слова? Миклухо-маклай или Миклухо маклай. Индейцев объединить в одно слово или нет? и т п.

А так смотрите модули os.listdir
https://docs.python.org/3/library/os.html
Функции open,close
Строчный метод split
https://docs.python.org/3/library/collections.html#collections.Counter



Офлайн

#3 Июнь 27, 2018 01:40:23

doza_and
От:
Зарегистрирован: 2010-08-15
Сообщения: 4138
Репутация: +  253  -
Профиль   Отправить e-mail  

Чтение и сплит всех файлов из директории

:)
Задача в общем случае не для новичка. Если в тексте будет “Миклухо-маклай друг индейцев съел двух индейцов. Опять-двадцаьтпять.” то что есть слова? Миклухо-маклай или Миклухо маклай. Индейцев объединить в одно слово или нет? и т п.

А так смотрите модули os.listdir
https://docs.python.org/3/library/os.html
Функции open,close
Строчный метод split
https://docs.python.org/3/library/collections.html#collections.Counter



Офлайн

#4 Июнь 27, 2018 04:25:41

py.user.next
От:
Зарегистрирован: 2010-04-29
Сообщения: 10016
Репутация: +  857  -
Профиль   Отправить e-mail  

Чтение и сплит всех файлов из директории

Yulya
имеется папка, в ней хранятся файлы с текстами. Нужно написать такой скрипт, чтобы он считывал каждый файл, сплитил на слова и создавал частотный словарь
1) Надо написать функцию, которая принимает путь к директории и возвращает список файлов в ней.
2) Надо написать функцию, которая принимает путь к файлу и возвращает список слов из него.
3) Надо написать функцию, которая принимает список слов и возвращает частотный словарь для этого списка слов.
4) Надо написать функцию, которая объединяет первые три функции в единый процесс.
Все функции должны быть независимы друг от друга, то есть не знать друг о друге. Обмен данными между функциями должен происходит через максимально простые структуры данных (тексты, числа, встроенные типы).



Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version