DjangoBB LoFi version

Полная версия: Работа с большими файлами XLS

Начало » Python для новичков » Работа с большими файлами XLS

1 2

o7412369815963

Янв. 29, 2012 12:01:57

я бы залил все данные в mongoDB и сделал бы к ней веб-интерфейс для просмотра/поиска или прикрутил готовый.

вообще 200к строк нет смысла открывать в excel, т.к. человеку их не все не просмотреть, для принятия решений данные должны помещаться на 1-2 страницы, например топ самых свежих, или какая-нибудь статистика. поэтому данные можно хранить и в csv, а лучше в БД. + скрипт для генерации отчета. или если хранить в к csv, то его можно открыть в excel.

o7412369815963

Янв. 29, 2012 12:04:01

s0rg
что бы имеете в виду под ‘содрана’?
я с трудом представляю себе сайт у которого в качестве бд используеться xls.

Он имеет ввиду, что у него нет возможности записывать в базу.

s0rg

Янв. 29, 2012 12:48:28

o7412369815963
нет возможности записывать в базу.

Все равно не понимаю )
Для такой задачи подойдет и sqllite вполне.

doza_and

Янв. 29, 2012 21:43:02

Я думаю топикстартеру нужны инструкции как сделать то что он хочет.
Я не знаток по базам но:
1 слить поскорее из xls в csv (делать в utf8)
2 импортировать данные в базу
например для mongo
скачиваем распаковываем mongo
ставим pymongo
запускаем mongod
импортируем данные: mongoimport –host localhost –db db –collection ci –type tsv –file ci.csv –headerline –upsert
см http://python.su/forum/viewtopic.php?id=13666

Т.е. если найденной организации нет в БД, надо в нее дописать, а у тех которые были - просто обновить время (поле такое)
наверное както так:

import datetime
from pymongo import Connection
conn = Connection()
ci=conn.db.ci
ci.ensure_index(u"идентификатор")
org="zzz"
ci.find_and_modify({u"идентификатор":org},{"$set":{"L":datetime.datetime.utcnow(),u"идентификатор":org}},upsert=1)