Уведомления

Группа в Telegram: @pythonsu

#1 Янв. 29, 2012 12:01:57

o7412369815963
От:
Зарегистрирован: 2009-06-17
Сообщения: 1986
Репутация: +  32  -
Профиль   Отправить e-mail  

Работа с большими файлами XLS

я бы залил все данные в mongoDB и сделал бы к ней веб-интерфейс для просмотра/поиска или прикрутил готовый.

вообще 200к строк нет смысла открывать в excel, т.к. человеку их не все не просмотреть, для принятия решений данные должны помещаться на 1-2 страницы, например топ самых свежих, или какая-нибудь статистика. поэтому данные можно хранить и в csv, а лучше в БД. + скрипт для генерации отчета. или если хранить в к csv, то его можно открыть в excel.

Офлайн

#2 Янв. 29, 2012 12:04:01

o7412369815963
От:
Зарегистрирован: 2009-06-17
Сообщения: 1986
Репутация: +  32  -
Профиль   Отправить e-mail  

Работа с большими файлами XLS

s0rg
что бы имеете в виду под ‘содрана’?
я с трудом представляю себе сайт у которого в качестве бд используеться xls.
Он имеет ввиду, что у него нет возможности записывать в базу.

Офлайн

#3 Янв. 29, 2012 12:48:28

s0rg
От:
Зарегистрирован: 2011-06-05
Сообщения: 777
Репутация: +  25  -
Профиль   Отправить e-mail  

Работа с большими файлами XLS

o7412369815963
нет возможности записывать в базу.
Все равно не понимаю )
Для такой задачи подойдет и sqllite вполне.

Офлайн

#4 Янв. 29, 2012 21:43:02

doza_and
От:
Зарегистрирован: 2010-08-15
Сообщения: 4138
Репутация: +  253  -
Профиль   Отправить e-mail  

Работа с большими файлами XLS

Я думаю топикстартеру нужны инструкции как сделать то что он хочет.
Я не знаток по базам но:
1 слить поскорее из xls в csv (делать в utf8)
2 импортировать данные в базу
например для mongo
скачиваем распаковываем mongo
ставим pymongo
запускаем mongod
импортируем данные: mongoimport –host localhost –db db –collection ci –type tsv –file ci.csv –headerline –upsert
см http://python.su/forum/viewtopic.php?id=13666

Т.е. если найденной организации нет в БД, надо в нее дописать, а у тех которые были - просто обновить время (поле такое)
наверное както так:

import datetime
from pymongo import Connection
conn = Connection()
ci=conn.db.ci
ci.ensure_index(u"идентификатор")
org="zzz"
ci.find_and_modify({u"идентификатор":org},{"$set":{"L":datetime.datetime.utcnow(),u"идентификатор":org}},upsert=1)



Отредактировано (Янв. 29, 2012 22:06:40)

Офлайн

Board footer

Модераторировать

Powered by DjangoBB

Lo-Fi Version