Python-сообщество

К примеру есть такой словарь:

{'City1': {'www.site1.com':{'Name1':'Address1'},         
                           {'Name2':'Address2'}
          },
          {'www.site2.com':{'Name11':'Address11'},
                           {'Name3':'Address3'}
          },
          {'www.site3.com':{'Name22':'Address22'},
                           {'Name4':'Address4'}
          },
{'City2': { .......},
}

Отредактировано TitanFighter (Ноя. 17, 2015 21:54:14)

словарь это не упорядоченная структура. Так как site1 и site2 здесь для примера,а реальные данные будут другими, то такая схема не сработает.
Другое дело OrderedDict из модуля collections, он упорядочен. А раз упорядочен то при условии что значения в него были добавлены в корректном порядке, значит и итерация по ключам такого словаря будет предсказуемая.
Так к примеру если Name3 был добавлен третьим для site1, то он будет в списке ключей словаря с индексом 2. всегда т.е. {..}.keys() == ‘Name3’ и точно также для других site2 3 и тп

TitanFighter
К примеру есть такой словарь:

TitanFighter
Получить из site1: Name1 и Address1
Получить из site2: Name11 и Address11
score = compare('Name1 | Address1', ‘Name11 | Address11’)
if score > 70: # do something

повторяем цикл, только уже с site2: Name3 и Address3
потом переходим в site3 и тд. ходим по кругу для каждого site1\Name*

Отредактировано py.user.next (Ноя. 18, 2015 03:10:15)

py.user.next
Это даже не словарь.

py.user.next
Вообще, похоже на неправильно спроектированный алгоритм. Сначала что-то наворотил, а потом пытаешься это разобрать.

Отредактировано TitanFighter (Ноя. 18, 2015 03:52:27)

В первом приближении я бы делал как-то так:

[
{"url":url, "text":"", "title":"",....},
.....
{"url":url, "text":"", "title":"",....},
]

TitanFighter
Хм. Чем не словарь?

{'City1': {'www.site1.com':{'Name1':'Address1'},         
                           {'Name2':'Address2'}
          },}

TitanFighter
Но стоит ли придираться?

TitanFighter
Есть несколько сайтов, с которых парсится информация. К-во сайтов меняется в разное время от 2х до 5.

TitanFighter
Со всех сайтов парсится один и тот же вид информации:
Город - Заведение - Адрес - Ссылка_на_заведение.

Отредактировано py.user.next (Ноя. 19, 2015 01:33:27)

py.user.next
Вот это запусти в интерпретаторе
{'City1': {'www.site1.com':{'Name1':'Address1'},
{'Name2':'Address2'}
},}

py.user.next
Нужно сделать функцию для каждого вида сайта. Один вид - одна функция.

py.user.next
Нужно сделать сущность “заведение”, в которой будет хранится полученная информация.

py.user.next
Закачиваешь все заведения, а потом фильтруешь дубликаты. Там может быть миллион заведений, в котором первое и последнее явлются дубликатами. Поэтому в памяти всё хранить - неправильно, а на ходу отбрасывать дубликаты - тоже требует ненужное хранилище для просмотренных.

Отредактировано TitanFighter (Ноя. 19, 2015 12:51:51)

TitanFighter
Вот только про “вид” не уловил. Имеется ввиду тематика сайтов? Кинотеатры, рестораны, клубы и тд?

TitanFighter
Резюмирую: нужно всю информацию со всех сайтов залить в БД и там уже ее проверить на дубли и не нужно заморачиваться с временными\промежуточными хранилищами в виде словарей\списков. Правильно?

TitanFighter
Предполагал проверку делать до добавления в БД, а о том, что стоит ее делать после добавления даже и не думал.

Отредактировано py.user.next (Ноя. 19, 2015 14:03:44)