Есть код такого вида,
with open(base_name) as base:
with open(output_file_name,'w') as output_file:
for link in base:
page_src = urllib.urlopen(link).read()
word_1=page_src.find ('Python')
if word_1>0:
output_file.write (x[:-1]+'\n')
print link
Первое что хотелось бы- это чтобы на недоступных сайтах он не умирал, так как если сайт недоступен, то выдает IOError , типа сайт недоступен, и стает сразу
Хотел сделать через try except, но думаю, как он тогда дальше пойдет после него-как быть в таком случае
Второе-хочу еще приделать многопоточность, вроде приделал, но беда-он одно и то же делает в пять потоков :), что понятное дело и нафиг не нужно, думаю что для многопоточности нужно файл с линками разбить на несколько равных кусков, да беда-не знаю как это сделать таким образом, чтобы файл бился по колтчеству потоков на равные части
Вот в общем так вроде бы не очень понятно изьяснился, но я думаю, что идея понятна
П/С/ Просьба ногами не пинать за тупорылые вопросы, понимаю что много хочу, но в сети ковырялся, особо ничего не нашел на эту тему