по задумке почти все работает, но есть одно НО с которым пока не могу справиться
ссылки проверял все живые и рабочие
<li><a href=“VOLVO%20850R%202.3T%200261204134%201037358586%20Auto.rar”> VOLVO 850R 2.3T 0261204134 1037358586 Auto.rar</a></li>
<li><a href=“VOLVO%20XC90%20D5_0281011441_120KW.ZIP”> VOLVO XC90 D5_0281011441_120KW.ZIP</a></li>
вот первую ссылку мой код пропускает, вторую берет
визуально в ссылках только одно отличие - расширение, скрипт берет только с zip игнорируя rar и прочие
голову сломал
дебажить пробовал, не могу понять причину по которой часть href в которой расширения отличные от .zip пропускаются…
гугла мучил
from grab import Grab import os import urllib import logging url = '' dir = [] links = [] logging.basicConfig(level=logging.DEBUG) g = Grab() g.go(url) if not os.path.exists('links.txt'): for j in g.doc.select('//a'): if 'directory' in j.attr('href'): dir.append(j.attr('href')) lout = open('links.txt', 'w') for k in dir: name = k[k.find('directory=')+10:] try: os.mkdir(name) except WindowsError: g.go(url+k) for j in g.doc.select('//a'): tl = j.attr('href') lout.write(tl+'\n') lout.close() else: for line in open('links.txt','r'): if 'filename=' in line: fname = line[line.find('filename=')+9:line.find('&dir')] current_dir = line[line.find('directory=')+10:] print (url+'files/'+current_dir+'/'+fname)