Найти - Пользователи
Полная версия: Парсер. Делает дубли ссылок.
Начало » Центр помощи » Парсер. Делает дубли ссылок.
1
m0rfey
Ноя. 9, 2015 23:59:15
Пытаюсь наваять парсер в целях обучения. В общем заходит на страницу ищет внутренние ссылки сайта находит, и когда доходит до последней начинает делать дубли. По разным многим попыткам посчитать линки выходит 377. Доходит до 376 и начинается трахомудия. Просветите, что не так делаю?

import urllib.request
from bs4 import BeautifulSoup
import re
BASE_URL = 'http://**********.ru/infoworker/'
def get_html(url):
    response = urllib.request.urlopen(url)
    return response.read()
def parse(html):
    soup = BeautifulSoup(html, "lxml")
    section = soup.find('div', class_='section')
    #Определям тег 'а' на сайте с атрыбутом href=/infoworker/
    for link in soup.find_all('a', attrs={'href': re.compile("^/infoworker/")}):
        #Делаем отбор
        og = link.get('href')
        print(og)
        print(len(og))
def blo(html):
    soup = BeautifulSoup(html, "lxml")
    art = soup.find('article', class_='post')
    title = art.find('h1')
    desc = art.find('p')
    print(title)
    print(desc)
def main():
    parse(get_html(BASE_URL))
if __name__ == '__main__':
    main()


Результат:

/infoworker/0067.php
1
/infoworker/0010.php
2
/infoworker/0100.php
3
/infoworker/0281.php
4
/infoworker/0101.php
5
/infoworker/0102.php
6
/infoworker/0103.php
7
/infoworker/0104.php
8
/infoworker/0105.php
9
/infoworker/0042.php
10
/infoworker/0043.php
11
/infoworker/art-director.php
12
/infoworker/003.php
13
/infoworker/004.php
14
/infoworker/005.php
15
/infoworker/006.php
16
/infoworker/007.php
17
/infoworker/008.php
18
/infoworker/0015.php
19
/infoworker/0047.php
20
/infoworker/0068.php
21
/infoworker/0107.php
22
/infoworker/0108.php
23
/infoworker/0109.php
24
/infoworker/0110.php
25
/infoworker/0111.php
26
/infoworker/0112.php
27
/infoworker/0113.php
28
/infoworker/0114.php
29
/infoworker/0115.php
30
/infoworker/0116.php
31
/infoworker/0117.php
32
/infoworker/0118.php
33
/infoworker/0119.php
34
/infoworker/0285.php
35
/infoworker/0120.php
36
/infoworker/0121.php
37
/infoworker/0122.php
38
/infoworker/0123.php
39
/infoworker/010.php
40
/infoworker/0094.php
41
/infoworker/0095.php
42
/infoworker/0096.php
43
/infoworker/0093.php
44
/infoworker/0124.php
45
/infoworker/0125.php
46
/infoworker/0126.php
47
/infoworker/0127.php
48
/infoworker/0128.php
49
/infoworker/0129.php
50
/infoworker/0130.php
51
/infoworker/0131.php
52
/infoworker/0132.php
53
/infoworker/0133.php
54
/infoworker/0134.php
55
/infoworker/0135.php
56
/infoworker/0136.php
57
/infoworker/011.php
58
/infoworker/012.php
59
/infoworker/0048.php
60
/infoworker/0137.php
61
/infoworker/0282.php
62
/infoworker/0283.php
63
/infoworker/0138.php
64
/infoworker/0139.php
65
/infoworker/0284.php
66
/infoworker/0286.php
67
/infoworker/0140.php
68
/infoworker/0141.php
69
/infoworker/0142.php
70
/infoworker/0143.php
71
/infoworker/0144.php
72
/infoworker/0145.php
73
/infoworker/013.php
74
/infoworker/014.php
75
/infoworker/015.php
76
/infoworker/016.php
77
/infoworker/0024.php
78
/infoworker/0146.php
79
/infoworker/0147.php
80
/infoworker/0288.php
81
/infoworker/0287.php
82
/infoworker/0289.php
83
/infoworker/0290.php
84
/infoworker/0148.php
85
/infoworker/0149.php
86
/infoworker/0150.php
87
/infoworker/018.php
88
/infoworker/0098.php
89
/infoworker/0151.php
90
/infoworker/0152.php
91
/infoworker/0153.php
92
/infoworker/0154.php
93
/infoworker/0155.php
94
/infoworker/0156.php
95
/infoworker/0157.php
96
/infoworker/0158.php
97
/infoworker/0159.php
98
/infoworker/0160.php
99
/infoworker/0161.php
100
/infoworker/0162.php
101
/infoworker/0163.php
102
/infoworker/0164.php
103
/infoworker/019.php
104
/infoworker/0009.php
105
/infoworker/0014.php
106
/infoworker/0017.php
107
/infoworker/0026.php
108
/infoworker/0046.php
109
/infoworker/0291.php
110
/infoworker/0292.php
111
/infoworker/0293.php
112
/infoworker/0294.php
113
/infoworker/0295.php
114
/infoworker/0296.php
115
/infoworker/0297.php
116
/infoworker/0298.php
117
/infoworker/0299.php
118
/infoworker/0300.php
119
/infoworker/0301.php
120
/infoworker/0302.php
121
/infoworker/0303.php
122
/infoworker/0165.php
123
/infoworker/0304.php
124
/infoworker/0166.php
125
/infoworker/0167.php
126
/infoworker/0168.php
127
/infoworker/0169.php
128
/infoworker/0170.php
129
/infoworker/0171.php
130
/infoworker/0172.php
131
/infoworker/0173.php
132
/infoworker/0174.php
133
/infoworker/0175.php
134
/infoworker/0176.php
135
/infoworker/0177.php
136
/infoworker/0178.php
137
/infoworker/0179.php
138
/infoworker/0180.php
139
/infoworker/0181.php
140
/infoworker/021.php
141
/infoworker/0027.php
142
/infoworker/0028.php
143
/infoworker/0029.php
144
/infoworker/0031.php
145
/infoworker/0036.php
146
/infoworker/0037.php
147
/infoworker/0057.php
148
/infoworker/0182.php
149
/infoworker/0183.php
150
/infoworker/0184.php
151
/infoworker/0185.php
152
/infoworker/0186.php
153
/infoworker/0187.php
154
/infoworker/0188.php
155
/infoworker/0189.php
156
/infoworker/0190.php
157
/infoworker/0191.php
158
/infoworker/0192.php
159
/infoworker/0193.php
160
/infoworker/022.php
161
/infoworker/0004.php
162
/infoworker/0005.php
163
/infoworker/0006.php
164
/infoworker/0063.php
165
/infoworker/0064.php
166
/infoworker/0194.php
167
/infoworker/0195.php
168
/infoworker/0196.php
169
/infoworker/023.php
170
/infoworker/0023.php
171
/infoworker/0197.php
172
/infoworker/0198.php
173
/infoworker/024.php
174
/infoworker/0199.php
175
/infoworker/0200.php
176
/infoworker/0058.php
177
/infoworker/0059.php
178
/infoworker/0060.php
179
/infoworker/0061.php
180
/infoworker/0062.php
181
/infoworker/0201.php
182
/infoworker/0305.php
183
/infoworker/0306.php
184
/infoworker/0202.php
185
/infoworker/0056.php
186
/infoworker/0066.php
187
/infoworker/0203.php
188
/infoworker/0204.php
189
/infoworker/0050.php
190
/infoworker/0053.php
191
/infoworker/0052.php
192
/infoworker/0051.php
193
/infoworker/0054.php
194
/infoworker/0055.php
195
/infoworker/0205.php
196
/infoworker/0025.php
197
/infoworker/0021.php
198
/infoworker/025.php
199
/infoworker/026.php
200
/infoworker/027.php
201
/infoworker/028.php
202
/infoworker/0030.php
203
/infoworker/0206.php
204
/infoworker/029.php
205
/infoworker/030.php
206
/infoworker/031.php
207
/infoworker/032.php
208
/infoworker/033.php
209
/infoworker/034.php
210
/infoworker/0207.php
211
/infoworker/0208.php
212
/infoworker/035.php
213
/infoworker/0209.php
214
/infoworker/036.php
215
/infoworker/037.php
216
/infoworker/038.php
217
/infoworker/0210.php
218
/infoworker/039.php
219
/infoworker/0211.php
220
/infoworker/040.php
221
/infoworker/041.php
222
/infoworker/042.php
223
/infoworker/043.php
224
/infoworker/044.php
225
/infoworker/0008.php
226
/infoworker/0032.php
227
/infoworker/0212.php
228
/infoworker/0033.php
229
/infoworker/0034.php
230
/infoworker/0035.php
231
/infoworker/0307.php
232
/infoworker/0308.php
233
/infoworker/045.php
234
/infoworker/0309.php
235
/infoworker/0020.php
236
/infoworker/0213.php
237
/infoworker/0310.php
238
/infoworker/0214.php
239
/infoworker/0215.php
240
/infoworker/0216.php
241
/infoworker/0217.php
242
/infoworker/0218.php
243
/infoworker/0219.php
244
/infoworker/0220.php
245
/infoworker/0221.php
246
/infoworker/0222.php
247
/infoworker/0223.php
248
/infoworker/0224.php
249
/infoworker/0311.php
250
/infoworker/0312.php
251
/infoworker/0313.php
252
/infoworker/0314.php
253
/infoworker/0225.php
254
/infoworker/0315.php
255
/infoworker/0316.php
256
/infoworker/0317.php
257
/infoworker/0318.php
258
/infoworker/0226.php
259
/infoworker/0319.php
260
/infoworker/0320.php
261
/infoworker/0321.php
262
/infoworker/0322.php
263
/infoworker/0227.php
264
/infoworker/0323.php
265
/infoworker/0326.php
266
/infoworker/0228.php
267
/infoworker/0229.php
268
/infoworker/0230.php
269
/infoworker/0325.php
270
/infoworker/0327.php
271
/infoworker/0328.php
272
/infoworker/0329.php
273
/infoworker/0231.php
274
/infoworker/0232.php
275
/infoworker/0011.php
276
/infoworker/0018.php
277
/infoworker/0022.php
278
/infoworker/0069.php
279
/infoworker/0038.php
280
/infoworker/0039.php
281
/infoworker/0041.php
282
/infoworker/0233.php
283
/infoworker/0234.php
284
/infoworker/0235.php
285
/infoworker/0236.php
286
/infoworker/0237.php
287
/infoworker/0238.php
288
/infoworker/0239.php
289
/infoworker/046.php
290
/infoworker/047.php
291
/infoworker/0001.php
292
/infoworker/0003.php
293
/infoworker/0007.php
294
/infoworker/0016.php
295
/infoworker/0019.php
296
/infoworker/0070.php
297
/infoworker/0071.php
298
/infoworker/0073.php
299
/infoworker/0074.php
300
/infoworker/0075.php
301
/infoworker/0040.php
302
/infoworker/0045.php
303
/infoworker/0240.php
304
/infoworker/0241.php
305
/infoworker/0242.php
306
/infoworker/0243.php
307
/infoworker/0244.php
308
/infoworker/0245.php
309
/infoworker/0246.php
310
/infoworker/0247.php
311
/infoworker/0248.php
312
/infoworker/0249.php
313
/infoworker/049.php
314
/infoworker/050.php
315
/infoworker/0076.php
316
/infoworker/0250.php
317
/infoworker/0080.php
318
/infoworker/0081.php
319
/infoworker/0082.php
320
/infoworker/0083.php
321
/infoworker/0330.php
322
/infoworker/0331.php
323
/infoworker/0332.php
324
/infoworker/0084.php
325
/infoworker/0085.php
326
/infoworker/0086.php
327
/infoworker/0100.php
327
/infoworker/0077.php
328
/infoworker/0078.php
329
/infoworker/0251.php
330
/infoworker/0252.php
331
/infoworker/0253.php
332
/infoworker/0254.php
333
/infoworker/0255.php
334
/infoworker/0256.php
335
/infoworker/0257.php
336
/infoworker/053.php
337
/infoworker/0087.php
338
/infoworker/0088.php
339
/infoworker/0089.php
340
/infoworker/0090.php
341
/infoworker/0091.php
342
/infoworker/0092.php
343
/infoworker/0258.php
344
/infoworker/0259.php
345
/infoworker/0333.php
346
/infoworker/0260.php
347
/infoworker/0261.php
348
/infoworker/0262.php
349
/infoworker/0263.php
350
/infoworker/0264.php
351
/infoworker/0265.php
352
/infoworker/0266.php
353
/infoworker/0267.php
354
/infoworker/0268.php
355
/infoworker/0013.php
356
/infoworker/0065.php
357
/infoworker/0269.php
358
/infoworker/0270.php
359
/infoworker/0044.php
360
/infoworker/0271.php
361
/infoworker/0272.php
362
/infoworker/0079.php
363
/infoworker/0273.php
364
/infoworker/0274.php
365
/infoworker/0002.php
366
/infoworker/0012.php
367
/infoworker/0049.php
368
/infoworker/0275.php
369
/infoworker/0276.php
370
/infoworker/0277.php
371
/infoworker/0334.php
372
/infoworker/0335.php
373
/infoworker/0278.php
374
/infoworker/0279.php
375
/infoworker/0280.php
376
/infoworker/0102.php
376
/infoworker/0104.php
376
/infoworker/003.php
376
/infoworker/005.php
376
/infoworker/0115.php
376
/infoworker/011.php
376
/infoworker/006.php
376
/infoworker/007.php
376
/infoworker/0047.php
376
/infoworker/0107.php
376
/infoworker/0110.php
376
/infoworker/0111.php
376
/infoworker/0112.php
376
/infoworker/0113.php
376
/infoworker/0116.php
376
/infoworker/0068.php
376
/infoworker/0121.php
376
/infoworker/0121.php
376
/infoworker/0123.php
376
/infoworker/011.php
376
/infoworker/0138.php
376
/infoworker/0142.php
376
/infoworker/0134.php
376
/infoworker/014.php
376
/infoworker/015.php
376
/infoworker/0148.php
376
/infoworker/001.php
377
/infoworker/0095.php
377
/infoworker/0114.php
377
/infoworker/0137.php
377
/infoworker/010.php
377
/infoworker/0100.php
377
/infoworker/0108.php
377
/infoworker/0101.php
377
/infoworker/044.php
377
/infoworker/0067.php
377
/infoworker/0144.php
377
/infoworker/0141.php
377
/infoworker/0103.php
377
/infoworker/0131.php
377
/infoworker/0105.php
377
/infoworker/0127.php
377
/infoworker/0128.php
377
/infoworker/0129.php
377
/infoworker/0150.php
377
py.user.next
Ноя. 10, 2015 04:13:27
У тебя там одни и те же ссылки повторно скачиваются. (Нужно множество просмотренных ввести).
m0rfey
Ноя. 10, 2015 13:25:07
py.user.next
У тебя там одни и те же ссылки повторно скачиваются. (Нужно множество просмотренных ввести).
буду благодарен если намекнете. гуглил, пробовал по разному решить не получается пол дня в замешательстве. я конечно могу сам искать решение но оно затянется на неделю.
py.user.next
Ноя. 10, 2015 15:01:54
m0rfey
Результат:
/infoworker/0067.php
1
/infoworker/0010.php
2
Это не соответствет приведённому коду. Он не может выводить единицу для ссылки /infoworker/0067.php, так как замеряет её длину.

Вот тебе пример
>>> import bs4
>>> import re
>>> 
>>> s = """
... <a class="c1" href="x">text1</a>
... <a class="c2" href="yy">text2</a>
... <b class="c3">text2</b>
... <a class="c1" href="zzz">text3</a>
... """
>>> 
>>> doc = bs4.BeautifulSoup(s)
>>> 
>>> lst = doc.find_all(attrs={'class': re.compile(r'^c1')})
>>> lst
[<a class="c1" href="x">text1</a>, <a class="c1" href="zzz">text3</a>]
>>> 
>>> for i in lst:
...     v = i.get('href')
...     print(i, v, len(v))
... 
<a class="c1" href="x">text1</a> x 1
<a class="c1" href="zzz">text3</a> zzz 3
>>>
можешь в нём поменять html и потренироваться находить.

bs4. documentation
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB