Найти - Пользователи
Полная версия: Парсер
Начало » Python для новичков » Парсер
1
GodBoy611
import requests
from bs4 import BeautifulSoup
#План:
#1. Выяснить количество стрн
#2. сфр список уолов на стр выдачи
#3 собрать данныфе


def get_html(url):
r = requests.get(url)
return r.text



def get_total_pages(html):
soup = BeautifulSoup(html, ‘lxml’)

pages = soup.find('div', class_='pager rel clr').find_all('a', class_='block br3 brc8 large tdnone lheight24').get('href')
total_pages = pages.split('=').split(“&”)

return int(total_pages)



def main():
url = 'https://www.olx.ua/uk/kiev/'
base_url = 'https://www.olx.ua/uk/kiev/'
page_part = ‘page=’
query_part = ‘'

total_pages = get_total_pages(get_html(url))

for i in range(1, total_pages):
url_gen = base_url + page_part + str(i) + query_part
print(url_gen)


if __name__ == ’__main__':
main()


Ошибка:
File “/home/khalil/Документы/avito.py”, line 27
base_url = 'https://www.olx.ua/uk/kiev/'
^
IndentationError: unindent does not match any outer indentation level
>>>
scidam
Гораздо проще все читать, если оформить в тэг code python.

У вас неверный отступ, должно быть как-то так:

  def main():
    url = 'https://www.olx.ua/uk/kiev/'
    base_url = 'https://www.olx.ua/uk/kiev/'
    page_part = page=
    query_part = ' # etc.... 
This is a "lo-fi" version of our main content. To view the full version with more information, formatting and images, please click here.
Powered by DjangoBB