Python-сообщество

 # форматировать код Ctrl + Alt + L
# установить символ комментария Ctrl + /
# Alt+Enter, чтобы просмотреть список возможных исправлений
# сохраняйте HTML-файл локально, чтобы протестировать его несколько раз
# иначе сайт может заблокировать
# Прежде чем парсить данные "супом", нужно проверять, доступны ли они
# при отключенном JavaScript. Когда недоступны, открываем браузером
# Выход - использовать Selenium webdriver.
# https://parsemachine.com/articles/urok-1-pishem-parser-kataloga-tovarov-na-python/
# https://vc.ru/newtechaudit/109368-web-parsing-osnovy-na-python
# https://pythonru.com/biblioteki/parsing-na-python-s-beautiful-soup
# https://istories.media/workshops/2021/09/10/parsing-s-pomoshchyu-python-urok-1/
# https://evilinside.ru/parsing-sajtov-na-python-podrobnyj-videokurs-i-programmnyj-kod/#
# Тэг, в общем случае, - это многострочная строка, коллекция строк
# начинающаяся с символа <. Внутри тэга может быть много дополнительной информации
# подключаю необходимые библиотеки
import requests  # что бы Получить HTML-код по URL-адреса
from bs4 import BeautifulSoup, __version__  # парсер HTML
from fake_useragent import UserAgent  # генерация правдоподобных юзер-агентов
import pyperclip # для работы с буфером обмена
import time # для правдоподобных задержек
import re # регулярка
import csv # для работы с csv файлом
# функция чтения HTML-файла (.txt????)
def write_to_fileTXT(HTML_page):
    # запись  в файл.
    try:
        with open("HTML_page.txt", "a") as fopen:  # Open the txt file.
            txt_open = writer(fopen)
            txt_open.writerow(HTML_page)
    except:
        return False
# функция записи списка в текстовый csv-файл (открывается экселем)
def write_to_csv(list_date):
    '''
    запись спарсенных данных в CSV файл.
    В Windows 'b', добавленный к режиму, открывает файл в двоичном
    режиме, поэтому существуют также такие режимы, как
    'rb', 'wb' и 'r + b'.
    Python в Windows проводит различие между текстовыми и двоичными
    файлами; символы конца строки в текстовых файлах автоматически
    слегка изменяются при чтении или записи данных. Это скрытое
    изменение данных файла подходит для текстовых файлов ASCII,
    но оно приведет к повреждению двоичных данных, подобных тем,
    что содержатся в файлах JPEG или EXE. Будьте очень осторожны,
    используя двоичный режим при чтении и записи таких файлов.
    В Unix не повредит добавить 'b' к режиму, чтобы вы могли
    использовать его независимо от платформы для всех двоичных файлов.
    '''
    try:
        # newline = '' что бы не было пустыхустых строк через одну запись
        with open("allvacancy.csv", "a") as fopen:  # Open the csv file.
            csv_writer = csv.writer(fopen, delimiter = ";", lineterminator="\r")
            # delimiter- для разделения полей.По умолчанию это','
            # lineterminator = "\r"-Это разделитель между строками таблицы, по умолчанию он"\r\n"
            csv_writer.writerow(list_date)# запись по одной строке
            # csv_writer.writerows(list_date)
    except:
        return False
# запрашиваем данные с сервера (сайта)
# Внимание! проверки нужно делать на каждом запросе/поиске!!!
# Если сервер ответил <Response [200]>, тогда продолжаем
def response_UserAgent(URLx):
    """
         получаю URL (ссылку на нужный объект сайта)
         НАДО!!!прикидываюсь браузером (человеком за ПК)
         получаю ответ сервера (сайта)
         возвращаю ответ, который надо потом проверить
     """
    # запрашиваем данные по ссылке
    response = requests.get(URLx, headers={'User-Agent': UserAgent().chrome})
    if response.status_code == 200:
        return response
        # else requests.ConnectionError:
    else:
        print("50_def check_response: response(otvet) <> 200. Quit")
        return None
        # quit()
# проверить список на непустоту
def check_list(list):
    if list == []:
        print('72_def check_list: list is [] empty. quit()')
        quit()
    else:
        print('75_def check_list: list is not empty')
# перевожу в суп содержимое переданной страницы
def getsoup(ResponseX):
    """
        возвращаю soup
    """
    # получаем содержимое страницы и переводим в суп
    response_html = ResponseX.content
    # response_text = ResponseX.text
    # есть несколько парсеров: html.parser,lxml
    # soup = BeautifulSoup(response_html, 'html.parser')
    soup = BeautifulSoup(response_html, 'lxml')
    return soup
# выберем режим ввода информации в программу:
# 1-URL из буфера обмена
# 2-HTML-файл с диска
def InputURL():
    Mode = int(input("select Mode. 1-input with clipboard, 2 -input with file:"))
    while True:
        try:
            if Mode == 1:
                inp_clipboard = pyperclip.paste()# вставляем URL из буфера обмена
                # pyperclip.copy(s)
                print('104_return inp_clipboard='+inp_clipboard)
                return inp_clipboard
            elif Mode == 2:
				# with open ('ффф.html','r',encoding='utf-8') as f:
                print('107_open (ффф.html1)')
                return ''
        except Exception:
            print("90_Clipboard is empty(bufer obmena pustoy).")
            return ''
# ============ Начало программы ============
# изменилась структура. 28.11.2022 Сейчас сохранён url 2-й страницы, что бы видеть всю структуру запроса
url = 'https://praca.by/search/vacancies/?page=2&search[cities-radius][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]=1&search[query-text-params][headline]=0&upped_period=1'
# 13.11.2022
# url = 'https://praca.by/search/vacancies/?upped_period=1&search[city][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]=1'
baseURL = 'https://praca.by/search/vacancies/?'
pageURL = 'page='
EndURL = '&search[cities-radius][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]=1&search[query-text-params][headline]=0&upped_period=1'
__version__
# заремировал, что бы работать с файлом с диска, а не сайтом
# Запрос URL из буфера обмена
url1= InputURL()
if url1 == '':
    url1 = InputURL()
    #EndIf
# проверяю, будет ли отработан запрос по этому урлу
R1=response_UserAgent(url1)# ответ на запрос
# Метод get библиотеки requests возвращает объект Response,
# а не какой-то там html
# s_Text=requests.get(url1).text
# print(s_Text)
if R1.status_code == 200:
    print("115_response(otvet)= Ok-> soup")
else:
    print("117_ response(otvet) <> 200. Quit(vihod)")
    quit()
# ResponseText показал, что есть 2432 строки, но раскрывать не стал
# загружаю исходный текст полученной страницы в парсер BeautifulSoup 'lxml'
#  и создаю Первый его объект soup
soup_root=getsoup(R1)
# ===== для тестов открываю заранее сохраненный файл====
# with open ('ффф.html','r',encoding='utf-8') as f:
# with open('ффф.html','r',encoding='utf-8') as fp:
#     soup_root = BeautifulSoup(fp, 'lxml')
# soup это ПОЧТИ тот же response.content
# У soup  совсем другие методы работы с HTML кодом
# можно бродить по вершинам (Чего?), указывая путь из тегов
# soup.Tag1.Tag2.Tag3     (soup.html.head.title)
# можно получить значение из места, на которе указали
# soup.Tag1.Tag2.Tag3.text
# Создал Переменные для названий тэгов и классов, что бы лучше
# понимать работу методов soup, который использует
# НЕ символы/строки, а ТЭГИ и дочерние атрибуты (КЛАССЫ CSS)
NameTagDiv = 'div'
NameTagLi = 'li'
NameTagUl = 'ul'
ClassNamePageIt = 'pagination__item'
ClassNamePageLst = 'pagination__list'
# в HTML (soup)нахожу блок/таблицу/элемент 'div', в котором
# находятся строкИ кода по выбору найденных страниц (кнопки)
# buttons = soup.find('ul', class_ = 'pagination__list')
# print(buttons)
# но можно и по другому: найти ВСЕ строки с тегом 'li' и классом = 'pagination__item'
# objlistPages = soup.find_all('li', class_ = 'pagination__item')
# возврашается Тип ОБЪЕКТ (список???).
# "правильный" синтаксис для понимания soup.find:
objlistPagesSoup = soup_root.find(NameTagUl, attrs={"class": ClassNamePageLst})
# Если ругается AttributeError: 'NoneType' object has no attribute...
# то можно посмотреть командой print(type(objlistPages))
# Проверка, что ответ/список не пустой
check_list(objlistPagesSoup)
# что отобразит команда objlistPagesSoup.text не обёрнутая в print()?
# '\n\n←123456789...→' не очень понятно
# а вот так понятней: print(objlistPagesSoup.text)
# ←123456789...→ так выглядит в браузере список страниц
# Получить последний элемент списка. индекс=-1 [-1],
# т.е. первый сзади.
# Последняя страница (LastPage) в выданном результате
LastPage1 = objlistPagesSoup.find_all('li', class_='pagination__item')[-1]
# проверим список на непустоту
check_list(LastPage1)
# <li class="pagination__item"><a href="?page=45&amp;upped_period=1&amp;search[city][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]=1"><i class="mdi mdi-fast-forward"></i></a></li>
# Теперь надо узнать какая это страница (?page=45) из содержимого
Page = LastPage1.find('a')
Page
# [<a href="?page=45&amp;upped_period=1&amp;search[city][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]=1"><i class="mdi mdi-fast-forward"></i></a>]
# Теперь вычленю цифру ?page=45.
# Тип soup конвертирую в тип строка и ищу по строке = и разделяю по ней
PageStr = str(Page.find).split('=')
PageStr3 = PageStr[2]
PageStr3
# '49&amp;search[cities-radius][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]'
Page4 = PageStr3.split('&')
Page4
# ['49', 'amp;search[cities-radius][%D0%9C%D0%B8%D0%BD%D1%81%D0%BA]']
Page5 = Page4[0]
Page5
# '45'
LastPage = int(Page5)
print('LastPage=',LastPage)
NameTagA = 'a'
ClassNameVac = 'vac-small__title-link'
SleepPages=2 #задержка чтения страниц
SleepKartochek=1 #задержка чтения карточки вакансии
write_to_csv(["Вакансия", "Зарплата", "Наниматель", "Город", "МестоРаботы", "РежимРаботы", "ПолнЧастЗанятость", "ОпытРаботы", "Образование", "ОписаниеРаботы", "МестоРаботы", "URL_вакансии"])
# for i in range(1,LastPage): # боевой код
for i in range(1, 2):  # для отладки. только 1 страница
    time.sleep(SleepPages) #задержка чтения страниц
    # собираю полный URL (запрос) с указанием нужной страницы
    url_gen = baseURL + pageURL + str(i) + EndURL
    # запрос к сайту за страницами с вакансиями
    Resp_v = response_UserAgent(url_gen)  # ответ на запрос
    print('*************************************204 i=',i)
    # проверка ответа
    if Resp_v.status_code == 200:
        print("207_response(otvet)= Ok-> soup")
    else:
        print("209_response(otvet) <> 200. Quit(vihod)")
        quit()
    soup_v = getsoup(Resp_v)
    # soup2 = BeautifulSoup(resp.content, 'lxml')
    # все вакансии(ссылки) выбранной(i) страницы
    vacansii_on_page = soup_v.find_all(NameTagA, attrs={"class": ClassNameVac})
    # vacansii
    check_list(vacansii_on_page)
    # print(vacansii)
        # одна из строк <a class="vac-small__title-link" href="https://praca.by/vacancy/497531/" target="_blank">Повар</a>
        # 1 надо вычленить url, что бы пройти по нему и получить доп информацию
        # 2 отсюда могу взять название вакансии
        # переменные для парсинга карточки вакансии
    NameTagh1 = 'h1'
    ClassNameKart = 'no-margin-top no-margin-bottom'
    NameTagDiv = 'div'
    ClassNameSalary = 'vacancy__salary'
    n = 0
    for k in vacansii_on_page:
        time.sleep(SleepKartochek)  # задержка чтения карточек
        # значение атрибута href, т.е ссылка на карточку вакансии
        url_Kartochki = k.attrs["href"]
        name_vac = k.string
        print('262 ---------------Kartochka-----------')
        print('263_name_vac', name_vac)
        # запрашиваю карточку вакансии с сайта
        # resp = requests.get(url_Kartochki)
        Resp_k = response_UserAgent(url_Kartochki)
        # проверка ответа
        if Resp_k.status_code == 200:
            print("256_response(otvet)= Ok-> soup")
        else:
            print("258_response(otvet) <> 200. Quit(vihod)")
            quit()
        soup_k = getsoup(Resp_k)
        Kartochka = soup_k.find(NameTagh1, attrs={"class": ClassNameKart}).text.strip()
        print(Kartochka)
        # Зарплата +дополнительные условия
        if (soup_k.find(NameTagDiv, attrs={"class": "vacancy__salary"}) != None):
            salary = soup_k.find(NameTagDiv, attrs={"class": "vacancy__salary"}).text.strip()
            # print('275', salary)
        else:
            salary = ''
            print('302********************* Зарплата не указана')
        # Обязанности
        if (soup_k.find(NameTagDiv, attrs={"class": "description wysiwyg-st"}) != None):
            description = soup_k.find(NameTagDiv, attrs={"class": "description wysiwyg-st"}).text.strip()
            description = description.replace("\r", "")
            description = description.replace("\n", "")
            # Заменить перевод строки и лишние пробелы
            # description = Repl(description)
            # print('275', description)
        else:
            description = ''
            print('311********************* Обязанности не указаны')
        # Адрес работы
        if (soup_k.find(NameTagDiv, attrs={"class": "job-address"}) != None):
            job_address = soup_k.find(NameTagDiv, attrs={"class": "job-address"}).text.strip()
            # print('275', job_address)
        else:
            job_address = ''
            print('319********************* Адрес работы не указан')
        firma = soup_k.find('div', attrs={"class": "vacancy__org-name"}).text.strip()
        # print(firma)
        # город <div class="vacancy__city">Минск</div>
        city = soup_k.find('div', attrs={"class": "vacancy__city"}).text.strip()
        # print('288', city)
        all_harakt = soup_k.find_all('div', attrs={"class": "vacancy__item"}) #.text.strip()
        aaa=[]
        for elem in all_harakt:
            aa = [elem.text.strip().split('\t')[-1]]
            aaa.append(aa)
            # print(*aa, sep='\n')#* Распаковывает итерируемый объект в аргументы функции
        region1=aaa[0]# На территории работодателя
        # преобразую элемент списка в строку и применяю к ней strip()
        # иначе получаю в виде ['Минск']
        region=" ".join(map(str,region1)).strip()
        time_work1=aaa[1]# Фиксированный / полный рабочий день
        time_work = " ".join(map(str, time_work1)).strip()
        full_partial_load1=aaa[2]# Полная
        full_partial_load = " ".join(map(str, full_partial_load1)).strip()
        experience1=aaa[3]# Опыт работы от 1 года
        experience = " ".join(map(str, experience1)).strip()
        education1=aaa[4]# Высшее образование
        education = " ".join(map(str, education1)).strip()
        # print(*time_work, sep='\n')
        n = n + 1
        print('309 page=', i, 'nom kartochki=', n, 'SleepKartochek=',SleepKartochek,'SleepPages=',SleepPages)
        print('==========================================================')
        # Описание работы,description
        # Место работы,job_address
        # URL_вакансии
        write_to_csv([Kartochka, salary, firma, city, region, time_work, full_partial_load, experience, education, description, job_address, url_Kartochki])

  
>>> 'бЮЙЮМЯХЪ'.encode('koi8-r').decode('cp1251')
'Вакансия'
>>>

трудовой отпуск 30 календарных дней

Минск

2 мин. от станции метро пл. Победы.

оговаривается при собеседовании.