Python-сообщество

Обычно для это задачи использовал power automate или scrape instant, потом заносил их эксель , которые все расчитывал. недавно зашел в чат жпт он мне сказал учи питон и брось пауэр аутомете. скачал питон и селениум, спросил у жпт код для скрапинга, он открыл страничку без авторизации в моем гугл акканте, вообщем ничего не получилось. куча припонов ничего не понятно.
Подскажите как опытные програмисты, есть ли смысл идти дальше и пытаться? Сайт ati.su , скрапить надо расстояния и цены.
все спасибо заранее

sergio21124444
Подскажите как опытные програмисты, есть ли смысл идти дальше и пытаться?

Возьми другой сайт, где авторизация не используется. Там попробуй собрать данные с него. Если и с него собрать данные не сможешь, то авторизацию тем более не пройдёшь. Для авторизации нужно уметь просматривать поля HTTP-заголовков в протоколе передачи гипертекста, потому что вся авторизация на подобных сайтах делается через передачу специальных значений заголовков с секретом в этих значениях.

Отредактировано py.user.next (Ноя. 9, 2023 00:18:55)

py.user.next

я бы рад найти другой сайт, но это монополист в России.
на других площадках можно скрапить максимум 200 строчек, и это дает очень неполную картину.

sergio21124444
я бы рад найти другой сайт, но это монополист в России.

Я тебе говорю про вообще любой другой сайт. То есть возьми задачу попроще и на ней проверь, ты вообще легкотню какую-нибудь можешь скачать и распарсить. Selenium для этого не нужен.

sergio21124444
есть ли смысл идти дальше и пытаться? Сайт …

Сайт как сайт. Но сможешь ли ты это сделать, вот в чём вопрос. Опыт-то у тебя нулевой.

Попроси ГПТ чат обучить тебя писать вопросы на человеческом языке
А то мы тут далеко не все “ Я в своем познании настолько преисполнился, что я как будто бы уже
сто триллионов миллиардов лет проживаю на триллионах и
триллионах таких же планет, как эта Земля…”
Ибо если убрать неправильную терминологию то пост выглядит так

Я что-то делал
ИИ сказал делать иначе и что-то открыл
Я что-то сделал
Ничего не работает
Есть ли смысл?


Пока что держи такой ответ: 42

py.user.next

а понял. надо поупражнятся на задаче полегче. я просто думал, что сайт такой, что это невозможно, год будешь код учить и в этоге ничего не получиться… теперь мне проще, тогда буду двигаться дальше в этом направлении. Просто тема скрапинга как то слабо развита, репетитора и курсов не найдешь. Кругом учат вэб девелопингу, а деньги на работе платят за скрапинг и обработку данных. скоро даже грузчики и дворники будут скрапить

ZerG
Попроси ГПТ чат обучить тебя писать вопросы на человеческом языке

а функцию print знаю)

я раньше, да и сейчас использую классное расширение, называется PageProbe , храни господь того парня кто это сделал, вот если скрестить эксель и pageprobe то было бы супер

sergio21124444
Просто тема скрапинга как то слабо развита, репетитора и курсов не найдешь. Кругом учат вэб девелопингу, а деньги на работе платят за скрапинг и обработку данных. скоро даже грузчики и дворники будут скрапить

Ну есть такое направление в деятельности. Но для этого нужно знать что? Основы по Web: протокол HTTP, язык HTML, язык JavaScript, язык XPath, язык RegExp, язык JSON, язык XML. Это всё обычно разработка для Web охватывает. Так что можешь брать уроки по разработке для Web и выбирать только эти компоненты оттуда. Это что касается скачивания данных с сайта.

А вот обработка скачанных данных включает в себя гораздо больше всего другого. Так что потренируйся сначала на всём простом, чтобы понять просто свои возможности. Вдруг ты и простое не сможешь сделать (ни скачать, ни обработать скачанное).

Для того что бы спарсить данные сайта одного знания питона мало
Питон всего лишь инструмент - например набор ключей
Ими ты можешь открутить колесо в машине или починить кран на кухне
Но если ты хочешь поменять поршни в машине тебе нужно знать строение двигателя
Так же и в твоей ситуации. Как и ответили выше - тебе нужно осилить не только питон или другой язык программирования но и строение того с чем ты собираешься работать

В любом случае сразу хвататься за селениум плохой выбор. Это мощный инструмент но более подходящий когда нужно более плотное взаимодействие с вебом.
Для начала посмотри в сторону BeautifuSoup в большинстве случаев этого достаточно
Но эта библиотека не в коем случае не отменяет необходимость хотябы поверхностного понимания

Основы по Web: протокол HTTP, язык HTML, язык JavaScript, язык XPath, язык RegExp, язык JSON, язык XML