xeyalxx
В чём моя проблема?
Проблема в том, что вы думаете, будто структура страницы остается точно такой же, какой она была получена от сервера все время жизни страницы. Так было лет пятнадцать-двадцать назад. Сейчас клиентская часть активно использует ДжаваСкрипт, формируя разметку динамически. Это значит на практике, что получив страницу по запросу, вам надо выполнить кучу скриптов прикрепленных к этой странице, чтобы получить итоговую страницу. Вы этого не делаете, вы
только получаете страницу. Таким топорным способом вы далеко не уедете и сможете парсить только очень простые сайты. Для парсинга есть специальные инструменты, нагуглить которые я вам предлагаю самостоятельно.