Всегда проверяйте наличие скрытого API при парсинге сайтов

Курс ООП и Приват канал: https://www.zproger-school.com/?utm_sourceyt&utm_mediumno&utm_campaignapi_scraping
Телеграм канал: https://t.me/ag3TWfFIuKs1NjMx
Прокси сервис: https://proxy6.net/en/a/91388

Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.

Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?

В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.

Github: https://github.com/Zproger
Все плейлисты с уроками: https://bit.ly/39GaY89
Связаться со мной: [email protected]
Поддержать канал: https://github.com/Zproger/donate

Тайм-коды:
0:00 – Почему важно знать этот способ?
1:13 – Ищем способ автоматизации сайта с Insomnia
5:07 – Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 – Как узнать что сайт хранит данные локально?
7:53 – Ищем скрытый API сайта с Insomnia

Take the opportunity to connect and share this video with your friends and family if you find it useful.