Всегда проверяйте наличие скрытого API при парсинге сайтов

Бывало ли у вас такое, что при парсинге сайтов вы не могли достать тот контент, который отображается на странице? Часто это говорит о том, что данные рендерятся через JS.
Поэтому в таких ситуациях многие предпочитают использовать Selenium, чтобы имитировать поведение пользователя. Но что если я вам скажу, что вы можете найти скрытый API сайта и избежать использования таких инструментов как Селениум?
В этом видео я покажу как искать зацепки на сайтах, и как использовать Insomnia для проверки запросов. Мы научимся находить чистые данные, которые отдает сервер, прежде чем JS проведет над ними свои манипуляции.
Тайм-коды:
0:00 - Почему важно знать этот способ?
1:13 - Ищем способ автоматизации сайта с Insomnia
5:07 - Ищем данные в sitemap.xml и сравниваем контент без JS
5:49 - Как узнать что сайт хранит данные локально?
7:53 - Ищем скрытый API сайта с Insomnia