Здравствуйте, Kolesiki, Вы писали:

K>А зачем мне selenium я даже после 5 страниц не понял — вообще ни слова про DOM! Ты сам-то его юзал?

Selenium просто один из распространенных бесплатных инструментов для решения задачи (website scrapping)
В качестве движка он может использовать chrome/firefox/phantomjs по выбору.

У браузеров обычно (хрома и FF) есть специальный режим ("headless browser") в котором они ничего не показывают на экране.
Этот режим специально заточен на сценарий, когда управление браузером идет программно (через API).

Вот например сходу нашлось:
How to SCRAPE DYNAMIC websites with Selenium

https://www.youtube.com/watch?v=lTypMlVBFM4

Здравствуйте, Kolesiki, Вы писали:

K>А зачем мне selenium я даже после 5 страниц не понял — вообще ни слова про DOM! Ты сам-то его юзал?

Selenium просто один из распространенных бесплатных инструментов для решения задачи (website scrapping)
В качестве движка он может использовать chrome/firefox/phantomjs по выбору.

У браузеров сейчас есть специальный режим ("headless browser") в котором они ничего не показывают на экране.
Этот режим специально заточен на сценарий, когда управление браузером идет программно (через API).

Вот например сходу нашлось:
How to SCRAPE DYNAMIC websites with Selenium

https://www.youtube.com/watch?v=lTypMlVBFM4