Здравствуйте, Kolesiki, Вы писали:

K>А зачем мне selenium я даже после 5 страниц не понял — вообще ни слова про DOM! Ты сам-то его юзал?

Selenium просто один из распространенных бесплатных инструментов для решения задачи (website scrapping)
В качестве движка он может использовать chrome/firefox/phantomjs по выбору.
У браузеров сейчас есть специальный режим ("headless browser") в котором они ничего не показывают на экране.
Этот режим специально заточен на сценарий, когда управление браузером идет программно (через API), selenium именно его и использует.

Еще он автоматически ждет завершения всех реквестов на сервер и полной отработки всех жаваскриптов,
т.е. можно писать простой последовательный скриптовый код для получения данных со страницы.

Вот например сходу нашлось:
How to SCRAPE DYNAMIC websites with Selenium

https://www.youtube.com/watch?v=lTypMlVBFM4