Расскажите, как делаются агрегаторы, вроде skyscanner, которые собирают цены с различных сайтов и ранжируют результаты? Кто-нибудь занимался подобнsv?
Такие сайты обращаются к API, предоставляемым билетчиками, турфирмами и авиакомпаниями, или напрямую пытаются распарсить каждый из сайтов (которые, наверняка, периодически меняют свой UI, разметку, имеют нетривиальные скрипты поиска, а не просто статические страницы — как это обрабатывать и поддерживать в актуальном состоянии)? Если последнее, существуют готовые библиотеки для подобного, облегчающие парсинг? Подскажите самые известные названия (желательно python).
