Как вы тестируете парсеры сайтов - на заглушках или на реальных сайтах?
От: gyraboo Россия  
Дата: 31.08.22 09:53
Оценка:
Поделитесь опытом, уважаемые форумчане, кто разрабатывает парсеры сайтов, пишите ли вы интеграционные тесты? Если да, то пишете тест на заглушке вместо целевого сайта, или натравливаете тесты прямо на живой сайт? Или пишите сразу и то, и другое?
www.nanonewsnet.ru
Re: Как вы тестируете парсеры сайтов - на заглушках или на реальных сайтах?
От: · Великобритания  
Дата: 31.08.22 12:55
Оценка: +1
Здравствуйте, gyraboo, Вы писали:

g> Поделитесь опытом, уважаемые форумчане, кто разрабатывает парсеры сайтов, пишите ли вы интеграционные тесты? Если да, то пишете тест на заглушке вместо целевого сайта, или натравливаете тесты прямо на живой сайт? Или пишите сразу и то, и другое?

И то, и другое.
Реальный сайт может содержать туеву хучу данных, притом редкие сценарии могут появляться... редко, и никак их не протестируешь на живом. А для тестов можно подготовить небольшие наборы данных, которые легко отлаживать, и наборы данных могут быть разнообразными, покрывая все возможные сценарии.
avalon/3.0.0
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
Re[2]: Как вы тестируете парсеры сайтов - на заглушках или на реальных сайтах?
От: gyraboo Россия  
Дата: 31.08.22 14:37
Оценка:
Здравствуйте, ·, Вы писали:

g>> Поделитесь опытом, уважаемые форумчане, кто разрабатывает парсеры сайтов, пишите ли вы интеграционные тесты? Если да, то пишете тест на заглушке вместо целевого сайта, или натравливаете тесты прямо на живой сайт? Или пишите сразу и то, и другое?

·>И то, и другое.
·>Реальный сайт может содержать туеву хучу данных, притом редкие сценарии могут появляться... редко, и никак их не протестируешь на живом. А для тестов можно подготовить небольшие наборы данных, которые легко отлаживать, и наборы данных могут быть разнообразными, покрывая все возможные сценарии.

А как отлавливаете факт изменения формата данных или вёрстки на целевом сайте?
www.nanonewsnet.ru
Re[3]: Как вы тестируете парсеры сайтов - на заглушках или на реальных сайтах?
От: · Великобритания  
Дата: 31.08.22 15:10
Оценка: 2 (1)
Здравствуйте, gyraboo, Вы писали:

G>·>И то, и другое.

G>·>Реальный сайт может содержать туеву хучу данных, притом редкие сценарии могут появляться... редко, и никак их не протестируешь на живом. А для тестов можно подготовить небольшие наборы данных, которые легко отлаживать, и наборы данных могут быть разнообразными, покрывая все возможные сценарии.
G>А как отлавливаете факт изменения формата данных или вёрстки на целевом сайте?
По логам. В логе внезапно появится "не могу распарсить: <дамп>". Дамп копипастишь в тест и правишь код, чтобы тест отработал.
А какие ещё варианты? Как я понял, рассматривается ситуация, когда сайт не предоставляет никакого api и никак никого не предупреждает, когда что-то они у себя меняют.
но это не зря, хотя, может быть, невзначай
гÅрмония мира не знает границ — сейчас мы будем пить чай
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.