Внезапно озадачился вопросом, отдает ли мой сервер last-modified в HTTP-заголовках, и поддерживает ли if-modified-since. Оказалось, что не отдает и не поддерживает, и до хренища разных популярных серверов, судя по выдаче браузера и результатам этого сервиса, работают точно так же. Многие серверы вместо этого отдают expires со временем через секунду от запроса. А в сети опубликовано неимоверное количество статей с описанием того, как добавить last-modified через PHP.

Что за дичь? Почему вокруг столь простой и очевидной вещи, как время последнего изменения страницы, возникла чуть ли не теория заговора? Или это отголовски каких-то прошлых SEO-войн?

Как тогда поисковики обновляют свои индексы? Тупой периодической загрузкой полных страниц, плюс по результатам обновления sitemap?