Здравствуйте, icezone, Вы писали:

I>у меня не ИИ-боты, а девайсы живых людей долбят форум
I>я же написал, что IP провайдерские — от Ростелекома до Verizon

Идея в том, что если, например вам, нужно добыть данные, то это сейчас не так просто сделать потому что многие сайты обзавелись Cloudflare и системами блокирующими доступ роботов. Часто это делается намеренно чтобы не допустить слизывания информации с каталогами, ценами, рейсами и т.п.

Но сейчас появились промежуточные сервисы, у которых можно купить доступ к вебсайтам в обход их анти-роботовых систем. Зачастую это всё подается в красивой упаковке с официальным API, и вообще выглядит как нормальный белый бизнес.

Как вы можете уже догадаться, за этой "белой" упаковкой под капотом находятся галеры и круги ада. Для начала, у них есть пул своих серверов которые занимаются "посещением" сайтов по запросу клиентов сервиса датамайнинга. Часть этого пула как и положено закупается официально у хостеров и дата центров, другая часть — официально и полуофициально за деньги у рядовых граждан с доступом к интернету ("установите нашу программу и вам будет капать маленькая, но денюжка").

Также, поскольку деньги не пахнут, некоторые сервисы распространяют свой ПО комплекс датамайнинга без ведома пользователей, используя бандлинг, а иногда и уязвимости в ОС, Это так называемый "pup (potentially unwanted program)" (или даже "malware" смотря как к этому относится). Большого вреда такие PUP не делают, но еле заметно кушают ваш трафик и энергию забесплатно и без вашего прямого ведома. При этом конечные клиенты сервиса датамайнинга получают качественную услугу поданную в красивой упаковке за деньги, тоже относительно небольшие, кстати.

Вы же, как вебмастер, уже видите конечный результат этого процесса — много-много агентов от репки до дедки медленно, но планомерно ползают к вам за информацией.