Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт?
«Яндекс» версии 1.0, выпущен до 1997 года. Потом, после запуска «Яндекса» как веб-поисковика, было отдельное приложение — что-то типа «Яндекс для сайта», причем оно было именно селф-хостед.
Re[10]: Поисковая машина для поиска по сайтам снаружи
T>>Есть сотни миллионов не рублей на датацентры?
ЕМ>В свете озвученных условий, их не требуется.
Как это не требуется? А это —
ЕМ>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам. Они есть у Роспатента — в виде каталога по номерам, датам и подобным реквизитам, то полнотекстового поиска там нет. Да, я могу сгородить скрипт, выкачать все это к себе, индексировать и искать. Но следующий, кому это понадобится (а таких множество) снова будет вынужден городить скрипт и т.д.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, salnicoff, Вы писали:
S>>было отдельное приложение — что-то типа «Яндекс для сайта», причем оно было именно селф-хостед.
ЕМ>Оно разве не ставилось на сервер к самому сайту?
«Яндекс» начинался с приложения для «Винды» (или для ДОС?) для поиска по документам на локальных дисках с учетом особенностей русского языка. Потом из него сделали поисковик по русскоязычному интернету, и довольно долго можно было скачать скрипт, который ставился к себе на сайт и обслуживал только те домены, что были забиты в конфиги.
Re[11]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, temnik, Вы писали:
T>Как это не требуется? А это -
Я ж с самого начала писал, что индексация там имеет смысл только для частых запросов к общему контенту. Ну и при больших объемах того контента. Во многих случаях можно и без нее, или с умеренными затратами на хранение.
Re[11]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, temnik, Вы писали:
T>В общем-то нечто аналогичное есть — https://archivarix.com/ru/ T>Работает через посредничество вебархива, но суть та же
Этот сервис тупо выкачивает с вебархива сайты, где там поиск? Ну и сам вебархив берет к себе далеко не все. И какой смысл тянуть с него, если можно тянуть напрямую с основного сайта?
Re[12]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ> индексация там имеет смысл только для частых запросов к общему контенту
А для нечастных запросов? Вытаскивать полную копию каждого сайта на каждый нечастый запрос? Забанят примерно после второго такого запроса.
ЕМ> или с умеренными затратами на хранение
Вы там про нераспознанные сканы документов говорили?.. Один такой источник запросто может выдать сотни гигабайт, а то и терабайты индексируемых данных. Т.е. регулярно индексировать надо петабайты. Даже если надеть розовые очки и рассчитывать на то, что данные довольно однотипные и в индексированном виде будут занимать намного меньше места, то ориентироваться нужно всё равно на петабайты на хранение этих индексов. А это уже по самым скромным расценкам — миллионы баксов ежегодно.
Поисковики общего назначения — Google, Yandex, Bing — это давно уже "экзабайты" индексированных данных. При том, что индексируют они не всё, как сами видите — ориентируются лишь на наиболее востребованную информацию.
Делать стороннюю индексацию для таких данных — очень сомнительное предложение. Реально проще наверное договориться о взаимодействии с этим сервисом и помочь им доработать их собственный поисковик и индексатор чтобы выставить нужную информацию.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты.
Sphinx достаточно универсален и позволяет индексировать всё что угодно. Он индексирует те документы, которые вы ему предоставляете. Вам нужно лишь скачать данные и предоставить их Sphinx'у для индексации.
Т.е. вопрос не в поисковой машине, а в инструменте для обхода ссылок и скачивания документов (web crawler'е) и хранилище документов.
Точно так же построены и поисковики общего назначения, кстати. Там три основных компонента — web crawler, хранилище и поисковый индекс.
Здравствуйте, Artem Korneev, Вы писали:
AK>Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>>Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты.
AK>Sphinx достаточно универсален и позволяет индексировать всё что угодно. Он индексирует те документы, которые вы ему предоставляете. Вам нужно лишь скачать данные и предоставить их Sphinx'у для индексации. AK>Т.е. вопрос не в поисковой машине, а в инструменте для обхода ссылок и скачивания документов (web crawler'е) и хранилище документов.
AK>Точно так же построены и поисковики общего назначения, кстати. Там три основных компонента — web crawler, хранилище и поисковый индекс.
Для закачек сайтов целиком или их отдельных частей очень удобно использовать httrack и мой скрипт для его запуска
# ===============================================================
# Copyright (С) Uncle AU, 2015-2020
# The AUTHOR allows to use this content under AGPL v3 license:
# http://opensource.org/licenses/agpl-v3.html
# ===============================================================
А для специализированных тематик делают свои парсеры.
Например, некоторые парсят цены на многое и разное и продают результаты такого парсинга, да чего только нынче не парсят ...
А парсить можно много чем, но самые лучшие IMHO тулзы это:
https://en.a-parser.com/ — Абсолютно убойная скорость работы в тысячи потоков, изначально заточен под Linux.
А для прицельного парсинга с полной эмуляцией человека:
https://zennolab.com/en/products/zennoposter/ — очень удобный конструктор для отлова HTML элементов на сайтах любой сложности. Из недостатков Зенки нужно отметить потребность в Шиндозе даже для своего бэкенда, т.е. подходит главным образом под точечные целевые партизанские действия, а не для массированых работ.
https://bablosoft.com/shop/BrowserAutomationStudio — удобная лицензионная политика, open source и работоспособность в WINE под Linux, теоретически держит нагрузку лучше Зенки (пока ее backend не портировали на Linux DotNet Core) и при желании его можно масштабировать в контейнерах (vnc4server+wine) и вероятно даже в кластерах kubernetes!
Вот эти штуковины после программирования могут выпарсить вам все, что угодно.
Все они поддерживают RPC автоматизацию.
Причем BAS доступен даже в сорцах!
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, temnik, Вы писали:
T>>По факту это то же самое, что те же гугль и яндекс, ну с каким-то нюансами.
ЕМ>Разница прежде всего в том, что объем индексации определяется не самим поисковиком, а его клиентом.
А как вы себе это представляете, практически? Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
--
WBR,
Serge.
Re[11]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, hrensgory, Вы писали:
H>Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
Я уже говорил — во многих случаях объем можно ограничить набором правил (по структуре URL, типу/объему документа, дате изменения и т.п.).
Re[12]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, hrensgory, Вы писали:
H>>Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
ЕМ>Я уже говорил — во многих случаях объем можно ограничить набором правил (по структуре URL, типу/объему документа, дате изменения и т.п.).
А делать это будет, грубо говоря, программер/админ? Вряд ли условным "юристам" это по силам.
А если так, то по идее надо просто краулер сконфигурить, к поисковому индексатору подключить и дело в шляпе. Вряд ли потребуется отдельный продукт, должно хватить набора готовых компонент.
--
WBR,
Serge.
Re[8]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, L.K., Вы писали:
ЕМ>>А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
LK>Тогда мой первоначальный вариант. Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
Такой бот будет довольно быстро заблокирован защитой от DDOS или ему предложат распознавать каптчу. Если кто-то не горит желанием отдавать свои документы на индексацию в Google, то он имеет какие-то мотивы для этого, и вряд ли он даст вам выкачивать всю свою базу за здорово живешь.
Re[9]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Alexey Rovdo, Вы писали:
AR>Здравствуйте, L.K., Вы писали:
ЕМ>>>А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
LK>>Тогда мой первоначальный вариант. Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
AR>Такой бот будет довольно быстро заблокирован защитой от DDOS или ему предложат распознавать каптчу. Если кто-то не горит желанием отдавать свои документы на индексацию в Google, то он имеет какие-то мотивы для этого, и вряд ли он даст вам выкачивать всю свою базу за здорово живешь.
Технически это (даже Рекапча2, да легко) относительно легко решается автоматикой с помощью ZennoPoster/BAS + Capmonster/Xrumer.
Там и тысячи проксей с плавающими айпи, тысячи случайных номеров для SMS и постоянно новые отпечатки браузеров,
такие эмуляторы неблокируемы без использования квалифицированной ЭЦП, полученной в доверенном УЦ.
Тот же Google относительно легко парсится в так называемых промышленных масштабах с помощью например a-parser и других подобных парсеров.
Но и для ЭЦП они вероятно могут создать сервисы отгадывания, как было раньше лет цать назад еще до использования нейросетей для отгадывания картинок человеками, т.е. с технической (неюридической) точки зрения, — это всего лишь цена вопроса — порог вхождения, скажем вместо нескольких центов за графическую капчу, отгадывание ЭЦП может подорожать до нескольких долларов. Подразумевается пул ЭЦП токенов в компах нищебродов, кто согласится предоставить их для отгадывания, мероприятие конечно сомнительное для владельцев таких сертификатов ЭЦП, в принципе их уже намного легче было бы банить черными списками, чем номера телефонов, айпишники и прочую муть.
Только изредка самым гигантам айти мысли типа Google удается найти дыры в браузерах для временного детекта Зенки, ну до очередного ее релиза с соответствующим багфиксом
Но конечно могут возникнуть вопросы правового характера.
Т.е. пряча документы в дебрях своих личных кабинетов, различные сервисы пытаются монетизироваться с помощью контекстной рекламы и фильтрации лишних пользователей, а если речь о платной подписке к личному кабинету, то тем более.
Обходя все эти хитроумные преграды личных кабинетов эмуляторами типа Зенки, вы можете наткнуться на нарушение прав соответствующих правообладателей уже потом, когда попытаетесь распространять контент, полученный из них, самостоятельно через свои сайты.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, L.K., Вы писали:
LK>>Да, я не понял, в чём идея.
ЕМ>Идея в том же, что и глобального поисковика типа Google/Yandex, но не для ширнармасс, а для гораздо более узкого круга специалистов (аналитиков, патентоведов, врачей, юристов, журналистов, писателей и др.).
ЕМ>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам. Они есть у Роспатента — в виде каталога по номерам, датам и подобным реквизитам, то полнотекстового поиска там нет.
Вообще-то есть! https://yandex.ru/patents — полнотекстовый поиск по роспатенту от яндекса. Еще и подсказки выдаются в поисковой строке.
Re[6]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Michael7, Вы писали:
ЕМ>>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам
M>Вообще-то есть! https://yandex.ru/patents — полнотекстовый поиск по роспатенту от яндекса
И каким образом этот поиск по базе патентов найдет мне заявки на товарные знаки?
Re[7]: Поисковая машина для поиска по сайтам снаружи
