Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт?
«Яндекс» версии 1.0, выпущен до 1997 года. Потом, после запуска «Яндекса» как веб-поисковика, было отдельное приложение — что-то типа «Яндекс для сайта», причем оно было именно селф-хостед.
Re[3]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, salnicoff, Вы писали:
S>>было отдельное приложение — что-то типа «Яндекс для сайта», причем оно было именно селф-хостед.
ЕМ>Оно разве не ставилось на сервер к самому сайту?
«Яндекс» начинался с приложения для «Винды» (или для ДОС?) для поиска по документам на локальных дисках с учетом особенностей русского языка. Потом из него сделали поисковик по русскоязычному интернету, и довольно долго можно было скачать скрипт, который ставился к себе на сайт и обслуживал только те домены, что были забиты в конфиги.
Re[2]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Artem Korneev, Вы писали:
AK>Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>>Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты.
AK>Sphinx достаточно универсален и позволяет индексировать всё что угодно. Он индексирует те документы, которые вы ему предоставляете. Вам нужно лишь скачать данные и предоставить их Sphinx'у для индексации. AK>Т.е. вопрос не в поисковой машине, а в инструменте для обхода ссылок и скачивания документов (web crawler'е) и хранилище документов.
AK>Точно так же построены и поисковики общего назначения, кстати. Там три основных компонента — web crawler, хранилище и поисковый индекс.
Для закачек сайтов целиком или их отдельных частей очень удобно использовать httrack и мой скрипт для его запуска
# ===============================================================
# Copyright (С) Uncle AU, 2015-2020
# The AUTHOR allows to use this content under AGPL v3 license:
# http://opensource.org/licenses/agpl-v3.html
# ===============================================================
А для специализированных тематик делают свои парсеры.
Например, некоторые парсят цены на многое и разное и продают результаты такого парсинга, да чего только нынче не парсят ...
А парсить можно много чем, но самые лучшие IMHO тулзы это:
https://en.a-parser.com/ — Абсолютно убойная скорость работы в тысячи потоков, изначально заточен под Linux.
А для прицельного парсинга с полной эмуляцией человека:
https://zennolab.com/en/products/zennoposter/ — очень удобный конструктор для отлова HTML элементов на сайтах любой сложности. Из недостатков Зенки нужно отметить потребность в Шиндозе даже для своего бэкенда, т.е. подходит главным образом под точечные целевые партизанские действия, а не для массированых работ.
https://bablosoft.com/shop/BrowserAutomationStudio — удобная лицензионная политика, open source и работоспособность в WINE под Linux, теоретически держит нагрузку лучше Зенки (пока ее backend не портировали на Linux DotNet Core) и при желании его можно масштабировать в контейнерах (vnc4server+wine) и вероятно даже в кластерах kubernetes!
Вот эти штуковины после программирования могут выпарсить вам все, что угодно.
Все они поддерживают RPC автоматизацию.
Причем BAS доступен даже в сорцах!
ЕМ>Монетизировать это можно было бы как платной подпиской на сервис и лицензией на локальную версию, так и размещением рекламы на бесплатном сервисе. Подозреваю, что такая штука будет очень популярной среди множества разных спецов.
Можно всю жизнь потратить на бредовую идею.
Прежде чем браться за проект я всегда смотрю количество запросов в инете по моей проблеме.
"индексация стороннего сайта" никто не ищет. Значит клиентов нет. Нет клиентов — нет денег. Finita la comedia.
F>"индексация стороннего сайта" никто не ищет. Значит клиентов нет.
Так можно выкинуть на помойку гениальную и революционную идею.
Сколько народа 30 лет назад искало мобильную связь? Нисколько. Ширнармассы даже не понимали, что такое возможно.
Или кто год назад искал противовирусные маски? Если бы у какой-то компании были наработки в этой области, если бы у них была удобная (не душная, не оставляющая следов на коже) и дешёвая маска, то эта компания нынче озолотилась бы.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт? В идеале, она должна быть как в виде веб-сервиса, расходующего трафик сервера, так и локального приложения, работающего на трафике клиента. Для оптимизации поиска, наряду с традиционным обходом по ссылкам, можно поддерживать набор правил (местонахождение ссылки, структура ссылки, определенные значения в имени документа и т.п.). Для частых запросов можно иметь локальные индексы и кэши.
Раньше существовали desktop search engine — от гугла, от яндекса, кажется еще Евфрат был (или как-то так).
Они позволяли индексировать документы на диске (ворд, эксель, текстовые) и потом по ним делать поиск.
Может они и сейчас существуют (один продукт точно есть, забыл как называется), и может научились сканировать сайты
Плюс сейчас существуют сервисы, и не один, которые отслеживают изменения на определенных сайтах.
Возможно они умеют не только парсить изменения, но и осуществлять поиск.
P.S. А вообще идея мне нравится. Можно подумать детальнее, если не найдется что-то дельное у конкурентов
Best regards, Буравчик
Re[2]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, falcoware, Вы писали:
F>Можно всю жизнь потратить на бредовую идею.
F>Прежде чем браться за проект я всегда смотрю количество запросов в инете по моей проблеме.
С одной стороны верно, а с другой — если бы Джобс тоже предварительно гуглил в trends «телефон, где можно тыкать пальцем» — придумали бы они айфон?
Или Форд со своей шуткой про более быструю лошадь.
Вот есть универсальные поисковики "для народа" — Google, Yandex и т.п., но они ищут только там, где считают нужным (и только то, что считают нужным). Указание оператора site лишь сужает выдачу. Если какой-то документ не проиндексирован — он не найдется. Ну и языки запросов с течением времени вырождаются, поскольку подавляющее большинство клиентов их не используют.
На многих сайтах есть собственные поисковики, но качество у них — обычно от убогого до среднего. Как правило, возможности ограничиваются поиском по набору ключевых слов, даже без возможности связать их по "и/или". В итоге находится или очень мало нужного, или очень много лишнего.
Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты. Есть куча локальных поисковиков, но они работают только по локальным же носителям.
Известно, что многие компании регулярно мониторят онлайн-каталоги конкурентов, но для этого каждая городит собственные средства. В то же время есть множество государственных, ведомственных и частных сайтов с открытыми БД (патенты, изобретения, судебные документы, тендеры, архивы выпусков СМИ и т.п.), локальный поиск по которым часто сделан очень примитивно. В итоге заинтересованные лица опять-таки городят свои системы, периодически выкачивающие оттуда весь контент, строящие собственную БД, и уже по ней гоняют локальный поиск.
Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт? В идеале, она должна быть как в виде веб-сервиса, расходующего трафик сервера, так и локального приложения, работающего на трафике клиента. Для оптимизации поиска, наряду с традиционным обходом по ссылкам, можно поддерживать набор правил (местонахождение ссылки, структура ссылки, определенные значения в имени документа и т.п.). Для частых запросов можно иметь локальные индексы и кэши.
Монетизировать это можно было бы как платной подпиской на сервис и лицензией на локальную версию, так и размещением рекламы на бесплатном сервисе. Подозреваю, что такая штука будет очень популярной среди множества разных спецов.
Здравствуйте, L.K., Вы писали:
LK>Лезешь на главную страницу, бегаешь по ссылкам, постепенно выкачиваешь весь сайт. А потом индексируешь сфинксом. LK>И получится этакий "персональный гугл" на личном хостинге.
Нет, получится очередное, сугубо частное и кривое поделие. Вы определенно не поняли идеи.
Re[3]: Поисковая машина для поиска по сайтам снаружи
М>С одной стороны верно, а с другой — если бы Джобс тоже предварительно гуглил в trends «телефон, где можно тыкать пальцем» — придумали бы они айфон? М>Или Форд со своей шуткой про более быструю лошадь.
Дык у них была ОСЬ и команда и свои компы и технологии и наработки. Это был очевидный шаг.
Тут, Вы, Кулибин, вылетаете один из влагалища на лыжах и хотите всех удивить.
Здравствуйте, L.K., Вы писали:
LK>Да, я не понял, в чём идея.
Идея в том же, что и глобального поисковика типа Google/Yandex, но не для ширнармасс, а для гораздо более узкого круга специалистов (аналитиков, патентоведов, врачей, юристов, журналистов, писателей и др.).
Вот нужно мне, например, найти определенные заявки и документы по товарным знакам. Они есть у Роспатента — в виде каталога по номерам, датам и подобным реквизитам, то полнотекстового поиска там нет. Да, я могу сгородить скрипт, выкачать все это к себе, индексировать и искать. Но следующий, кому это понадобится (а таких множество) снова будет вынужден городить скрипт и т.д. Или обратится в контору, которая это когда-то уже сделала, но только именно по этой конкретной БД.
А еще мне нужно найти определенные статьи в архиве некоторых периодических СМИ. Они тоже есть — в виде ZIP'ов или отдельных нераспознанных страниц. Значит, для этого нужно снова городить отдельный самопал.
Вот если б кто взялся вместо этого зоопарка частных костылей сделать общее решение — это можно было бы превратить в золотую жилу.
Re[5]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, L.K., Вы писали:
LK>Что мешает скормить гуглу команду: LK>ура site:rsdn.ru OR site:sql.ru
Скормить — ничто не мешает. А найти мешает то, что гугл, яндекс и любой массовый поисковик ищет только в том, что индексирует сам. А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Никому не приходило в голову сделать универсальную поисковую машину, которую можно было бы натравить на конкретный сайт? В идеале, она должна быть как в виде веб-сервиса, расходующего трафик сервера, так и локального приложения, работающего на трафике клиента. Для оптимизации поиска, наряду с традиционным обходом по ссылкам, можно поддерживать набор правил (местонахождение ссылки, структура ссылки, определенные значения в имени документа и т.п.). Для частых запросов можно иметь локальные индексы и кэши.
То есть хочется enterprise search engine?
Например, есть поисковая система Mindbreeze, которую можно купить как в варианте Appliance (программно-аппаратный комплекс по русски?), так и в виде облачного сервиса. Для вытягивания данных из разных источников и их обработки есть куча так называемых Connectors: https://www.mindbreeze.com/inspire-connectors.html
Re[7]: Поисковая машина для поиска по сайтам снаружи
ЕМ>А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
Тогда мой первоначальный вариант. Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
Можно сделать и отдельный скрипт/утилиту, которая будет запускаться на компе, автоматически всё выкачивать по маске url, индексировать, а потом искать. Получится "локальный поисковик". В принципе, такое делается не сложно.
Re[8]: Поисковая машина для поиска по сайтам снаружи
По факту это то же самое, что те же гугль и яндекс, ну с каким-то нюансами. Прежде, чем за это браться, нужно прикинуть какие требуются мощности для индексаторов и для хранения базы проиндексированного контента. Есть сотни миллионов не рублей на датацентры?
Здравствуйте, PM, Вы писали:
PM>То есть хочется enterprise search engine?
Не, хочется professional targeted search engine. С адекватным набором функций, но без лишних наворотов.
PM>есть поисковая система Mindbreeze
Судя по описанию, это очередное "всеобъемлющее" решение, в котором очень много лишнего, поэтому и ценник (от $30000 в год) выгоден лишь для среднего и крупного бизнеса. Индивидуальному юристу или ученому это и излишне, и чрезмерно дорого.
Re[8]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, L.K., Вы писали:
LK>Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
Такое решение будет и кривым (далеко не всегда есть надобность и время выкачивать весь контент для поиска по нему), и однобоким (для каждого сайта нужно вручную писать свои скрипты). Я бы предпочел готовое решение за адекватные деньги.
Re[9]: Поисковая машина для поиска по сайтам снаружи
T>>Есть сотни миллионов не рублей на датацентры?
ЕМ>В свете озвученных условий, их не требуется.
Как это не требуется? А это —
ЕМ>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам. Они есть у Роспатента — в виде каталога по номерам, датам и подобным реквизитам, то полнотекстового поиска там нет. Да, я могу сгородить скрипт, выкачать все это к себе, индексировать и искать. Но следующий, кому это понадобится (а таких множество) снова будет вынужден городить скрипт и т.д.
Здравствуйте, temnik, Вы писали:
T>Как это не требуется? А это -
Я ж с самого начала писал, что индексация там имеет смысл только для частых запросов к общему контенту. Ну и при больших объемах того контента. Во многих случаях можно и без нее, или с умеренными затратами на хранение.
Re[11]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, temnik, Вы писали:
T>В общем-то нечто аналогичное есть — https://archivarix.com/ru/ T>Работает через посредничество вебархива, но суть та же
Этот сервис тупо выкачивает с вебархива сайты, где там поиск? Ну и сам вебархив берет к себе далеко не все. И какой смысл тянуть с него, если можно тянуть напрямую с основного сайта?
Re[12]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ> индексация там имеет смысл только для частых запросов к общему контенту
А для нечастных запросов? Вытаскивать полную копию каждого сайта на каждый нечастый запрос? Забанят примерно после второго такого запроса.
ЕМ> или с умеренными затратами на хранение
Вы там про нераспознанные сканы документов говорили?.. Один такой источник запросто может выдать сотни гигабайт, а то и терабайты индексируемых данных. Т.е. регулярно индексировать надо петабайты. Даже если надеть розовые очки и рассчитывать на то, что данные довольно однотипные и в индексированном виде будут занимать намного меньше места, то ориентироваться нужно всё равно на петабайты на хранение этих индексов. А это уже по самым скромным расценкам — миллионы баксов ежегодно.
Поисковики общего назначения — Google, Yandex, Bing — это давно уже "экзабайты" индексированных данных. При том, что индексируют они не всё, как сами видите — ориентируются лишь на наиболее востребованную информацию.
Делать стороннюю индексацию для таких данных — очень сомнительное предложение. Реально проще наверное договориться о взаимодействии с этим сервисом и помочь им доработать их собственный поисковик и индексатор чтобы выставить нужную информацию.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Есть готовые поисковые системы типа Sorl, Sphinx и др., но они предназначены исключительно для встраивания на сайты.
Sphinx достаточно универсален и позволяет индексировать всё что угодно. Он индексирует те документы, которые вы ему предоставляете. Вам нужно лишь скачать данные и предоставить их Sphinx'у для индексации.
Т.е. вопрос не в поисковой машине, а в инструменте для обхода ссылок и скачивания документов (web crawler'е) и хранилище документов.
Точно так же построены и поисковики общего назначения, кстати. Там три основных компонента — web crawler, хранилище и поисковый индекс.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, temnik, Вы писали:
T>>По факту это то же самое, что те же гугль и яндекс, ну с каким-то нюансами.
ЕМ>Разница прежде всего в том, что объем индексации определяется не самим поисковиком, а его клиентом.
А как вы себе это представляете, практически? Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
--
WBR,
Serge.
Re[11]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, hrensgory, Вы писали:
H>Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
Я уже говорил — во многих случаях объем можно ограничить набором правил (по структуре URL, типу/объему документа, дате изменения и т.п.).
Re[12]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, hrensgory, Вы писали:
H>>Допустим, есть те же самые юристы, им нужны, условно говоря, судебные решения, патенты и ещё чего-нибудь. Как они будут "определять объём индексации", с помощью каких инструментов?
ЕМ>Я уже говорил — во многих случаях объем можно ограничить набором правил (по структуре URL, типу/объему документа, дате изменения и т.п.).
А делать это будет, грубо говоря, программер/админ? Вряд ли условным "юристам" это по силам.
А если так, то по идее надо просто краулер сконфигурить, к поисковому индексатору подключить и дело в шляпе. Вряд ли потребуется отдельный продукт, должно хватить набора готовых компонент.
--
WBR,
Serge.
Re[8]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, L.K., Вы писали:
ЕМ>>А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
LK>Тогда мой первоначальный вариант. Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
Такой бот будет довольно быстро заблокирован защитой от DDOS или ему предложат распознавать каптчу. Если кто-то не горит желанием отдавать свои документы на индексацию в Google, то он имеет какие-то мотивы для этого, и вряд ли он даст вам выкачивать всю свою базу за здорово живешь.
Re[9]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Alexey Rovdo, Вы писали:
AR>Здравствуйте, L.K., Вы писали:
ЕМ>>>А большую часть архивов, которые я перечислил, универсальные поисковики не индексируют, поскольку ширнармасс туда не ходит.
LK>>Тогда мой первоначальный вариант. Бот, выкачивающий сайты (через wget, curl), причём полностью и не глядя на robots.txt. А потом индексация выкачанного sphinx-ом.
AR>Такой бот будет довольно быстро заблокирован защитой от DDOS или ему предложат распознавать каптчу. Если кто-то не горит желанием отдавать свои документы на индексацию в Google, то он имеет какие-то мотивы для этого, и вряд ли он даст вам выкачивать всю свою базу за здорово живешь.
Технически это (даже Рекапча2, да легко) относительно легко решается автоматикой с помощью ZennoPoster/BAS + Capmonster/Xrumer.
Там и тысячи проксей с плавающими айпи, тысячи случайных номеров для SMS и постоянно новые отпечатки браузеров,
такие эмуляторы неблокируемы без использования квалифицированной ЭЦП, полученной в доверенном УЦ.
Тот же Google относительно легко парсится в так называемых промышленных масштабах с помощью например a-parser и других подобных парсеров.
Но и для ЭЦП они вероятно могут создать сервисы отгадывания, как было раньше лет цать назад еще до использования нейросетей для отгадывания картинок человеками, т.е. с технической (неюридической) точки зрения, — это всего лишь цена вопроса — порог вхождения, скажем вместо нескольких центов за графическую капчу, отгадывание ЭЦП может подорожать до нескольких долларов. Подразумевается пул ЭЦП токенов в компах нищебродов, кто согласится предоставить их для отгадывания, мероприятие конечно сомнительное для владельцев таких сертификатов ЭЦП, в принципе их уже намного легче было бы банить черными списками, чем номера телефонов, айпишники и прочую муть.
Только изредка самым гигантам айти мысли типа Google удается найти дыры в браузерах для временного детекта Зенки, ну до очередного ее релиза с соответствующим багфиксом
Но конечно могут возникнуть вопросы правового характера.
Т.е. пряча документы в дебрях своих личных кабинетов, различные сервисы пытаются монетизироваться с помощью контекстной рекламы и фильтрации лишних пользователей, а если речь о платной подписке к личному кабинету, то тем более.
Обходя все эти хитроумные преграды личных кабинетов эмуляторами типа Зенки, вы можете наткнуться на нарушение прав соответствующих правообладателей уже потом, когда попытаетесь распространять контент, полученный из них, самостоятельно через свои сайты.
Здравствуйте, Евгений Музыченко, Вы писали:
ЕМ>Здравствуйте, L.K., Вы писали:
LK>>Да, я не понял, в чём идея.
ЕМ>Идея в том же, что и глобального поисковика типа Google/Yandex, но не для ширнармасс, а для гораздо более узкого круга специалистов (аналитиков, патентоведов, врачей, юристов, журналистов, писателей и др.).
ЕМ>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам. Они есть у Роспатента — в виде каталога по номерам, датам и подобным реквизитам, то полнотекстового поиска там нет.
Вообще-то есть! https://yandex.ru/patents — полнотекстовый поиск по роспатенту от яндекса. Еще и подсказки выдаются в поисковой строке.
Re[6]: Поисковая машина для поиска по сайтам снаружи
Здравствуйте, Michael7, Вы писали:
ЕМ>>Вот нужно мне, например, найти определенные заявки и документы по товарным знакам
M>Вообще-то есть! https://yandex.ru/patents — полнотекстовый поиск по роспатенту от яндекса
И каким образом этот поиск по базе патентов найдет мне заявки на товарные знаки?
Re[7]: Поисковая машина для поиска по сайтам снаружи
