Может ли кто-нибудь может дать четкое определение контекстного и семантического поиска?
Разделяются ли эти понятия или одно является подмножеством другого.
Здравствуйте, Arboz, Вы писали:
A>Может ли кто-нибудь может дать четкое определение контекстного и семантического поиска? A>Разделяются ли эти понятия или одно является подмножеством другого.
Контекстный поиск -- поиск термина с учетом контекста в котором оно употреблено, например "ПОДЖАРЫЙ" в контексте "АВОТМОБИЛИ" (синоним "Мицубиси Паджеро")
Семантический поиск -- поиск понятия, которое может включать в себя несколько терминов. Например "ПОЛЕ" как физический термин.
В принципе, и СП, и КП предназначены для одной задачи, устранения неоднозначностей естественого языка. Различаются скорее подходы к решению.
Здравствуйте, Miroff, Вы писали:
M>Здравствуйте, Arboz, Вы писали:
A>>Может ли кто-нибудь может дать четкое определение контекстного и семантического поиска? A>>Разделяются ли эти понятия или одно является подмножеством другого.
M>Контекстный поиск -- поиск термина с учетом контекста в котором оно употреблено, например "ПОДЖАРЫЙ" в контексте "АВОТМОБИЛИ" (синоним "Мицубиси Паджеро") M>Семантический поиск -- поиск понятия, которое может включать в себя несколько терминов. Например "ПОЛЕ" как физический термин.
M>В принципе, и СП, и КП предназначены для одной задачи, устранения неоднозначностей естественого языка. Различаются скорее подходы к решению.
Я понимаю, что с точки зрения реализации подходы сильно различается,
но все же:
1. Рассмотрим контекстный поиск. Я ищу "поджарый" в контексте "автомобиля".
2. Рассмотрим семантический поиск: Я ищу "поле" в контек... тьфу... в терминах, применимых в физических явлениях. (в контексте "физика")
Не слишком ли тонка грань при поске? Чем отличается в данном случае семантика слова от контекста слова?
Ведь контекст слова зачастую однозначно определяет семантику при поиске? Неправ?
M>>Контекстный поиск -- поиск термина с учетом контекста в котором оно употреблено, например "ПОДЖАРЫЙ" в контексте "АВОТМОБИЛИ" (синоним "Мицубиси Паджеро") M>>Семантический поиск -- поиск понятия, которое может включать в себя несколько терминов. Например "ПОЛЕ" как физический термин.
M>>В принципе, и СП, и КП предназначены для одной задачи, устранения неоднозначностей естественого языка. Различаются скорее подходы к решению.
A>Я понимаю, что с точки зрения реализации подходы сильно различается, A>но все же: A>1. Рассмотрим контекстный поиск. Я ищу "поджарый" в контексте "автомобиля". A>2. Рассмотрим семантический поиск: Я ищу "поле" в контек... тьфу... в терминах, применимых в физических явлениях. (в контексте "физика")
полагаю что автор немного не там поставил кавычки.
надо было поставить их так "ПОЛЕ как физический термин". т.е. контекст содержиться внутри искомой фразы.
Здравствуйте, Arboz, Вы писали:
A>Не слишком ли тонка грань при поске? Чем отличается в данном случае семантика слова от контекста слова? A>Ведь контекст слова зачастую однозначно определяет семантику при поиске? Неправ?
Грань тонка, но она есть. Ограничение на контекст означает, что существует некая локальная область в тексте вокруг искомого слова, которая удовлетворяет условиям поиска. Например, там встречаются другие слова, которые мы задаем при поиске. Но при этом важно, что в общем случае мы не значем семантику этих слов — т.е. в каком бы смысле они ни были использованы рядом с искомым словом — это слово будет найдено.
Разумеется контекстно-зависимый поиск в таком чистом виде встречается редко. Зависимость от контекста как правило нужна для накладывания ограничений именно на семантику. Тут грань и правда стирается. Но это только потому, что искать слово с нормальным учетом семантики в общем случае — задача сложная и как правило требует построения онтологий для домена поиска. А посколько качественных онтологий крайне мало (ну разве что WordNet) и их построение и поддержка требуют значительных ресурсов — то зачастую приходится довольствоваться учетом контекста, гордо называя это семантическим поиском.
Здравствуйте, kl, Вы писали:
kl>[Skiped]
+1
kl>А посколько качественных онтологий крайне мало (ну разве что WordNet) и их построение и поддержка требуют значительных ресурсов — то зачастую приходится довольствоваться учетом контекста, гордо называя это семантическим поиском.
Только, вы не совсем правы:
1. В Wordnet нет онтологий и эту библиотеку можно использовать для поиска с учетом морфологии языка. Wordnet — это же лексическая база, но не как не онтологическая. Или я не прав?
2. Все же семантика не обязательно базируется на онтологии. Есть более низкий уровень — триплет, которым описывается любой факт. Я немного писал об этом здесь
kl>>А посколько качественных онтологий крайне мало (ну разве что WordNet) и их построение и поддержка требуют значительных ресурсов — то зачастую приходится довольствоваться учетом контекста, гордо называя это семантическим поиском.
A>Только, вы не совсем правы: A>1. В Wordnet нет онтологий и эту библиотеку можно использовать для поиска с учетом морфологии языка. Wordnet — это же лексическая база, но не как не онтологическая. Или я не прав?
Безусловно, WordNet — в первую очередь лексическая база. Но что такое онтология? Онтология — это формальное описание набора ключевых терминов (Concepts) предметной области и связей между ними. Ничто не мешает рассматривать слова в WordNet'e как концепты онтологии (собственно, это и приходится делать за неимением лучшего). Другое дело, что WordNet в силу своей глобальности не может не быть двусмысленной, что затрудняет ее использования в качестве онтологии. Но опять-таки — пока неудачники типа меня корпят над диссертациями по поводу автоматического построения и описания онтологий, другие строят руками из текста, data mining'ом из баз данных или юзают WordNet
A>2. Все же семантика не обязательно базируется на онтологии. Есть более низкий уровень — триплет, которым описывается любой факт. Я немного писал об этом здесь
Так в том-то и дело — RDF'ными триплетами описываются _факты_. Т.е. — data. А нам нужно — knowledge. Нам нужно знать, что факт "человек сел на стул" означает, что двуногое прямоходящее опустило свой зад на предмет мебели. Куда ж мы тут без онтологии?
Поэтому RDF ни в коем случае не должен противопоставляться OWL. RDF — язык описания данных. OWL — фактически отображение логических аксиом. Knowledge-base в каком-то виде.
Здравствуйте, kl, Вы писали:
kl>Здравствуйте, Arboz, Вы писали:
A>>Только, вы не совсем правы: A>>1. В Wordnet нет онтологий и эту библиотеку можно использовать для поиска с учетом морфологии языка. Wordnet — это же лексическая база, но не как не онтологическая. Или я не прав?
kl>Безусловно, WordNet — в первую очередь лексическая база. Но что такое онтология? Онтология — это формальное описание набора ключевых терминов (Concepts) предметной области и связей между ними. Ничто не мешает рассматривать слова в WordNet'e как концепты онтологии (собственно, это и приходится делать за неимением лучшего). Другое дело, что WordNet в силу своей глобальности не может не быть двусмысленной, что затрудняет ее использования в качестве онтологии. Но опять-таки — пока неудачники типа меня корпят над диссертациями по поводу автоматического построения и описания онтологий, другие строят руками из текста, data mining'ом из баз данных или юзают WordNet
Вот, цитата. Люди умеют лучше объяснять чем я:
The hypernym/hyponym relationships among the noun synsets can be interpreted as specialization relations between conceptual categories. In other words, WordNet can be interpreted and used as a lexical ontology in the computer science sense. However, such an ontology should normally be corrected before being used since it contains hundreds of basic semantic inconsistencies such as (i) the existence of common specializations for exclusive categories and (ii) redundancies in the specialization hierarchy. Furthermore, transforming WordNet into a lexical ontology usable for knowledge representation should normally also involve (i) distinguishing the specialization relations into subtypeOf and instanceOf relations, and (ii) associating intuitive unique identifiers to each category. Although such corrections and transformations have been performed and documented as part of the integration of WordNet 1.7 into the cooperatively updatable knowledge base of WebKB-2, most projects claiming to re-use WordNet for knowledge-based applications (typically, knowledge-oriented information retrieval) simply re-use it as such.
Выделенное я подразумевал, когда писал о возможности использования в качестве эдакой fuzzy ambiguous ontology
Здравствуйте, kl, Вы писали:
A>>2. Все же семантика не обязательно базируется на онтологии. Есть более низкий уровень — триплет, которым описывается любой факт. Я немного писал об этом здесь
.
kl>Так в том-то и дело — RDF'ными триплетами описываются _факты_. Т.е. — data. А нам нужно — knowledge. Нам нужно знать, что факт "человек сел на стул" означает, что двуногое прямоходящее опустило свой зад на предмет мебели. Куда ж мы тут без онтологии? kl>Поэтому RDF ни в коем случае не должен противопоставляться OWL. RDF — язык описания данных. OWL — фактически отображение логических аксиом. Knowledge-base в каком-то виде.
Тут я действительно неправ. Каюсь, ставьте минус :). Метаданные на RDF люди тоже описывают, просто видимо я никогда не стремился.
Просто штука в том, что OWL имеет под собой строгую теоретическую основу — Description Logic — подмножество логики предикатов. В отличие от RDF.
Но просто все равно, если построить такой концептуальный граф из триплетов, то ничто не мешает обозвать это онтологией. Ну или по-крайней мере — таксономией.
kl wrote: > > Тут я действительно неправ. Каюсь, ставьте минус . Метаданные на RDF > люди тоже описывают, просто видимо я никогда не стремился.
Насколько я помню, для RDF метаданные описываются на RDFS (RDF Schema).
Здравствуйте, kl, Вы писали:
kl>Здравствуйте, kl, Вы писали:
kl>>Здравствуйте, Arboz, Вы писали:
A>>>Только, вы не совсем правы: A>>>1. В Wordnet нет онтологий и эту библиотеку можно использовать для поиска с учетом морфологии языка. Wordnet — это же лексическая база, но не как не онтологическая. Или я не прав?
kl>>Безусловно, WordNet — в первую очередь лексическая база. Но что такое онтология? Онтология — это формальное описание набора ключевых терминов (Concepts) предметной области и связей между ними. Ничто не мешает рассматривать слова в WordNet'e как концепты онтологии (собственно, это и приходится делать за неимением лучшего). Другое дело, что WordNet в силу своей глобальности не может не быть двусмысленной, что затрудняет ее использования в качестве онтологии. Но опять-таки — пока неудачники типа меня корпят над диссертациями по поводу автоматического построения и описания онтологий, другие строят руками из текста, data mining'ом из баз данных или юзают WordNet
kl>Вот, цитата. Люди умеют лучше объяснять чем я:
kl>
>[Skiped]
kl>Выделенное я подразумевал, когда писал о возможности использования в качестве эдакой fuzzy ambiguous ontology
Во всем можно видеть fuzzy ambiguous ontology. А пока описание ее (онтологии) не формализовано, ее нет.
Вы занимаетесь автоматическим построением и описанием онтологий? Очень интересно. А ссылки на ваши работы или на работы, которые вы используете, не приведете?
А вот объясните — в чем такая прелесть автоматизации построения онтологии. Зачем это? Ведь для конкретной предметной области можно выделить концепты, построив онтологию за конечное время, привлекая экспертов данной области. Онтология всего мира никому не интересна (чатайте, не интересна в прикладных задачах), хотя есть пара сайтов, посвященной данной теме. Да и степень детализации тоже зависит от конкретной задачи: есть онтология описывающая организм рака и состоящая из более чем 1000 концептов.
kl>>Так в том-то и дело — RDF'ными триплетами описываются _факты_. Т.е. — data. А нам нужно — knowledge. Нам нужно знать, что факт "человек сел на стул" означает, что двуногое прямоходящее опустило свой зад на предмет мебели. Куда ж мы тут без онтологии?
Поэтому RDF ни в коем случае не должен противопоставляться OWL. RDF — язык описания данных. OWL — фактически отображение логических аксиом. Knowledge-base в каком-то виде.
Это и есть база знаний. (Или ее кусочек.)
Кто бы спорил. OWL по спецификации W3C — надстройка на RDF, язык более высокого уровня.
Здравствуйте, Programmierer AG, Вы писали:
PA>kl wrote: >> >> Тут я действительно неправ. Каюсь, ставьте минус :). Метаданные на RDF >> люди тоже описывают, просто видимо я никогда не стремился. PA>Насколько я помню, для RDF метаданные описываются на RDFS (RDF Schema).
Это да, я под метаданными имел виду семантику, "информацию об информации". Т.е. не просто факты о конкретных объектах, а информацию о терминах, концептах. Типа "стул есть мебель".
RDFS же просто задает базовые элементы для использования в RDF типа rdfs:Class, rdfs:property и т.д. Чтобы парсер знал как интерпретировать данный триплет.
Здравствуйте, kl, Вы писали:
kl>Здравствуйте, kl, Вы писали:
kl>Тут я действительно неправ. Каюсь, ставьте минус . Метаданные на RDF люди тоже описывают, просто видимо я никогда не стремился.
Еще раз. OWL — это надстройка над RDF. Онтология описывается триплами.
kl>Просто штука в том, что OWL имеет под собой строгую теоретическую основу — Description Logic — подмножество логики предикатов. В отличие от RDF.
А что такое Description Logic? Не нашел определения.
Но RDF тоже имеет под собой логику предикатов. Я не прав? Можно же строить машину выводов, используя только понятия субъект-предикат-объект.
<Человек1> <сел на> <стул 1>
<стул 1> <стоит в> <комнате 1>
=>
<человек1> <находится в> <комната 1>
зачем мне здесь онтология и знания о концептах?
kl>Но просто все равно, если построить такой концептуальный граф из триплетов, то ничто не мешает обозвать это онтологией. Ну или по-крайней мере — таксономией.
+1
Arboz wrote: > > Вы занимаетесь автоматическим построением и описанием онтологий? Очень > интересно. А ссылки на ваши работы или на работы, которые вы > используете, не приведете?
Присоединяюсь к вопросу, тоже интересно. Плюс тот же вопрос и к Вам.
> А вот объясните — в чем такая прелесть автоматизации построения > онтологии. Зачем это? Ведь для конкретной предметной области можно > выделить концепты, построив онтологию за конечное время, привлекая > экспертов данной области.
Это очень дорого, т.к. "построив онтологию за конечное время, привлекая
экспертов данной области" = knowledge acquisition bottleneck.
Кстати, не знаете, кто в экс-СССР занимается Ontology Learning? Я
ничего, кроме ONTOGRID,
не находил.
kl>>Выделенное я подразумевал, когда писал о возможности использования в качестве эдакой fuzzy ambiguous ontology :)
A>Во всем можно видеть fuzzy ambiguous ontology. :) А пока описание ее (онтологии) не формализовано, ее нет.
Что значит не формализовано? Формальные языки допускают ambiguities — от этого они не перестают быть формальными, так ведь?
Вот, например как формализуется WordNet. Вообще, вопрос что можно считать онтологией а что нет — совсем неоднозначный. Мы с моим advisor'ом вообще не сходимся во мнении чем онтология отличается от таксономии. И народ об этом спорит до хрипоты :)
A>Вы занимаетесь автоматическим построением и описанием онтологий? Очень интересно. А ссылки на ваши работы или на работы, которые вы используете, не приведете?
Ну не совсем построением. Мои интересы — в мат. моделях описания онтологий, а именно нечетких и грубых, приближенных онтологий. Т.е. тех, что не поддаются классической логике. И посколько я только первый год учусь — то работ моих — кот наплакал. Есть эта:
Pavel Klinov, Lawrence J. Mazlack, "Fuzzy Rough Approach To Handling Imprecision In Semantic Web Ontologies," 25th International Conference of the North American Fuzzy Information Processing Society (NAFIPS 2006) Proceedings, Montreal, June, 2006
, но я неуверен, что NAFIPS'овские proceedings есть в свободном доступе. Вообще надо бы завести страничку и выложить, но не соберусь никак.
Что касается тех, что использую — то тут вагон и маленькая тележка. Например, Ian Horrocks' publications. По-моему скромному мнению этот человек знает об OWL и Description Logic все. Или почти все.
A>А вот объясните — в чем такая прелесть автоматизации построения онтологии. Зачем это? Ведь для конкретной предметной области можно выделить концепты, построив онтологию за конечное время, привлекая экспертов данной области.
Автоматизация онтологий — одна из задач Semantic Web. Без этого никуда. Веб должен стать доступен для машин точно так же как и для людей. А у машин в отличие от людей нет background knowledge. Онтологии облегчают эту проблему. Но никакие эксперты не смогут создать онтологии для того объема информации, который доступен в двусмыленных и противоречивых тестовых документах.
Знаю, звучит как утопия. Но что делать :)
A>Онтология всего мира никому не интересна (чатайте, не интересна в прикладных задачах), хотя есть пара сайтов, посвященной данной теме.
Безусловно. Точно так же как никто не собирается строить интеллектуального агента который может reasonить во всем будущем Semantic Web'е.
A>Да и степень детализации тоже зависит от конкретной задачи: есть онтология описывающая организм рака и состоящая из более чем 1000 концептов.
Да, медицина — сейчас главный потребитель онтологий. Загляните хотя бы сюда
A>Это и есть база знаний. (Или ее кусочек.) A>Кто бы спорил. :) OWL по спецификации W3C — надстройка на RDF, язык более высокого уровня.
Я был неправ, признаю. Но у OWL другие основы — DAML + OIL за которыми стоит строгая логика. А RDF — это как ни крути ad hoc.
Здравствуйте, Arboz, Вы писали:
A>Здравствуйте, kl, Вы писали:
A>Еще раз. OWL — это надстройка над RDF. Онтология описывается триплами.
С технической т.зрения — да. По сути — нет. Для OWL, RDF — это инструмент и не более того. Удачный способ идентифицировать объекты и концепты и все.
kl>>Просто штука в том, что OWL имеет под собой строгую теоретическую основу — Description Logic — подмножество логики предикатов. В отличие от RDF. A>А что такое Description Logic? Не нашел определения.
OWL is based on Description Logic.
A>Но RDF тоже имеет под собой логику предикатов. Я не прав? Можно же строить машину выводов, используя только понятия субъект-предикат-объект. A><Человек1> <сел на> <стул 1> A><стул 1> <стоит в> <комнате 1>
A>=> A><человек1> <находится в> <комната 1>
A>зачем мне здесь онтология и знания о концептах?
Если ты не знаешь, что комната — это внутренняя часть дома, то никакой intelligent agent не сможет, скажем, сделать вывод, что раз человек в комнате, то он не промокнет под дождем. Для этого надо знать что room is_part_of building и что такое building. И то и другое — описания концептов а не фактов.
Здравствуйте, kl, Вы писали:
kl>Что значит не формализовано? Формальные языки допускают ambiguities — от этого они не перестают быть формальными, так ведь? kl>Вот, например как формализуется WordNet.
Каюсь, вы правы. Не знал.
kl>Автоматизация онтологий — одна из задач Semantic Web. Без этого никуда. Веб должен стать доступен для машин точно так же как и для людей. А у машин в отличие от людей нет background knowledge. Онтологии облегчают эту проблему. Но никакие эксперты не смогут создать онтологии для того объема информации, который доступен в двусмыленных и противоречивых тестовых документах. kl>Знаю, звучит как утопия. Но что делать
И даже с этой точки зрения: зачем вам учить машин говорить обо всем. Машины должны общаться на конкретные темы, определяемые прикладной задачей и, соответственно, некой предметной областью.
kl>Да, медицина — сейчас главный потребитель онтологий. Загляните хотя бы сюда
Факт. Если повезет, то скоро увидите медицинский портал, работающий на технологии SemanticWeb.
A>>Это и есть база знаний. (Или ее кусочек.) A>>Кто бы спорил. OWL по спецификации W3C — надстройка на RDF, язык более высокого уровня. kl>Я был неправ, признаю. Но у OWL другие основы — DAML + OIL за которыми стоит строгая логика. А RDF — это как ни крути ad hoc.
RDF — это базис — кирпичи. А то что вы их используете для построения дома (онтологии) — это ваш выбор. Можно и бани, гаражи и т.д. и т.п. строить из кирпича.
Здравствуйте, Programmierer AG, Вы писали:
PA>Arboz wrote: >> >> Вы занимаетесь автоматическим построением и описанием онтологий? Очень >> интересно. А ссылки на ваши работы или на работы, которые вы >> используете, не приведете? PA>Присоединяюсь к вопросу, тоже интересно. Плюс тот же вопрос и к Вам.
Можно на ты. Я занимаюсь прикладными вещами в данной области.
Прикладные технологии, которыми пользуемся в основном описал здесь
А теории в сети много.
>> А вот объясните — в чем такая прелесть автоматизации построения >> онтологии. Зачем это? Ведь для конкретной предметной области можно >> выделить концепты, построив онтологию за конечное время, привлекая >> экспертов данной области. PA>Это очень дорого, т.к. "построив онтологию за конечное время, привлекая PA> экспертов данной области" = knowledge acquisition bottleneck.
Дорого конечно (наверное), но это разовая работа инженера базы знаний.
PA>Кстати, не знаете, кто в экс-СССР занимается Ontology Learning? Я PA>ничего, кроме PA>ONTOGRID, PA>не находил.
Здравствуйте, Programmierer AG, Вы писали:
PA>Arboz wrote: >> >> Вы занимаетесь автоматическим построением и описанием онтологий? Очень >> интересно. А ссылки на ваши работы или на работы, которые вы >> используете, не приведете? PA>Присоединяюсь к вопросу, тоже интересно. Плюс тот же вопрос и к Вам.
Arboz wrote: > > Можно на ты.
Договорились.
> Я занимаюсь прикладными вещами в данной области.
Очень интересно. А прикладная область какая?
> Прикладные технологии, которыми пользуемся в основном описал здесь > <http://rsdn.ru/Forum/Message.aspx?mid=1987367&only=1>
. > > А теории в сети много. >
В сети всего много. Найти нужное проблема . В противном случае кому бы
был нужен этот Semantic Web? > PA>Это очень дорого, т.к. "построив онтологию за конечное время, привлекая > PA> экспертов данной области" = knowledge acquisition bottleneck. > Дорого конечно (наверное), но это разовая работа инженера базы знаний.
ИМХО, спорное утверждение. В том смысле, что тогда разработка
программного продукта — это разовая работа программиста . Того же
порядка вещи.
> PA>Кстати, не знаете, кто в экс-СССР занимается Ontology Learning? > > Ontos <http://www.ontos.ch>, его партнер в России Avicomp > <http://www.avicomp.ru/>.
Немного не то имел в виду. Интересовали теоретические наработки в
области Ontology Learning (Extraction), автоматизированное построение
онтологии путем анализа корпуса текстов на русском языке. Или там
есть какие-то публикации, которых я не заметил?
