Здравствуйте, КАА, Вы писали:

КАА>А как же Яндекс? Они себя позиционируют таким образом, что там все с русским чик-пык...
КАА>Да и запросы действительно умно обрабатывают.

Ага. Щаз. слово 'секс' может быть. А вот проверка : есть такая организация ИГРАН.
Ссылок на нее немало. А попробуйте найти их в Яндексе....здесь

NB : это слово не является НИКАКОЙ формой слова "игра"
Вывод : Яндекс вообще не занимается разбором слов, а использует что-то
вроде SOUNDEX адаптированного к особенностям грамматики русского языка.

КАА>А словарь можно иметь заранее, что по нему потом определять принадлежность слов.

Для русского языка эта задача не является контекстно-независимой. Точка.
Можно, правда, выделить некое подмножество языка, на котором задача
разрешима в отрыве от контекста.

Из известных мне языков задача разбора слова всегда контекстно-независима
только в Эсперанто. Что наводит на размышления....