Есть собственно конкретная задача: даны 2 "строки" в одной скажем 1000 слов и она хранится в памяти и эта строка постоянно и полностью меняется, другая хранится в файле и имеет очень большой размер.
Нужно произвести МАКСИМАЛЬНО быстрый поиск слов первой строки во второй, то есть найти совпадает ли хоть одно слово из первой строки хотябы с одним словом второй и если да то какое с каким.
Таких поисков нужно производить n штук параллельно. Нагрузка очень большая.
Это только частный пример.

Так как с такой областью как программирование серверов баз данных я ни бум бум, собственно вылезает множество вопросов:
как лучше хранить данные в файле? маппить в память? чем и как лучше читать и записывать?? как производить БЫСТРЫЙ поиск??? индексирование??? организацию многопоточности? можно ли организовать быстрый неточный поиск???какие алгоритмы лучше всего??? какие функции под windows лучше использовать?? поддержку unicode?
ну ессесно все это с возможность расширения,
SQL тут ессесно не нужен
Есть ли где почитать?? исходники??? чем проще тем лучше... алгоритмы?
Заранее примногоблагодарен:)