всем привет!

С помощью какой либы можно сделать такое:
есть текст в юникоде, нужно определить к какому языку(вм) может относиться каждый символ?

Здравствуйте, makdak, Вы писали:

M>есть текст в юникоде, нужно определить к какому языку(вм) может относиться каждый символ?

Довольно несложно написать самому, думаю.

Таблица вот: http://jrgraphix.net/research/unicode_blocks.php

M>С помощью какой либы можно сделать такое:
M>есть текст в юникоде, нужно определить к какому языку(вм) может относиться каждый символ?

Если нужно реализовать определение языка по тексту, то лучше воспользоваться готовой библиотекой (они обычно работают на основе статистических методов и содержат в себе модели большинства языков).

Здравствуйте, chaotic-kotik, Вы писали:

CK>Если нужно реализовать определение языка по тексту, то лучше воспользоваться готовой библиотекой (они обычно работают на основе статистических методов и содержат в себе модели большинства языков).

какие можете посоветовать?
еще было б не плохо если б эта либа умела отделять буквы от цифр, знаков пунктуации и т.п. символов.

M>С помощью какой либы можно сделать такое:
M>есть текст в юникоде, нужно определить к какому языку(вм) может относиться каждый символ?
libtextcat

Здравствуйте, makdak, Вы писали:

M>и т.п. символов.

Что это значит? Цифры и пунктуацию легко отделят обычные регекспы. Но есть еще псевдографика, символы типа © ™ и т.п., математические (которые могут совпадать, например, с греческим или ивритом), смайлы, другие символы. Что именно нужно отделять?

Тут ведь главная задача формализовать твои требования, иначе никакая библиотека-всемогутор не поможет.

Здравствуйте, Ops, Вы писали:

Ops>Что это значит? Цифры и пунктуацию легко отделят обычные регекспы. Но есть еще псевдографика, символы типа © ™ и т.п., математические (которые могут совпадать, например, с греческим или ивритом), смайлы, другие символы. Что именно нужно отделять?

Ops>Тут ведь главная задача формализовать твои требования, иначе никакая библиотека-всемогутор не поможет.
нужно отделить [a-zA-Z](буквы из алфавита. у всех же народов он есть?) от остальных. или хотя б для большинства современных. для дальнейшего вывода на экран.
регекспы-тоже думал о них, но оставил этот вариант на последок, т.к. думаю это ресурсоемко и не удобно(хотя не пробовал еще)

M>нужно отделить [a-zA-Z](буквы из алфавита. у всех же народов он есть?) от остальных. или хотя б для большинства современных. для дальнейшего вывода на экран.
M>регекспы-тоже думал о них, но оставил этот вариант на последок, т.к. думаю это ресурсоемко и не удобно(хотя не пробовал еще)


std::iswprint?

Здравствуйте, chaotic-kotik, Вы писали:


CK>std::iswprint?

не годитс. хотя бы из за плавающей размерности wchar_t на разных платформах

Цыфры ещё китайские бывают, и настоящие арабские, например.