1. Нужен словарь английских слов с словоформами. Т.е. если я программно анализирую некоторый текст — выдергиваю слово, далее мне нужно получить все словоформы для этого слова. (заодно если можете сообщите о возможности его использования в коммерческом софте)
2. Нужна статистика использования слов в английском языке. Слово — статистика. Порядка первых 15000... Пока нашел только первые 2500.
Здравствуйте, Ellin, Вы писали:
E>1. Нужен словарь английских слов с словоформами
Для английского языка в отличие от русского подобие словаря Зализняка нафиг не нужно. С направильными глаголами, нерегулярными формами множественного числа существительных и т.п. мелкими исключениями разобраться не проблема. А для остальных слов образование форм совершенно регулярно. Или есть проблемы с -ing, -s, -ed?
E>2. Нужна статистика использования слов в английском языке. Слово — статистика. Порядка первых 15000... Пока нашел только первые 2500.
Что значит "статистика"? Абсолютная частота использования? Сочетаемость? Что-то еще?
Частотность за пределами нескольких первых тысяч расходится даже у крупнейших корпусов. Ибо она зависит от характера текста, а никто не способен объять необъятное. Могу сбросить тебе мои старые данные по частотности для ~900000 словоформ, без стемминга, с грамматическими маркерами, основанную на BNC. Только я сильно подозреваю, что на самом деле это тебе нафиг не нужно. Может быть озвучишь решаемую тобой задачу?
Все, что здесь сказано, может и будет использоваться против меня.
Здравствуйте, Alex Reyst, Вы писали:
AR>Здравствуйте, Ellin, Вы писали:
E>>1. Нужен словарь английских слов с словоформами
AR>Для английского языка в отличие от русского подобие словаря Зализняка нафиг не нужно. С направильными глаголами, нерегулярными формами множественного числа существительных и т.п. мелкими исключениями разобраться не проблема. А для остальных слов образование форм совершенно регулярно. Или есть проблемы с -ing, -s, -ed?
Елки точно в англ. нет словоформ! Мне по слову нужно знать сущ. оно или глагол. И знать синонимы и антонимы. Тот словарь, что в MS Word — слабоват.
Еще мне нужна озвучка слов. Т.е. слово и как оно произносится. Все это желательно в свободном доступе дабы я мог использовать в своем ком. софте...
E>>2. Нужна статистика использования слов в английском языке. Слово — статистика. Порядка первых 15000... Пока нашел только первые 2500.
AR>Что значит "статистика"? Абсолютная частота использования? Сочетаемость? Что-то еще?
AR>Частотность за пределами нескольких первых тысяч расходится даже у крупнейших корпусов. Ибо она зависит от характера текста, а никто не способен объять необъятное. Могу сбросить тебе мои старые данные по частотности для ~900000 словоформ, без стемминга, с грамматическими маркерами, основанную на BNC. Только я сильно подозреваю, что на самом деле это тебе нафиг не нужно. Может быть озвучишь решаемую тобой задачу?
Я имел ввиду что-то такое здесь. Но только на 15000. Мне приблизительно, точные коэф. не нужны...
Если рассказывать задачу — боюсь попросту убью впустую Ваше время...
Re[3]: Англ. язык словоформы
От:
Аноним
Дата:
08.12.09 23:07
Оценка:
Здравствуйте, Ellin, Вы писали:
E>Елки точно в англ. нет словоформ!
Вот как раз по моему английский дрейфует в сторону образования словоформ. И английские языковеды кстати Обвиняют в этом эмигрантов из России.
Здравствуйте, Ellin, Вы писали:
E>Елки точно в англ. нет словоформ!
Кто их украл?!
E> Мне по слову нужно знать сущ. оно или глагол.
В общем случае эта задача решения не имеет. Для определения части речи в английском языке требуется как минимум грамматический разбор всей фразы, и то это не гарантирует однозначности.
Курить начиная от "POS tagging", готовых решений различной степени качества завались.
E> И знать синонимы и антонимы.
WordNet, XWN. Либеральные лицензии, готовые интерфейсы доступа для более чем десятка языков от PHP до Haskell'я.
E>Еще мне нужна озвучка слов. Т.е. слово и как оно произносится.
Гугль, 4 секунды поиска: тынц, тынц. Если не устраивает по каким-то причинам — затрать на поиск более чем 4 секунды, и наверняка найдешь подходящий тебе вариант.
E>Все это желательно в свободном доступе дабы я мог использовать в своем ком. софте...
В свободном доступе еще не означает возможности честного бесплатного использования в коммерческом ПО. Смотри условия использования в каждом конкретном случае.
E> Но только на 15000.
Такой мелочи не держим. Вот тебе чуть поболее, "от лучших мировых производителей". Если не подойдет лицензия, то опять же Гугль по запросу word frequency list запросто спасет отца русской демократии .
Все, что здесь сказано, может и будет использоваться против меня.
AR>Частотность за пределами нескольких первых тысяч расходится даже у крупнейших корпусов. Ибо она зависит от характера текста, а никто не способен объять необъятное. Могу сбросить тебе мои старые данные по частотности для ~900000 словоформ, без стемминга, с грамматическими маркерами, основанную на BNC. Только я сильно подозреваю, что на самом деле это тебе нафиг не нужно. Может быть озвучишь решаемую тобой задачу?
Вышлите, пожалуйста, на hh2xz6@rambler.ru... если не сложно...
Ато я тут нашел здесь, но 6000 мало. Мне бы тыс 15000 и в основном из диалогов.
Может у кого-нибудь есть идеи где взять тексты с бытовыми диалогами? Пьесы?
Здравствуйте, Alex Reyst, Вы писали:
AR>Здравствуйте, Ellin, Вы писали:
E>>если не сложно
AR>Для коммерческих продуктов я свою базу не отдаю. То, что тебе нужно — сообщением выше
Пока нашел только первые 2500.
Кто их украл?! 