Ищу программиста для помощи в написании переводчика с английского на русский (в идеале должен переводить художественный текст).
В общем-то переводчик уже подбирается к бете. Но на данный момент есть проблемы сбазами даный (нужна нормальная реализация доступа к БД).
Как пример, вот результат работы программы (словарь — 70 слов):
Оригинал:
The coffee that our secretary , Mary , had gotten for mister Harlan sat on the edge of my desk .
His mug was the one with the logo of Animators inc on it .
He had taken a minute sip of the coffee , when Mary had first handed it to him .
He had taken the coffee black , but he sipped it like he had not tasted it , or it did not really matter what it tasted like .
He had taken it out of politeness , not out of desire.
Перевод:
Кофе который+что наш секретарь , mary , получил для+на мистера harlan сидел на крае моего стола .
его кружка была тот с эмблемой animators корпорации на оно+это .
Он взял маленький глоток кофе , когда mary сначала вручил оно+это ему .
Он взял кофе черный , но он прихлебывал оно+это как он не ощутил вкус оно+это , или оно+это не действительно значило что+какой оно+это на вкус .
Он взял оно+это из вежливости , не из желания .
Проект shareware...
... << RSDN@Home 1.1.3 stable >>
01.09.05 19:12: Перенесено модератором из 'Открытые проекты' — AndrewVK
Здравствуйте, vvvoloshin1, Вы писали:
V>Какая используется база и что не устраивает ?
Для базы используется XML. Загрузка осуществляется посредством десериализации. А не устраивает все , т.к.:
а) Медленно.
б) Надо сортировать базу.
в) Вся база грузится в память (сейчас она 300кб — это при 70 словах, а для нормальной работы нужно 1000 или 10000 или 30000 слов).
г) при добавлении слов в базу ее приходится сортировать, чтобы потом можно было осущ. быстрый поиск... А при большом количестве слов я сомневаюсь что это будет быстрый процесс .
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, vvvoloshin1, Вы писали:
V>>Какая используется база и что не устраивает ?
F>Для базы используется XML. Загрузка осуществляется посредством десериализации. А не устраивает все , т.к.: F> а) Медленно. F> б) Надо сортировать базу. F> в) Вся база грузится в память (сейчас она 300кб — это при 70 словах, а для нормальной работы нужно 1000 или 10000 или 30000 слов). F> г) при добавлении слов в базу ее приходится сортировать, чтобы потом можно было осущ. быстрый поиск... А при большом количестве слов я сомневаюсь что это будет быстрый процесс .
В догонку: мне нужен не только специалист по БД, в принципе я не отказался бы и от разработчка GUI...
Здравствуйте, Aquary, Вы писали:
A>Здравствуйте, Fahrain, Вы писали:
F>>Для базы используется XML. Загрузка осуществляется посредством десериализации.
A>и при этом ты удивляешься маленькой скорости?
A>почему изначально ты взял именно xml в качестве хранилища?
Проще всего было, т.к. уже была разработана иерархия класов БД, т.е. все что нужно было сделать — это загрузить данные из старого формата (чистый текст) и сериализовать. Так и получился XML
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, Fahrain, Вы писали:
F>>Здравствуйте, vvvoloshin1, Вы писали:
V>>>Какая используется база и что не устраивает ?
F>>Для базы используется XML. Загрузка осуществляется посредством десериализации. А не устраивает все , т.к.: F>> а) Медленно. F>> б) Надо сортировать базу. F>> в) Вся база грузится в память (сейчас она 300кб — это при 70 словах, а для нормальной работы нужно 1000 или 10000 или 30000 слов). F>> г) при добавлении слов в базу ее приходится сортировать, чтобы потом можно было осущ. быстрый поиск... А при большом количестве слов я сомневаюсь что это будет быстрый процесс .
F>В догонку: мне нужен не только специалист по БД, в принципе я не отказался бы и от разработчка GUI...
Здравствуйте, Valicchh, Вы писали:
V>Это коммерческое предложение?
Программа пишется чтобы продаваться. На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ (вообще есть — только их не видно и не слышно ). Т.е. теоретически, если довести программу до ума, ее можно продавать.
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, Valicchh, Вы писали:
V>>Это коммерческое предложение?
F> Программа пишется чтобы продаваться. На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ (вообще есть — только их не видно и не слышно ). Т.е. теоретически, если довести программу до ума, ее можно продавать.
Здравствуйте, Fahrain, Вы писали:
F> Проще всего было, т.к. уже была разработана иерархия класов БД, т.е. все что нужно было сделать — это загрузить данные из старого формата (чистый текст) и сериализовать.
эээ... а почему, имея иерархию БД, ты не стал использовать саму БД?
Здравствуйте, Aquary, Вы писали:
AA>эээ... а почему, имея иерархию БД, ты не стал использовать саму БД?
Дык с базами данных я практически не работал (максимум, что требовалось — это получить данные из готовой БД, кот. делает другая программа). Так что с ней надо было разбираться... Я попробовал, но там главная проблема — это то, что в базе получается 6-8 таблиц различной степени связанности... И вот тут-то все ивстало
Здравствуйте, Fahrain, Вы писали:
F> Дык с базами данных я практически не работал
Инструмент всегда выбирается исходя из задачи. Если требуется хранить десятки тысяч записей — ясен пень, что требуется БД... если ты с ними не работал, это повод для того, чтобы начать изучать эту облаcть, но никак не подстраивать под задачу то, что ты лучше всего знаешь.
А если бы ты с XML никогда не работал — что бы ты делал тогда с этой задачей?
Здравствуйте, Aquary, Вы писали:
A>Здравствуйте, Fahrain, Вы писали:
F>> Дык с базами данных я практически не работал
A>Инструмент всегда выбирается исходя из задачи. Если требуется хранить десятки тысяч записей — ясен пень, что требуется БД... если ты с ними не работал, это повод для того, чтобы начать изучать эту облаcть, но никак не подстраивать под задачу то, что ты лучше всего знаешь.
A>А если бы ты с XML никогда не работал — что бы ты делал тогда с этой задачей?
Писал бы по-другому . А насчет БД — с ней надо разбираться, на это нужно время => основной проект стоит. Что важнее СКОРОСТЬ или работоспособность ПРОЕКТА?
Доброго времени суток, Fahrain!
F>Писал бы по-другому . А насчет БД — с ней надо разбираться, на это нужно время => основной проект стоит. Что важнее СКОРОСТЬ или работоспособность ПРОЕКТА?
РАБОТОСПОСОБНОСТЬ ПРОЕКТА!!!
Потому как ошибки дольше исправлять, и они многое могут за собой на дно потянуть (исхожу из собственного опыта)!
Так что бери доку, и впярёд!
Здравствуйте, Кирилл Осенков, Вы писали:
КО>Здравствуйте, Fahrain, Вы писали:
F>> В общем-то переводчик уже подбирается к бете. КО>Используешь ли ты синтаксический разбор предложений?
В принципе, хотелось бы. В данный момент там примитивнейший алгоритм — простая разбивка на слова. Вообще, надо как-то определять гле начинается и кончается прямая речь. А так, на сложных предложениях вроде бы все работает правильно
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, jinek, Вы писали:
J>>Возьмите меня на GUI.
Чуть не забыл: насчет GUI — там возни много будет... Нужен редактор-переводчик, нужен редактор БД, нужен редактор склонений слов и т.п. В принципе они уже есть (я писал), но до идеала так далеко...
Здравствуйте, Fahrain, Вы писали:
F> На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ
На самом деле их целаая куча, но все они переводят не лучше чем
The coffee that our secretary , Mary , had gotten for mister Harlan sat on the edge of my desk .
...
Кофе который+что наш секретарь , mary , получил для+на мистера harlan сидел на крае моего стола .
... <<Rammstein — Klavier Rsdn@Home 1.1.4 beta 1 Windows XP 5.1.2600.0 >>
Здравствуйте, DEMON HOOD, Вы писали:
DH>Здравствуйте, Fahrain, Вы писали:
F>> На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ DH>На самом деле их целаая куча, но все они переводят не лучше чем DH>
DH>The coffee that our secretary , Mary , had gotten for mister Harlan sat on the edge of my desk .
DH>...
DH>Кофе который+что наш секретарь , mary , получил для+на мистера harlan сидел на крае моего стола .
Ага, особенно если учесть, что предложение изначально написано не верно
На самом деле, если тебе не нравится такой перевод (кстати, абсолютно правильный, т.к. в предложении (оригинале) явно проблемы с орфографией), то его всегда можно поправить. В частности будет (пока только в виде задумки — ищется алгоритм) модуль, корректирующий конечный результат. Вот там и можно будет задать правильный перевод для такого предложения.
А вообще, сейчас переводчик переводит тот-же текст так:
Кофе который+что наш секретарь , Мари , получила для+на мистера Харлана сидел на крае моего стола .
Его кружка была того+той+одного с эмблемой Аниматорс корпорации на нем+этом .
Он взял маленький глоток кофе , когда Мари сначала вручила его+это ему .
Он взял черный кофе , но он прихлебывал оно+это как он не ощутил вкус оно+это , или оно+это не действительно значило что+какой оно+это на вкус .
Он взял оно+это из вежливости , не из желания .
Здравствуйте, Fahrain, Вы писали:
F>>> На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ
Возможно оффтоп, если что сорри.
Давным-давно, Новосибирский филиал Novosoft Inc. (я тогда проходил там студенческую стажировку) купил у каких-то москвичей-лингвистов коды ПО называемого "Этап-3". Эта была очередная программа-переводчик. Переводила она, кстати, лучше ПРОМТа, да и то не все. Небольшая ее предыстория. Некоторая лингвистическая группа занималась ее разработкой к тому времени уже несколько лет, но насколько я понял у них была критическая нехватка программистов, а может небыло нехватки, проект вроде был коммерческий, а может и нет, в общем не могу точно сказать как они дошли до продажи проекта, но дошли. Новософт для реализации этого проекта взял лингвистов, психологов и др. многих умных дядей (и тетей). Проект планировался большой на несколько человеко лет. В общем проект со временем умер.
К чему я это все, да к тому, что ИМХО рано Вы за БД взялись, да за реализацию ГУИв, судя по текущему переводу лингвистической модели в основе движка-переводчика никакой нет.
P.S. Все что я написал про "Этап-3" и про Новософт, это лишь взгляд со стороны, возможно все было не так, если кто знает, поправит меня.
Здравствуйте, ie, Вы писали:
ie>Здравствуйте, Fahrain, Вы писали:
ie>К чему я это все, да к тому, что ИМХО рано Вы за БД взялись, да за реализацию ГУИв, судя по текущему переводу лингвистической модели в основе движка-переводчика никакой нет.
Ну насчет лингвистической модели — это вы загнули. Модель есть, просто она еще дорабатывается Вообще, переводчик на данном этапе своего развития сильно напоминает движок к к-л игрушке, т.е качество перевода прямо зависит от того, какие данные введены в его БД. Как я уже говорил выше — не нравится "точный" перевод к-л предложения — его можно прописать в БД и это предложение будет переводиться по другому. Все в ваших руках
P.S.: Вы не забывайте — проект пока еще не вышел со стадии альфы... Многие вещи еще в стадии идеи. В идеале, по окончании перевода, русский текст будет обрабатываться отдельным модулем, там будут исправляться несовместимые варианты перевода в словосочетаниях и т.п. Все впереди...
Здравствуйте, Fahrain, Вы писали:
F>Ну насчет лингвистической модели — это вы загнули. Модель есть, просто она еще дорабатывается
ИМХО, для успешного перевода текста его нужно понять, т.е. пропарсить в некую внутреннюю структуру. Уже эту структуру можно будет сериализовать в любой поддерживаемый язык. Программы, переводящие пословно, никогда не станут умными, сколько их ни учи.
Поэтому я бы начал с парсера естественных языков и продумывания внутренних структур данных для хранения грамматических конструкций. По этому поводу уже много чего сделано, в сети валяется достаточно материалов по этому поводу. Синтаксический разбор, база данных языковых конструкций — если у вас это будет, то для добавления нового языка достаточно будет указать соответствие между абстрактными грамматическими конструкциями и конкретными реализациями в добавляемом языке. Совет: вам бы найти программиста, на 5 знающего немецкую грамматику — немецкий очень богатый и в тоже время четкий язык, там нет такого безобразия с порядком слов, как в русском, и такой бедной "слабосвязанной" грамматики, как в английском. Если научиться парсить и генерировать обратно немецкий язык — можете считать, что дело в шляпе.
Здравствуйте, Fahrain, Вы писали:
F> В общем-то переводчик уже подбирается к бете. Но на данный момент есть проблемы сбазами даный (нужна нормальная реализация доступа к БД).
Если вам еще нужен программист БД пишите -> dmitrybal@mail.ru
ГУЙ тоже можно обсудить.
Здравствуйте, Кирилл Осенков, Вы писали:
КО>Здравствуйте, Fahrain, Вы писали:
КО>Поэтому я бы начал с парсера естественных языков и продумывания внутренних структур данных для хранения грамматических конструкций. По этому поводу уже много чего сделано, в сети валяется достаточно материалов по этому поводу. Синтаксический разбор, база данных языковых конструкций — если у вас это будет, то для добавления нового языка достаточно будет указать соответствие между абстрактными грамматическими конструкциями и конкретными реализациями в добавляемом языке. Совет: вам бы найти программиста, на 5 знающего немецкую грамматику — немецкий очень богатый и в тоже время четкий язык, там нет такого безобразия с порядком слов, как в русском, и такой бедной "слабосвязанной" грамматики, как в английском. Если научиться парсить и генерировать обратно немецкий язык — можете считать, что дело в шляпе.
Ну тут все зависит о точки зрения... Я не спорю — в теории это звучит хорошо, а на практике мы получаем перевод а-ля ПРОМТ, когда читать полученный текст практически невозможно. Из наиболее распространненных ошибок ПРОМТа: в словосочетаниях прилагательное+существительное после перевода сущуствительное становится прилагательным, а прилагательное — существительным; совершенно невозможно заставить переводить группу слов не как фразу, а по-отдельности; при добавлении новых слов в базу — если эти слова склоняются по другим правилам (исключения) — невозможно задать правильное склонение (это как раз баг лингвистической модели).
Здравствуйте, Fahrain, Вы писали:
F>Ну тут все зависит о точки зрения... Я не спорю — в теории это звучит хорошо, а на практике мы получаем перевод а-ля ПРОМТ, когда читать полученный текст практически невозможно.
А ПРОМТ работает на основе синтаксического разбора?
P.S. Вы кстати не интересовались, кто как переводит?
Здравствуйте, Кирилл Осенков, Вы писали:
КО>Здравствуйте, Fahrain, Вы писали:
F>>Ну тут все зависит о точки зрения... Я не спорю — в теории это звучит хорошо, а на практике мы получаем перевод а-ля ПРОМТ, когда читать полученный текст практически невозможно. КО>А ПРОМТ работает на основе синтаксического разбора?
КО>P.S. Вы кстати не интересовались, кто как переводит?
Нет, не интересовался. Кстати — а что вы имеете в виду под "кто"? Насколько я знаю из переводчиков с англ. на русский сейчас есть только ПРОМТ и его клоны... Из того же, что можно найти — все программы написаны до 96 года. Я бы сказал, что сейчас они устарели. Из иностранных же, довольно часто упоминается TRADOS, но, во-первых, стоит как паровоз, а во-вторых — он все-таки для проф. переводчиков...
... << RSDN@Home 1.1.4 beta 3 rev. 185>>
Re[13]: Пишу переводчик...
От:
Аноним
Дата:
10.11.04 18:08
Оценка:
to Fahrain:
Если тебе нужен хороший GUI, тогда пиши на eisernWolf@tut.by. Высылай скриншоты, описание и мы что-нибудь да придумаем. Есть несколько способов оптимизации. Первый: просто навести марафет. Второй: заюзать контролы в стиле XP, операции drag&drop и т.п. И третий: полностью переработать интерфейс с использованием оптимизированных контролов типа скролл-бара, у которого две кнопочки для прокрутики находятся рядом, т.е. если пользователь ошибся, то чтобы пролистать документ чуть выше нужно передвинуть мышь всего лишь на пару миллиметров. Ну и в том же духе.
А насчет перевода: не пробовал поработать в направлении нейронной сети?
Здравствуйте, eisernWolf, Вы писали:
W>to Fahrain:
W>Если тебе нужен хороший GUI, тогда пиши на eisernWolf@tut.by. Высылай скриншоты,
W>А насчет перевода: не пробовал поработать в направлении нейронной сети?
Тут вроде один уже откликнулся. Так что если не получится — то к вам
А насчет нейронных сетей — тут разбираться надо (причем не смоими знаниями математики), да и комп нужен довольно-таки мощный... Вообще я когда начинал писать тоже хотел прирутить работу с сетями, но: возни много, алгоритмы придется разрабатывать чутьли не с нуля и т.д. А сейчас — пустил поиск по базе, не нашел — изменил слово по правилу и пускаешь поиск по базе...
... << RSDN@Home 1.1.4 beta 3 rev. 185>>
Re[14]: Пишу переводчик...
От:
Аноним
Дата:
11.11.04 04:34
Оценка:
>>возни много, алгоритмы придется разрабатывать чутьли не с нуля и т.д.
На самом деле, ты уже больше возишься с тем, чтобы сделать из корявого перевода что-то более менее читаемое. А один раз написав и обучив себе нейронную сеть, она бы уже работала на тебя, принося результаты. Самый субъективно короткий путь не всегда оказывается действительно самым коротким.
Мне даже интересно, что выйдет. Может как появится много свободного времени, займусь (дык вот только вопрос, когда оно появится .
Здравствуйте, eisernWolf, Вы писали:
>>>возни много, алгоритмы придется разрабатывать чутьли не с нуля и т.д.
W>На самом деле, ты уже больше возишься с тем, чтобы сделать из корявого перевода что-то более менее читаемое. А один раз написав и обучив себе нейронную сеть, она бы уже работала на тебя, принося результаты. Самый субъективно короткий путь не всегда оказывается действительно самым коротким.
Ага, только на обучение сети уйдет столько-же времени, сколько и на формальное описание английского языка. И я сомневаюсь, что потом эту самую сеть будет легко доучить на новые конструкции. По-крайней мепре это уже явно задача для "продвинутого" пользователя. Кстати — самым сложным на данный момент оказалось не определить грамматику, а определить части речи слов в предложении (особенно когда среди вариантов перевода есть и существительные и глаголы).
Да, чуть не забыл. Я тоже сначала думал, что переводжчик — это просто. На самом деле то, что вы видите — это уже ДЕВЯТАЯ версия алгоритма. На данный момент она самая стабильная.
P.S.: А пишу переводяик я уже 1,5 года.
P.P.S.: Если получится с нейронной сетью — это хорошо. Так что пишите. Можем даже объединить алгоритмы
Здравствуйте, Fahrain, Вы писали:
F> P.P.S.: Если получится с нейронной сетью — это хорошо. Так что пишите. Можем даже объединить алгоритмы
Сорри за возможный оффтоп, вставлю свои 5 копеек. Сталкивался я с подобной задачей, тоже иногда было посматривал в сторону нейронных сетей(не представляя, откровенно говоря, на тот момент практически ничего о данной области). Так вот состоялся у меня разговор с человеком, который этим занимается на достаточно серьезном уровне. Так вот его резюме было таково — сейчас нейронные сети на слуху во многом благодаря тому, что они достаточно популярны и "модны" в научных кругах. Действительно, они решают многие проблемы, но для этого нужен как минимум кластер на пару процессоров как минимум
... << RSDN@Home 1.1.4 @@subversion >>
Re[17]: Пишу переводчик...
От:
Аноним
Дата:
12.11.04 04:03
Оценка:
Dr.Gigabit >>для этого нужен как минимум кластер на пару процессоров как минимум
Как насчет распознания mouse gestures с помощью нейронной сети? Если инетересно, поищи на codeproject. Работает на любой машине, на которой установлена .net framework.
Мы же собираемся решать глобальные задачи.
Fahrain >>Я тоже сначала думал, что переводжчик — это просто.
Ну а я так по крупному счету и не думаю.
>> И я сомневаюсь, что потом эту самую сеть будет легко доучить на новые конструкции.
На самом деле с точностью до наоборот.
>> По-крайней мепре это уже явно задача для "продвинутого" пользователя.
Ну так а ты что, деньги собрался заработать или в песочнице поиграть?
>> Кстати — самым сложным на данный момент оказалось не определить грамматику, а определить части речи слов в предложении (особенно когда среди вариантов перевода есть и существительные и глаголы).
А проблема в том, что линейный алгоритм имеет жесткую логику (как бы ты ее не крутил), а человеческий язык порою ей не подчиняется. Поэтому для этой задачи нейронка подходит куда как лучше.
Если расчитываешь на коммерческий рынок, то тебе нужна долгоиграющая программа, а не однодневка, которая умрет, как только ее скачают пару пользователей и убедятся в неудовлетворительном качестве перевода.
А чтобы пользователи скачивали и им нравилось до такой степени, что они готовы были заплатить тебе денешку, нужна своя изюминка, и соответствующий уровень перевода.
Здравствуйте, eisernWolf, Вы писали:
>>> И я сомневаюсь, что потом эту самую сеть будет легко доучить на новые конструкции.
W>На самом деле с точностью до наоборот.
Ага, только для того, чтобы ее доучить нуден как минимум человек разбирающийся в НС. Или тут есть какие-то варианты? А с линейным алгоритмом просто — прописал новую схему, устранил конфликты с остальными и — все работает.
>>> По-крайней мепре это уже явно задача для "продвинутого" пользователя.
W>Ну так а ты что, деньги собрался заработать или в песочнице поиграть?
Т.е. вы мне предлагаете разработать программу, котлрая будет стоить несколько тыс. вечнозеленых. Продать две-три копии и забыть про нее?
>>> Кстати — самым сложным на данный момент оказалось не определить грамматику, а определить части речи слов в предложении (особенно когда среди вариантов перевода есть и существительные и глаголы).
W>А проблема в том, что линейный алгоритм имеет жесткую логику (как бы ты ее не крутил), а человеческий язык порою ей не подчиняется. Поэтому для этой задачи нейронка подходит куда как лучше.
Верю. На самом деле, если использовать нейронную сеть на этапе анализа, то это возможно будет выгоднее линейного алгоритма. Если возьметесь — это было бы здорово. Тут все упирается в то, что для правильного определения грамматики необходимо знать часть речи слов в предложении. Фактически надо точно знать к какой группе частей речи принадлежит текущее слово, т.е.:
а) прилагательное/существительное/местоимение
или
б) наречие/глагол
Судя по тому, что у меня получается, это можно сделать по типам окружающих слов, но с определенными ограничениями. Например, для предолжения "Love loves me." мы можем определить, что первое слово — это существительное, т.к. в английском языке, если подряд идут два глагола, то один из них либо вспомогательный глагол, либо это фраза. Хотя, это тоже верно процентов на 60.
Именно для решения этой задачи нейронная сеть была бы очень полезна.
И второй момент. В программе будет модуль (если вы посмотрите выше, то я про это уже писал), который будет чистить за переводчиком текст. Алгоритм пока находится в стадии проектирования, но основная идея такова: мы знаем сочетаемость/несочетаемость слов друг с другом (достаточно взять и попасить пару книг и мы получим вероятности встречи нескольких слов в словосочетании на русском языке). После перевода, будут отбрасываться те варианты перевода, которые дают несочетаемость.
Здравствуйте, Fahrain, Вы писали:
F> Судя по тому, что у меня получается, это можно сделать по типам окружающих слов, но с определенными ограничениями. Например, для предолжения "Love loves me." мы можем определить, [...]
Английский язык — это одно сплошное западло Например, "Time flies like an arrow" = "Временные мухи любят стрелу"
Здравствуйте, Кирилл Осенков, Вы писали:
КО>Здравствуйте, Fahrain, Вы писали:
КО>Английский язык — это одно сплошное западло Например, "Time flies like an arrow" = "Временные мухи любят стрелу"
Ну тут можно сказать однозначно:
1) an arrow — существительное. Получаем "Time flies like + сущ."
2) глагол + глагол невозможная ситуация (подробнее смотрите выше). -> like это глагол, а flies это НЕглагол, в данном случае — существительное.
3) получаем: "Time сущ. глагол сущ."
Здравствуйте, Fahrain, Вы писали:
F> Ну тут можно сказать однозначно:
Да вот выходит, что нельзя. Я привел предложение, которое является полностью грамматически корректным в двух разных смыслах. В английском такие неоднозначности — на каждом шагу.
F> 1) an arrow — существительное. Получаем "Time flies like + сущ."
да. F> 2) глагол + глагол невозможная ситуация (подробнее смотрите выше). -> like это глагол, а flies это НЕглагол, в данном случае — существительное.
или наоборот: flies это глагол а like это еще что-нибудь
Вообще, если отбросить шутки, то правильно фраза переводится так: "Время летит как стрела" Поэтому для идеальной системы детерминированного парсера мало, правильно вы говорите: надо скормить системе много текстов, тогда она начнет понимать, что про мух — это бред
Здравствуйте, Кирилл Осенков, Вы писали:
КО>Здравствуйте, Fahrain, Вы писали:
КО>Вообще, если отбросить шутки, то правильно фраза переводится так: "Время летит как стрела" Поэтому для идеальной системы детерминированного парсера мало, правильно вы говорите: надо скормить системе много текстов, тогда она начнет понимать, что про мух — это бред
Вот тут-то и может помочь нейронная сеть. Как я себе это представляю — она будет просто "узнавать" некоторые виды конструкци (словосочетаний). Проблема — как всегда — в реализации. И обучении...
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, Кирилл Осенков, Вы писали:
КО>>Здравствуйте, Fahrain, Вы писали:
КО>>Вообще, если отбросить шутки, то правильно фраза переводится так: "Время летит как стрела" Поэтому для идеальной системы детерминированного парсера мало, правильно вы говорите: надо скормить системе много текстов, тогда она начнет понимать, что про мух — это бред
F> Вот тут-то и может помочь нейронная сеть. Как я себе это представляю — она будет просто "узнавать" некоторые виды конструкци (словосочетаний). Проблема — как всегда — в реализации. И обучении...
Кстати! Только сейчас сообразил: эту же задачу можно решить и более простыми средствами — например, рассчитав вероятности сочетания слов (писал, кстати, выше). А еще проще — перевести и так и так — пусть юзер думает!
Здравствуйте, Fahrain, Вы писали:
F>А еще проще — перевести и так и так — пусть юзер думает!
Это лучше всего. Подчеркнуть сомнительное место, и при правом щелчке дать выбрать один из вариантов. Другое дело, по умолчанию ставить наиболее вероятный вариант, но это, как говорится, по мере возрастания атомных весов.
... << RSDN@Home 1.1.4 beta 3 rev. 185>>
Re[10]: Пишу переводчик...
От:
Аноним
Дата:
12.11.04 22:10
Оценка:
> ИМХО, для успешного перевода текста его нужно понять, т.е. пропарсить в некую внутреннюю структуру. Уже эту структуру можно будет сериализовать в любой поддерживаемый язык. Программы, переводящие пословно, никогда не станут умными, сколько их ни учи.
Может это поможет ...
"В июне 1960 года в журнале Scientific American появилась статья Джеймса Кука Брауна (James
Cooke Brown) под названием "Логлан". В ней подробно описывался новый логический язык — логлан (loglan = logical language), который был создан специально для того, чтобы проверить гипотезу Сепира-Уорфа. В этом языке отсутствовали все двусмысленности и противоречия, характерные для обычных языков."
"До сих пор некоторые программы автоматического перевода используют логлан как промежуточный внутренний язык, — то есть переводя, например, с английского, они сначала переводят для себя текст на логлан, а потом уже с логлана — на любой другой язык — немецкий, французский или китайский."
Кстати! На днях подсчитал: в "Active Voice" всего-навсего 80 видов предложений.
Число получено след. образом: 16 временных форм * 5 (количество видов предложений)
Здравствуйте, Fahrain, Вы писали:
F> Кстати! На днях подсчитал: в "Active Voice" всего-навсего 80 видов предложений. F> Число получено след. образом: 16 временных форм * 5 (количество видов предложений)
F> Ф ведь есть еще и пассив...
The gate squeaked, but rusty hinge has long since ceased to bother him.
Переведет?
... << RSDN@Home 1.1.4 beta 3 rev. 185>>
Уйдемте отсюда, Румата! У вас слишком богатые погреба.
The gate squeaked, but rusty hinge has long since ceased to bother him.
S>Переведет?
Ну, если не считать того, что в базе части слов нет (это легко исправить ), то единственная проблема возникнет вот тут: "has long since ceased", т.к. я еще не прописывал обработку наречий между вспомогательным глаголом и сказуемым (хотя модет и пройти, т.к. по идее там образуется сегмент вида наречие+глагол, который будет восприниматься как глагол). Попробовать не могу, т.к. под руками программы нету
Можно сказать, что основной алгоритм переводчика готов. Осталось написать работу с базу данных. Однако, встретился с проблемой выбора правильной части речи, которая используется для слова в текущем предложении. Если вспомнить такое предложение "Time flyes like an arrow", то я думаю будет понятно в чем проблема.
Собственно, после долгих размышлений пришел к следующему алгоритму предварительного анализа предложения:
1) Определяем все части речи (типы слов) которые могут принимать слова в предложении.
2) создаем n-ое количество предложений, в которых каждое слово имеет один тип (т.е. избавляемся от многовариантности перевода (т.е. многовариантность остается но в рамках одной части речи)).
3) Проверяем все полученные предложения на грамматику и отбрасываем те, которые содержат невозможные грамматические конструкции или не подходят ни под одну из грамматических временных форм предложений в английском.
4) Анализируем результат для каждого предложения из полученных:
а) Получаем список связей между словами в предложении (генерится в п.3).
б) Для каждой связи определяем валидность словосочетания (т.е. теоретическую возможность образования такого словосочетания в русском).
в) Каждой связи на основании предыдущего пункта назначаем некий числовой индекс, показывающий вероятность образования такого словосочетания. Если хотя-бы для одной связи индекс равен нулю (т.е. словосочетание образоваться не может), это предложение отбрасывается.
г) Результирующим вариантом перевода будет то предложение, укоторого сумма индексов будет выше. (???)
Примечание:
Индексы определяются следующим образом: При разработке генерируется некая база данных содержащая возможные словосочетания (Примерный алгоритм: анализируем русский текст, получаем словосочетания, определяем частоту встречаемости, рассчитываем индекс (как?)). Также, в базе заданы словосочетания, которые невозможна по какким-либо причинам.
Вопрос такой: насколько этот алгоритм будет жизнеспособен, т.е. стоит ли его писать или идея неверна в корне?
Behind them, unseen, a tiny scrap of paper floated down and landed near the remains of John Renshaw's shirt. Spiky backhand script read:
Hey, kids! Special in this Vietnam Footlocker!
(For a Limited Time Only)
1 Rocket Launcher
20 Surface-to-Air "Twister" Missiles
1 Scale-Model Thermonuclear Weapon
ПОСЛЕ ПЕРЕВОДА
Behind them , unseen , tiny scrap paper floated down и landed near remains John Renshaw's рубашка .
Hey , kids ! Special в этот Vietnam Footlocker !
(for Limited Время Only)
1 Rocket Launcher
20 Surface-to-air " Twister " Missiles
1 Scale-model Thermonuclear Weapon
КАК ХОТЕЛОСЬ БЫ
Они не видели, как у них за спиной, рядом с обрывками рубашки Джона Реншо, приземлился листочек бумаги, на котором угловатым с обратным наклоном почерком было написано:
ЭЙ, ДЕТИШКИ! ТОЛЬКО В ЭТОМ ВЬЕТНАМСКОМ СУНДУЧКЕ!
(Выпуск скоро прекращается)
1 ракетная установка
20 ракет "Твистер" класса "земля-воздух"
1 термоядерный заряд, уменьшенный до масштаба набора.
пока не густо будем ждать новых версий
... <<silent Rsdn@Home 1.1.4 beta 1 Windows XP 5.1.2600.0 >>
Re[5]: Пишу переводчик...
От:
Аноним
Дата:
16.12.04 19:20
Оценка:
> Программа пишется чтобы продаваться. На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ (вообще есть — только их не видно и не слышно ). Т.е. теоретически, если довести программу до ума, ее можно продавать.
ПРОМТ сам по себе препоганенький переводчик, только благодаря возможности настройки и "самообучения" можно превратить его действительно достойный переводчик. Знаю людей у которых хватило терпения и времени.
Только переводчик писал далеко не один человек...
Электронные переводчики художественных текстов, как вы писали ранее, это глупость. Поскольку не знающему английский он вряд ли поможет оценить хуждожественную ценность текста.
Здравствуйте, DEMON HOOD, Вы писали:
DH>для тех кто не понял как его использовать....
DH>Trans.exe — очевидно не рабочий, так как кроме about там ничего не работает
Рабочий Просто это графическая версия trans_console. Умеет открывать текстовые файлы (файлы не должны содержать кавычки и скобки, т.к. возможны проблемы). Перевод — клавишей F9. Кстати, только эта программа может редактировать список собственных местоимений и склонять их (т.е. там можно ввести какое-нибудь имя собственное и просклонять его так как надо.)
DH>WidsEdit.exe BaseEditor.exe IdmEdit.exe Sklon_Words.exe — какието утилиты для корректировки словарей
Именно так Кстати, если вдруг какое-то слово склоняется неправильно, то Sklon_Words.exe предназначен именно для этого.
DH>trans_console.exe — действительно переводит! использовать так -> DH>
А еще мложно просто запустить trans_console без параметров и ввести нужную строку текста...
DH>пока не густо будем ждать новых версий
Работаем
А насчет перевода — вы посмотрели, есть ли слова из вашего текста в словаре? Насколько я знаю их там нкогда небыло Так что ищите другой текст, или можно модифицировать словарь...
Здравствуйте, gaidar, Вы писали:
>> Программа пишется чтобы продаваться. На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ (вообще есть — только их не видно и не слышно ). Т.е. теоретически, если довести программу до ума, ее можно продавать.
G>ПРОМТ сам по себе препоганенький переводчик, только благодаря возможности настройки и "самообучения" можно превратить его действительно достойный переводчик. Знаю людей у которых хватило терпения и времени. G>Только переводчик писал далеко не один человек...
Все зависит от алгоритма. Например, я так и не смог понять зачем промт меняет местами прилагательные и существительные, т.е. очень часто вместо фразы "ручной тормоз" получается "тормозная рука" (пример взят с потолка, так что не придирайтесь , но смысл именно такой)
G>Электронные переводчики художественных текстов, как вы писали ранее, это глупость. Поскольку не знающему английский он вряд ли поможет оценить хуждожественную ценность текста.
Ну, тут вопрос вкуса... Во-первых, если человек не знает хотябы основ языка, то электронный переводчик ему не поможет, особенно в художественных текстах, т.к. есть некоторые выражения (фразы, ссыдки на произведения и т.п.), которые не знающему язык ничего не скажут, он даже не поймет что имелось в виду. (тот же промт упорно переводит вопрос "How do you do?" как "Как ты делаешь?")
Во-вторых, планируется использовать базу словосочетаний, по которой будет выбираться наиболее вероятный перевод, более подробно смотрите Оцените идею...
Здравствуйте, Fahrain, Вы писали:
F>Здравствуйте, gaidar, Вы писали:
>>> Программа пишется чтобы продаваться. На данный момент на рынке НЕТ программ-переводчиков сравнимых с ПРОМТ (вообще есть — только их не видно и не слышно ). Т.е. теоретически, если довести программу до ума, ее можно продавать.
G>>ПРОМТ сам по себе препоганенький переводчик, только благодаря возможности настройки и "самообучения" можно превратить его действительно достойный переводчик. Знаю людей у которых хватило терпения и времени. G>>Только переводчик писал далеко не один человек...
F> Все зависит от алгоритма. Например, я так и не смог понять зачем промт меняет местами прилагательные и существительные, т.е. очень часто вместо фразы "ручной тормоз" получается "тормозная рука" (пример взят с потолка, так что не придирайтесь , но смысл именно такой)
G>>Электронные переводчики художественных текстов, как вы писали ранее, это глупость. Поскольку не знающему английский он вряд ли поможет оценить хуждожественную ценность текста.
F> Ну, тут вопрос вкуса... Во-первых, если человек не знает хотябы основ языка, то электронный переводчик ему не поможет, особенно в художественных текстах, т.к. есть некоторые выражения (фразы, ссыдки на произведения и т.п.), которые не знающему язык ничего не скажут, он даже не поймет что имелось в виду. (тот же промт упорно переводит вопрос "How do you do?" как "Как ты делаешь?") F> Во-вторых, планируется использовать базу словосочетаний, по которой будет выбираться наиболее вероятный перевод, более подробно смотрите Оцените идею...
F> Идея пока находится в стадии анализа, но теоретически должно работать...
Если готов попробовать вам помочь по части БД
какой базой вы хотите пользоваться
есть ли у Вас какие-то мысли как это должно все выглядеть
какой объем будет иметь БД (количество записей в релизе)
и все что можете прислать
admin@itsoft.by
Изменения:
— при переводе выдаются как варианты перевода слова (одной части речи), так и варианты перевода предложений (если часть речи слова достоверно определить не удалось).
— Опознание имен собственных в тексте.
— Возможность ввода склонения имен собственных
— Склонение фраз.
Исправлены различные ошибки.
Расширен набор синтаксических конструкций языка.
Точность перевода простых предложений более 80% (если известны все слова).
Для сложных предложений пока не заданы скрипты анализа и обработки, поэтому могут быть ошибки.
, т.к.:
.
). Т.е. теоретически, если довести программу до ума, ее можно продавать.
