Debug - работает, Release - не работает - Nemerle

Библиотека-парсер, написана на PEG, несколько достаточно больших грамматик. Debug версия занимает — 500 кб, Relese — 1700 кб. Debug — работает, Release — не работает. Куда копать, дело в Peg или это более общая проблема?

Здравствуйте, Ka3a4oK, Вы писали:

KK>Библиотека-парсер, написана на PEG, несколько достаточно больших грамматик. Debug версия занимает — 500 кб, Relese — 1700 кб. Debug — работает, Release — не работает. Куда копать, дело в Peg или это более общая проблема?

В релизе делается ряд оптимизаций. В том числе генерируются ДКА для разбора токенов. В Peg поведение токенов в релизе и дебаге могло отличаться. Возможно в этом дело. А возможно просто баг.

В чем заключается неработоспособность? Не компилируется грамматика? Или прасер парсит не верно?

Здравствуйте, VladD2, Вы писали:

VD>Здравствуйте, Ka3a4oK, Вы писали:

KK>>Библиотека-парсер, написана на PEG, несколько достаточно больших грамматик. Debug версия занимает — 500 кб, Relese — 1700 кб. Debug — работает, Release — не работает. Куда копать, дело в Peg или это более общая проблема?

VD>В релизе делается ряд оптимизаций. В том числе генерируются ДКА для разбора токенов. В Peg поведение токенов в релизе и дебаге могло отличаться. Возможно в этом дело. А возможно просто баг.

VD>В чем заключается неработоспособность? Не компилируется грамматика? Или прасер парсит не верно?

Все компилируется, но не парсится.

VD>В Peg поведение токенов в релизе и дебаге могло отличаться. Возможно в этом дело. А возможно просто баг.
Такое различие само по себе разве не баг?

Здравствуйте, Ka3a4oK, Вы писали:

KK>Все компилируется, но не парсится.

Покажи грамматику и на чем она падает. Оптимально, если сможешь выделить минимальный пример.

VD>>В Peg поведение токенов в релизе и дебаге могло отличаться. Возможно в этом дело. А возможно просто баг.
KK>Такое различие само по себе разве не баг?

Ну, если и баг, то в дизайне. Просто в дебаге ДКА не использвется и вместо этого используются правила ПЕГ. А в дебаге, для ускорения, испоьзуются ДКА. А они не так гибки.

Здравствуйте, VladD2, Вы писали:

VD>Здравствуйте, Ka3a4oK, Вы писали:

KK>>Все компилируется, но не парсится.

VD>Покажи грамматику и на чем она падает. Оптимально, если сможешь выделить минимальный пример.

Постараюсь выделить.

Здравствуйте, Ka3a4oK, Вы писали:

KK>Постараюсь выделить.

Это первое что нужно сделать для отладки. Возможно сразу поймешь в чем дело. Ну, или мы сможем взглянув на грамматику сказать, что не так.

Далее нужно попробовать вот эту строчку:

      _isDebug  = _typer.Manager.Options.IsConstantDefined("DEBUG");

махнуть на:

      _isDebug  = true;

Если это даст положительный эффект, то дело в оптимизации.

VD>Это первое что нужно сделать для отладки. Возможно сразу поймешь в чем дело. Ну, или мы сможем взглянув на грамматику сказать, что не так.

VD>Далее нужно попробовать вот эту строчку:
VD>

VD>      _isDebug  = _typer.Manager.Options.IsConstantDefined("DEBUG");
VD>

VD>махнуть на:
VD>

VD>      _isDebug  = true;
VD>

VD>Если это даст положительный эффект, то дело в оптимизации.

Где искать эту строчку?

Здравствуйте, Ka3a4oK, Вы писали:

KK>Где искать эту строчку?

В поиске по файлам, лучше всего.

nemerle\snippets\peg-parser\Nemerle.Peg.Macros\Compiler\GrammarCompiler\Constructor.n

Свел грамматику близко к минимальному примеру.

using Nemerle.Collections;
using Nemerle.Text;
using Nemerle.Utility;

using System;
using System.Collections.Generic;
using System.Console;
using Nemerle;
using Nemerle.Peg;

module Program
{
    [  PegGrammar
        (  Option=None,
            ROOT_r,
            grammar
            {
                anychar_p= ['\u0000'..'\uFFFF'];
                digit_p= [Nd];
                sp:void= ' '*;

                group_b_r:int=digit_p+;
                group_a_r:int=(digit_p+ (sp digit_p+ "X" digit_p+)?);
                
                ROOT_r:int=(!line_r (raw_line_r) sp)* line_r;
                      
                    line_r:int= group_a_r sp group_b_r sp (!"&" anychar_p)* "&" sp;
                   raw_line_r:int= (!'&' anychar_p)* '&';
            }
        )
    ]
    class Grammar
    {
        group_a_r(_ : NToken, _ : option[(NToken * NToken * NToken)]):int
        {
            1
        }
            
        group_b_r(_:NToken):int
        {
            1
                
        }
                  
        raw_line_r(_:NToken, _:NToken):int
        {
           1
        }

        ROOT_r(_:List[int], _:int):int
        {
            1
        }

        line_r(_:int, _:int, _:NToken, _:NToken):int
 
        {
            1
        }
    }

    Main():void
    {
        def parser=Grammar();
        
        match(parser.Parse("111 2222&"))
        {
        |Some()=> WriteLine("OK")     //Debug
        |None()=> WriteLine("Error")  //Release
        }
        
        _ = ReadLine();
    }
}

Здравствуйте, Ka3a4oK, Вы писали:

KK>Свел грамматику близко к минимальному примеру.

Строку для разбора приведи, на которой падет.

Здравствуйте, Ka3a4oK, Вы писали:

KK>Свел грамматику близко к минимальному примеру.

KK>

KK>module Program
KK>{
KK>    [  PegGrammar
KK>        (  Option=None,

KK>

Советую использовать в отладочных целях: Options = EmitDebugSources

VD>Строку для разбора приведи, на которой падет.

Все приведено. В самом низу, в функции main.

Так что с этой проблемой? Будете исправлять?

Здравствуйте, Ka3a4oK, Вы писали:

Проблема возникает из-за этого правила:

raw_line_r:int= (!'&' anychar_p)* '&';

Если вместо anychar_p вписать другое, что не присутствует в строке, то релиз проходит.

Нужно найти более простой пример и отлаживать оптимизацию Nemerle.Peg.

Здравствуйте, _NN_, Вы писали:

_NN>Здравствуйте, Ka3a4oK, Вы писали:

_NN>Проблема возникает из-за этого правила:
_NN>

_NN>raw_line_r:int= (!'&' anychar_p)* '&';
_NN>

_NN>Если вместо anychar_p вписать другое, что не присутствует в строке, то релиз проходит.

_NN>Нужно найти более простой пример и отлаживать оптимизацию Nemerle.Peg.

Не все так просто. Я не зря привел такой сложный пример.

Если заменить правило

group_a_r:int=(digit_p+ (sp digit_p+ "X" digit_p+)?);

на правило

group_a_r:int=(digit_p+);

то релиз так же проходит.

Здравствуйте, Ka3a4oK, Вы писали:

KK>то релиз так же проходит.
Видимо выбора не остается, нужно отлаживать Nemerle.Peg.

Компилятор для этого собирать не нужно, достаточно собрать peg в отдельном проекте и проверять.

Здравствуйте, Ka3a4oK, Вы писали:

KK>

                ROOT_r:int=(!line_r (raw_line_r) sp)* line_r;
                      
                line_r:int= group_a_r sp group_b_r sp (!"&" anychar_p)* "&" sp;
                   raw_line_r:int= (!'&' anychar_p)* '&';

Кажись грамматика противоречивая. line_r от raw_line_r отличается только пробелом в конце. В root_r внутри скобок этот последний пробел не принимается: !line_r
но принимается raw_line_r и ожидается пробел: (raw_line_r) sp

Здравствуйте, Аноним, Вы писали:

А>Здравствуйте, Ka3a4oK, Вы писали:

KK>>

А>                ROOT_r:int=(!line_r (raw_line_r) sp)* line_r;
                      
А>                line_r:int= group_a_r sp group_b_r sp (!"&" anychar_p)* "&" sp;
А>                   raw_line_r:int= (!'&' anychar_p)* '&';
А>

А>Кажись грамматика противоречивая. line_r от raw_line_r отличается только пробелом в конце. В root_r внутри скобок этот последний пробел не принимается: !line_r
А>но принимается raw_line_r и ожидается пробел: (raw_line_r) sp

Не важно. Это осталось от исходной грамматики. Можно убрать пробел в конце правила line_r и все равно поведение сохранится.

Здравствуйте, _NN_, Вы писали:

_NN>Здравствуйте, Ka3a4oK, Вы писали:

KK>>то релиз так же проходит.
_NN>Видимо выбора не остается, нужно отлаживать Nemerle.Peg.

_NN>Компилятор для этого собирать не нужно, достаточно собрать peg в отдельном проекте и проверять.

Мне интересно, новый PEG aka N2 корректно себя ведет в этой ситуации или нет?

Здравствуйте, Ka3a4oK, Вы писали:

KK>Не важно. Это осталось от исходной грамматики. Можно убрать пробел в конце правила line_r и все равно поведение сохранится.

Сперва надо разобраться в правильности грамматики и только потом разбираться в различии дебага с релизом. Попробуй свою грамматику написать в визуальном редакторе грамматик и проверить правильность. Например на antlr.

	От:	Ka3a4oK
	Дата:	07.06.13 16:55
	Оценка:

От:	VladD2	www.nemerle.org
Дата:	07.06.13 17:09
Оценка:

	От:	Ka3a4oK
	Дата:	07.06.13 17:21
	Оценка:

От:	VladD2	www.nemerle.org
Дата:	07.06.13 18:28
Оценка:

	От:	Ka3a4oK
	Дата:	07.06.13 18:31
	Оценка:

От:	_NN_	www.nemerleweb.com
Дата:	09.06.13 07:21
Оценка:

	От:	Аноним
	Дата:	15.06.13 13:40
	Оценка:

	От:	Аноним
	Дата:	15.06.13 15:12
	Оценка: