А> А как же заполняется код внутри состояний. Он не похож на машинно генерированный.
А> И что делают, если надо расширить синтаксис, код-то внутри уже написан?

Есть возможность прямо в грамматику вставлять куски кода, которые будут выполняться в процессе анализа. Можно посмотреть YACC, JavaCC, AntLR- там есть куча примеров....