Здравствуйте, ·, Вы писали:

·>Токенайзер выдаёт линейный поток токенов, в случае json это будет плоский список {, "field1", :, "value", "field2", :, 42, }.
BFE>>·>Токенайзер этим занимается. Иначе, например, \" он не сможет правильно на токены побить.
BFE>>Что мешает токенайзеру пропустить все пары \" до одиночного символа " ?
·>json спека? \", \u и прочие \n определены одинаково. Почему токенайзер каким-то escape-последовательностям отдавать предпочтение — неясно.
Хорошо. Тогда не понятно, почему escape-последовоательность не отдельный токен:
Т.е. почему для Json'а ["\u00312345"] токенайзер выдаст: [, "12345", ], а не [, ", \u0031, 2345, ", ]