Здравствуйте, amt2001, Вы писали:

A>Помогите разобраться где ошибка.

Очень смущает следующее:

<Publish Dialog="SetupTypeDlg1" Control="CustomButton" Event="NewDialog" Value="CustomizeDlg">1</Publish>
...
<Control Id="CustomButton" Type="PushButton" X="40" Y="118" Width="80" Height="17" ToolTip="!(loc.SetupTypeDlgCustomButtonTooltip)" Text="!(loc.SetupTypeDlgCustomButton)">
              <Publish Property="WixUI_InstallMode" Value="InstallCustom">1</Publish>
              <Publish Event="NewDialog" Value="[WixUI_SetupTypeDlg_NextCustom]">1</Publish>
            </Control>

То есть у вас при нажатии на кнопку CustomButton будет показываться два диалога???
В данном случае, должен будет показаться только один из диалогов. Скорее всего первая строчка лишняя.

А ошибка происходит потому, что скорее всего у вас свойство WixUI_SetupTypeDlg_NextCustom не установлено.
Или установлено в несуществующий диалог. О чем и говорит компилятор.