C>Что можно почитать на тему проектирования таких штук?

Хехе... работаю над вполне себе полноценным редактором 3D, при этом там еще и IDE для программирования, и дебаггер, и вагон всяких необычных UI, и вообще много всего. Включая клиент-сервер в прямом смысле этого слова.

На тему проектирования могу предложить прочитать какое-нибудь руководство ассенизатора. Судя по некоторым знакомым из Adobe, ситуация аналогичная.

Единственное, что действительно важно — это система и способ подключения плагинов. Так, чтобы они не могли слишком легко сломать приложение-хост.