Создал Windows Control Library. Определил свой контрол от System.Windows.Forms.Control, который создает TextureBrush. При попытке использовать данный контрол из формы в момент создания TextureBrush приложение падает OutOfMemoryException.
например так
new TextureBrush(Image.FromFile(...));
new TextureBrush(myImage, rect);
если создать кисть в форме и передать в контрол, то все работает.