если ты ещё не попробовал,

WeakReference<T>

то я бы на твоём месте с этим поигрался бы

вот тут примеры для "подумать" :

http://tooslowexception.com/do-we-need-jvms-phantomreference-in-net/
https://ayende.com/blog/185889-A/implementing-phantom-reference-in-c

если ты ещё не попробовал,

WeakReference<T>

то я бы на твоём месте с этим поигрался бы

вот тут примеры для "подумать" :

http://tooslowexception.com/do-we-need-jvms-phantomreference-in-net/
https://ayende.com/blog/185889-A/implementing-phantom-reference-in-c

https://medium.com/criteo-labs/implementing-java-referencequeue-and-phantomreference-in-c-827d7141b6e4