DD>Может кто подскажет в какую сторону копать?

Попереворачивать ваше облако точек. Минимум 6 вариантов.
Для каждого из вариантов как-то "сымулировать заполнение жидкостью". Не частицами. Что-нибудь типа поднятых вверх до предположительной плоскости горлышка (или до пересечения) "призм" должно помочь.

Так вы найдете, в какую сторону примерно верх. Использовать эту ось как начальное решение для итерационного алгоритма: понаклонять ось во все стороны, пока конструкция не встанет на три точки.
Решить, что внутри этих трех точек считать центром.
Еще придется решить, что считать плоскостью горлышка (у декоративных ваз он может быть очень неровный).

Не уверен, что это работает но меня обычно выручают алгоритмы не читерские (вроде суммы нормалей), а те которые моделируют "суть" явления/объекта: в данном случае содержать жидкость + не падать на ровной поверхности.

В предельном случае ваза может быть очень сложной. Представьте себе корявую "картошку" у которой сделали два параллельных среза с разных сторон (верх и дно) и с одной из сторон сделали углубление.
Даже в этом случае нет гарантии, что где-то не найдется более вместительно естественного углубления, такого, что на противоположной стороне будут три точки, на которые ваза обопрется.