Тут все даже проще. Нам всего лишь надо найти вершины области пересечения.
Ищем все точки пересечения сторон треугольника. Если они есть, то искомые вершины — это они, плюс, возможно, некоторые из вершин самих треугольников. Вариантов немного, так что написать такую функцию сверхбольшого труда не должно составлять.
