Нашёл причину. Оказывается под DNSKEY owner name писатели RFC понимают формат QNAME(sequence of labels).
Но честно говоря могли бы и яснее изъясняться. Написали же сами "The digest is calculated by concatenating the canonical form of the fully qualified owner name...". А FQDN у нас что? Вроде как dskey.example.com