S>используя avcodec я делаю рекордер который который записыват mp4 с видео и аудио
S>аудио я получаю в виде потока в формате AV_SAMPLE_FMT_FLTP

S>подскажите пожалуйста как сформировать AVFrame с аудио в формате AV_SAMPLE_FMT_FLTP

Непонятно, в чем конкретно сложность и вопрос. Подкину пару примеров:

— вот пример аудио транскодинга https://github.com/FFmpeg/FFmpeg/blob/master/doc/examples/transcode_aac.c (смотри функцию convert_samples())
— вот енкодирование аудио с заданием сэмпл формата https://github.com/FFmpeg/FFmpeg/blob/master/doc/examples/encode_audio.c