Товарищи, необходимо быстро конвертировать bitmap одного формата (может быть любого разрешения, но 24 бита на пиксель) в bitmap другого формата (разрешение фиксированное -- 320х240, 24 бита на пиксель) для последующего вывода на экран, после чего ещё необходимо послать кадр по сети (естественно он жмётся, но это уже к делу не относится).

Конвертирую так :

    //Здесь VIDEOCHAT_X, VIDEOCHAT_Y -- константы, равные 320 и 240 соответственно
    BITMAPINFOHEADER * srcInfo = videoCB.getBitmapInfo(); //Исходный формат данных
    unsigned char * srcData = videoCB.getBuffer();      //Исходные данные
    unsigned char * bmpData = srcData;//NULL; //Буффер, куда будут записываться преобразованные данные

    BITMAPINFOHEADER inf; // Задаём формат буффера
    inf.biSize = sizeof(BITMAPINFOHEADER);
    inf.biWidth = VIDEOCHAT_X;
    inf.biHeight = VIDEOCHAT_Y;
    inf.biPlanes = 1; 
    inf.biBitCount = 24;
    inf.biCompression = BI_RGB;
    inf.biSizeImage = (((inf.biWidth*inf.biBitCount + 31)& ~31)/8)*(inf.biHeight);
    inf.biXPelsPerMeter = 0;
    inf.biYPelsPerMeter = 0;
    inf.biClrUsed = 0;
    inf.biClrImportant = 0;

    // Convert to compatible format (bitmap, no compression, 24bpp, 320x240)
    HDC dc = ::GetDC(NULL);
    HDC memDc = ::CreateCompatibleDC(dc);
    HBITMAP bmp = ::CreateCompatibleBitmap(dc, VIDEOCHAT_X, VIDEOCHAT_Y);
    ::ReleaseDC(NULL, dc);
    ::SelectObject(memDc, bmp);
    ::SetStretchBltMode(memDc, COLORONCOLOR);
    int x, y;
    int dx, dy;
    if (((double)srcInfo->biWidth / (double) srcInfo->biHeight) > (4.0/3.0)) {
        x = VIDEOCHAT_X;
        y = srcInfo->biHeight * (3.0/4.0);
        dx = 0;
        dy = (VIDEOCHAT_Y - y) / 2.0;
    }
    else {
        y = VIDEOCHAT_Y;
        x = srcInfo->biWidth * (4.0/3.0);
        dy = 0;
        dx = (VIDEOCHAT_X - x) / 2.0;
    }
    int res = ::StretchDIBits(memDc, dx, dy, x, y, 0, 0, srcInfo->biWidth, srcInfo->biHeight, srcData, (BITMAPINFO*)srcInfo, DIB_RGB_COLORS, SRCCOPY);

    HBITMAP curr = (HBITMAP)::SelectObject(memDc, NULL);

    bmpData = new unsigned char[inf.biSizeImage];

    int numLines = GetDIBits(memDc, bmp, 0, VIDEOCHAT_Y, bmpData, (BITMAPINFO*)&inf, DIB_RGB_COLORS); 

    ::DeleteBitmap(bmp);
    ::DeleteDC(memDc);

Всё бы хорошо, только вот скорость меня не устраивает. Если этот код закомментировать, то видео и звук будут синхронизированы, а если оставить, то видео будет заметно отставать. Подскажите пожалуйста, как сделать быстрее это преобразование? Может быть стоит использовать что-то другое, а не GDI?

Здравствуйте, andrey.viktorov, Вы писали:

AV>Товарищи, необходимо быстро конвертировать bitmap одного формата (может быть любого разрешения, но 24 бита на пиксель) в bitmap другого формата (разрешение фиксированное -- 320х240, 24 бита на пиксель) для последующего вывода на экран, после чего ещё необходимо послать кадр по сети (естественно он жмётся, но это уже к делу не относится).

[skip]

AV>Всё бы хорошо, только вот скорость меня не устраивает. Если этот код закомментировать, то видео и звук будут синхронизированы, а если оставить, то видео будет заметно отставать. Подскажите пожалуйста, как сделать быстрее это преобразование? Может быть стоит использовать что-то другое, а не GDI?

Даешь больше кода!!! Как я понял ты это делаешь в своем фильтре ( скорей всего собственный соурс фильтр. ) . Покажи, что ты там еще написал. В свое время делал подобное Из картинок делал поток + наложение фоновой музыки. (было несколько заморочек с синхронизацией). В качестве альтернативы можно использовать DES.

Мм... не совсем. Имеется граф, построенный почти руками. Имеется два ISampleGrabber'a (свой фильтр было лень писать, думаю обойтись этим) : один цепляется перед IFileSource'ом для выдирания собственно bitmap'ов (там же и ставится 24-х битность битмапа), другой цепляется перед Default Direct Sound Device и хватает PCM (по идее надо на концы посадить по Null Renderer'у, но тоже было лень). Есть два каллбака на каждый из потоков. Как только у нас приходит семлп, сразу вызывается процедура обработки видео\аудио и дальнейшей отсылки на сервер (есть нюанс такой : аудио отсылается ровно каждую секунду, а не по приходу семлпа, т.е. данные из семплов копятся, пока таймер не сработает). Вот аудио нормально шлётся и играется, а вот с видео... целыми днями с ним борюсь.

У нас имеется два каллбака :

////////////////////////////////////////////////
// Header
////////////////////////////////////////////////

class AudioCallback : public ISampleGrabberCB {
    private:
        // Data
        unsigned char pcmData[AUDIOBUFF];
        DWORD bufferSize;
        HANDLE eventHandler;
        int currentTime;
    public:
        // Constructors/Destructor
        inline AudioCallback() : bufferSize(0), currentTime(0) {}
        inline virtual ~AudioCallback() {}
        
        // Methods
            // Get methods
        inline unsigned char * getBuffer() { return &pcmData[0];}
        inline DWORD getBufferSize() const { return bufferSize;}
        inline void flushBuffer() { bufferSize = 0;}
            // Add event handler
        inline void addEventHandler(HANDLE ev) { eventHandler = ev;}
            // Audio callback
        HRESULT __stdcall BufferCB(double SampleTime, BYTE *pBuffer, long BufferLen);

            // This method is not implemented
        inline HRESULT __stdcall SampleCB(double SampleTime, IMediaSample *pSample) {return S_OK;}
            // Fake out any COM reference counting
        inline ULONG __stdcall AddRef() {return 2;}
        inline ULONG __stdcall Release() {return 1;}
            // Fake out any COM QI'ing
        inline HRESULT __stdcall QueryInterface(const IID &riid, void **ppvObject) {
            if (NULL == ppvObject) return E_FAIL;
            if (riid == IID_ISampleGrabber || riid == IID_IUnknown) {
                *ppvObject = (void*)static_cast<ISampleGrabberCB*>(this);
                return S_OK;
            }
            return E_NOINTERFACE;
        }
};

class VideoCallback : public ISampleGrabberCB {
    private:
        // Data
        unsigned char * bmpData;
        long bufferSize;

        bmiEx bmpInfo;
        ISampleGrabber * pGrab;
        HANDLE eventHandler;
        HWND hOwner;
        
    public:
        // Constructors/Destructor
        inline VideoCallback() : bmpData(NULL), pGrab(NULL) {}
        inline virtual ~VideoCallback() {}

        // Methods
            // Get methods
        inline unsigned char * getBuffer() const { return bmpData;}
        inline long getBufferSize() const { return bufferSize;}
        inline BITMAPINFOHEADER* getBitmapInfo() { return (BITMAPINFOHEADER*)&bmpInfo;}
            // Add event handler
        inline void addEventHandler(HANDLE ev) { eventHandler = ev;}
            // Attach to ISampleGrabber interface
        inline void attach(ISampleGrabber * pGrabber) { pGrab = pGrabber;} 
            // Video callback
        HRESULT __stdcall BufferCB(double SampleTime, BYTE *pBuffer, long BufferLen);
            //
        inline HRESULT __stdcall SampleCB(double SampleTime, IMediaSample *pSample) {return S_OK;}
            // Fake out any COM reference counting
        inline ULONG __stdcall AddRef() {return 0;}
        inline ULONG __stdcall Release() {return 0;}
            // Fake out any COM QI'ing
        inline HRESULT __stdcall QueryInterface(const IID &riid, void **ppvObject) {
            if (NULL == ppvObject) return E_FAIL;
            if (riid == IID_ISampleGrabber || riid == IID_IUnknown) {
                *ppvObject = (void*)static_cast<ISampleGrabberCB*>(this);
                return S_OK;
            }
            return E_NOINTERFACE;
        }
};

////////////////////////////////////////////////
// Cpp
////////////////////////////////////////////////


// Audio & Video callbacks
    // Audio
HRESULT AudioCallback::BufferCB(double SampleTime, BYTE *pBuffer, long BufferLen) {
    if (NULL == pBuffer) {
        return E_FAIL;
    }

//    SetEvent(eventHandler); -- этот евент срабатывает по таймеру
    
    if (bufferSize+BufferLen <= AUDIOBUFF) {
        memcpy((void*)&pcmData[bufferSize], (void*)pBuffer, BufferLen);
        bufferSize += BufferLen;
    }

    return S_OK;

}

HRESULT VideoCallback::BufferCB(double SampleTime, BYTE *pBuffer, long BufferLen) {
    if (NULL == pBuffer || NULL == pGrab) {
        return E_FAIL;
    }
    SetEvent(eventHandler);

    AM_MEDIA_TYPE type;
    pGrab->GetConnectedMediaType(&type);
    VIDEOINFOHEADER * vidHdr = (VIDEOINFOHEADER*)type.pbFormat;
    BITMAPINFOHEADER * header = (BITMAPINFOHEADER*)&vidHdr->bmiHeader;
    memcpy((void *)&bmpInfo, (void *)header, sizeof(BITMAPINFOHEADER));

    bmpData = pBuffer;
    bufferSize = BufferLen;

    return S_OK;
}

и имеется поток, который следит за приходом семплов (оба каллбака расположены в private-части класса FileCapture) :

void FileCapture::run() {
    Logger::debug("FileCapture::run - start");
    string errMsg;
    bool isStopOnError = false;
    while (finishRun != false) {
        HANDLE waiters[] = { videoProcessingWaiter, audioProcessingWaiter };    
        DWORD i;
        if ((i=WaitForMultipleObjects(2, waiters, FALSE, 0)) == WAIT_TIMEOUT) continue;   
        i = i - WAIT_OBJECT_0;

        if (listeners.IsEmpty()) {
            ResetEvent(waiters[i]);
            continue;
        }

        try {
            if (waiters[i] == videoProcessingWaiter) {
                processPendingVideo();
            }

            if (waiters[i] == audioProcessingWaiter) {
                processPendingAudio();
                audioCB.flushBuffer();
            }
        }catch(BaseException * e) {
            errMsg = e->getMessage();
            delete e;
            isStopOnError = true;
        }
        catch(std::bad_alloc&) {
            errMsg = "Out of memory";
            isStopOnError = true;
        }

        if(isStopOnError)
            break;

    }
    if(isStopOnError) {
        ::MessageBox(NULL, errMsg.c_str(), "Error", MB_OK | MB_ICONERROR);
        Logger::error("FileCapture::run - stop by reason: \"" + errMsg + "\"");
        FileCapture::destruct();
    }
    finishComplete = true;
    Logger::debug("FileCapture::run - done");
}

процедура обработки видео (немного оптимизировал, сделав bmpData массивом с фиксированной длиной и вынеся videoFmt за пределы функции, ибо он один раз должен инициализироваться) :

void FileCapture::processPendingVideo() {
    BITMAPINFOHEADER * srcInfo = videoCB.getBitmapInfo();
    unsigned char * srcData = videoCB.getBuffer();


    // Convert to compatible format (bitmap, no compression, 24bpp, 320x240)
    HDC dc = ::GetDC(NULL);
    HDC memDc = ::CreateCompatibleDC(dc);
    HBITMAP bmp = ::CreateCompatibleBitmap(dc, VIDEOCHAT_X, VIDEOCHAT_Y);
    ::ReleaseDC(NULL, dc);
    ::SelectObject(memDc, bmp);
    ::SetStretchBltMode(memDc, COLORONCOLOR);
    int x, y;
    int dx, dy;
    if (((double)srcInfo->biWidth / (double) srcInfo->biHeight) > (4.0/3.0)) {
        x = VIDEOCHAT_X;
        y = srcInfo->biHeight * (3.0/4.0);
        dx = 0;
        dy = (VIDEOCHAT_Y - y) / 2.0;
    }
    else {
        y = VIDEOCHAT_Y;
        x = srcInfo->biWidth * (4.0/3.0);
        dy = 0;
        dx = (VIDEOCHAT_X - x) / 2.0;
    }
    int res = ::StretchDIBits(memDc, dx, dy, x, y, 0, 0, srcInfo->biWidth, srcInfo->biHeight, srcData, (BITMAPINFO*)srcInfo, DIB_RGB_COLORS, SRCCOPY);

    HBITMAP curr = (HBITMAP)::SelectObject(memDc, NULL);

    int numLines = GetDIBits(memDc, bmp, 0, VIDEOCHAT_Y, &bmpData[0], (BITMAPINFO*)&videoFmt, DIB_RGB_COLORS); 

    ::DeleteBitmap(bmp);
    ::DeleteDC(memDc);
    // Send data to listeners
    ResetEvent(videoProcessingWaiter);
    POSITION p = listeners.GetHeadPosition();
    while (NULL != p) {
        CaptureListener * listener = listeners.GetNext(p);
        LOCK(listeners);
        
        listener->onVideoFrame(VIDEOCHAT_X, VIDEOCHAT_Y, (BYTE*)&bmpData[0]);
        UNLOCK(listeners);
    }
}

////////////////// Описание videoFmt ////////////
    videoFmt.biSize = sizeof(BITMAPINFOHEADER);
    videoFmt.biWidth = VIDEOCHAT_X;
    videoFmt.biHeight = VIDEOCHAT_Y;
    videoFmt.biPlanes = 1; 
    videoFmt.biBitCount = 24;
    videoFmt.biCompression = BI_RGB;
    videoFmt.biSizeImage = (((videoFmt.biWidth*videoFmt.biBitCount + 31)& ~31)/8)*(videoFmt.biHeight);
    videoFmt.biXPelsPerMeter = 0;
    videoFmt.biYPelsPerMeter = 0;
    videoFmt.biClrUsed = 0;
    videoFmt.biClrImportant = 0;

Звук обрабатывается аналогичным образом (конвертируется через acm в нужный формат и так же шлётся всем листенерам).

Т.е. по сути я не забочусь о синхронности: она должна обеспечиваться за счёт правильного поступления семплов, полученных из ISampleGrabber'ов. Если закомментировать код преобразования, то всё будет играть так, как надо.

По поводу DES. Можно поподробнее? Или ссылку на их сайт?

Здравствуйте, andrey.viktorov, Вы писали:

Я бы попробовал создать битмап с помощью CreateDIBSection, чтобы не нужно было каждый раз копировать его в GetDIBits. К тому же, все создания контекстов и битампов лучше делать один раз при изменении формата поступающего видео, а затем каждый раз вызывать только StretchDIBits. Ещё можно попробовать вместо StretchDIBits использовать функцию DrawDibDraw — есть мнение, что она побыстрее будет.

AV>По поводу DES. Можно поподробнее? Или ссылку на их сайт?

DES — это DirectShow Editing Services. Достаточно подробно описано в том же DirectShow SDK.

Здравствуйте, andrey.viktorov, Вы писали:

AV> int res = ::StretchDIBits(memDc, dx, dy, x, y, 0, 0, srcInfo->biWidth, srcInfo->biHeight, srcData, (BITMAPINFO*)srcInfo, DIB_RGB_COLORS, SRCCOPY);

мне кажется, что эта строчка больше всего времени отнимает.

Возникла идея: поставить у ISampleGrabber'а, который хватает битмапы, в AM_MEDIA_TYPE нужный формат битмапа и попробовать установить соединение между пинами в таком формате. Такое возможно? В общем, было бы просто супер, если можно это сделать средствами DirectShow. А нужно сделать следующее : есть семпл определённой длины и ширины, его необходимо подогонать в окно 320х240 не изменяя пропорций (если один из размеров получаются меньше, то оставшееся пространство забивается чёрными пикселями и получаются аля полосы как широкоформатном видео).

Здравствуйте, andrey.viktorov, Вы писали:

AV>Возникла идея: поставить у ISampleGrabber'а, который хватает битмапы, в AM_MEDIA_TYPE нужный формат битмапа и попробовать установить соединение между пинами в таком формате. Такое возможно? В общем, было бы просто супер, если можно это сделать средствами DirectShow. А нужно сделать следующее : есть семпл определённой длины и ширины, его необходимо подогонать в окно 320х240 не изменяя пропорций (если один из размеров получаются меньше, то оставшееся пространство забивается чёрными пикселями и получаются аля полосы как широкоформатном видео).

Не все так просто как кажеться. Да, конечно возможно, либо используй PushSource Filter для поставки видеокадров. Если хочешь в реальном времени про GDI забудь. Сейчас занимаюсь аналогичной задачей, не знаю получиться ли в реальном времени, но чувствую что — нет, вот откуда такие мысли. Сейчас я написал программу для генерации видеопотока но основе определенных спрайтов которые генерируються на отдельной машине. Потому что когда я попробовал рисовать прямо в буфер кадра, естественно производительность заставляла желать лучшего. После того как я начал генерировать спрайты на отдельной машине, попробовал опять посредством GDI составлять картинку из спрайтов, но опять таки получались довольно приличные тормоза, но уже меньше ) Решил делать посредством memcpy(pSample, pBackBuf, _screenSize), просто у меня задачка еще свзана с тем что аппаратное обеспечение очень специализированное и аппаратное ускорение графики как таковое отсутствует.

Я делаю:

hr = m_pIPushSource->GetFrameBuffer(&pSample);
if (SUCCEEDED(hr))
{
  hr = pSample->GetPointer(&pBuffer);
  cbBuffer = pSample->GetActualDataLength();
  if (pamt && pvih)
    WriteBuffer(pBuffer); // тут внутри memcpy про который я говорил выше
  if (SUCCEEDED(m_pIPushSource->Deliver(pSample)))
  {
    m_FrameCount += 1;
    pBuffer = NULL;
  }
...
}

Далее, функция DrawBackBuffer примерно следующего содержания, вызываеться в WriteBuffer перед memcpy(...):

byte* DrawBackBuffer(byte* pScreen)
{
...
int _size = dwWidth*dwHeight*4 + (dwWidth*4*400); // специфика такая, бэкбуфер должен быть больше рабочего кадра, не имеет отношения к теме ;)
if(backbuf == NULL)
  backbuf = new byte[_size];
// дальше "рисуем"
  for(int i=0; i < m_vImages.size(); i++)
  {
...
    m_vImages[i]->LockBits(&rect, ImageLockModeRead,
                PixelFormat32bppRGB, &bitmapData);
    pixels = (unsigned char*)bitmapData.Scan0;
    DrawImage(x, calc_y, backbuf, pixels)
  }
...
  return backbuf+dwWidth*4*200;
}

Ну и DrawImage:

void DrawImage(..., u_char* src, u_char* dst)
{
...
  for(UINT i=0; i < s_height; i++)
  {
    UINT line = dwHeight - dst_y;
    UINT line_mem = (i+line)*(dst_width*4);
    memcpy((void*)&dst[line_mem + x_offs],
             (void*)&src[(s_height - 1 - i)*s_len], s_len);
  }
}

Все работет отлично. Теперь у меня появилась потребность ко всей этой каше еще подмешать видеопоток с масштабированием, какзлось бы все просто, действуем по аналогии, ан нет, после небольшого теста пришел к сомнению что получиться, а тест был следующий, я добавил функцию, TestMask(... u_char* buf) примерно следующего содержания:

TestMask(... u_char* buf)
{
  for(int i=0; i < dwHeight; i++)
  {
       for(int y=1; y < dwWidth; y++)
       {
           buf[i*(y+2)] = buf[i*(y+2)] && 0x0a;
       }
  }
}

И у меня стало видно подтормаживание видеопотока. Масштабирование планирую делать как нибудь так http://www.enlight.ru/demo/faq/smth.phtml?query=alg_scale_bitmap. Если интересно, сообщу о результатах позже, через пару-тройку дней.