Что гарантирует отсутствие проблем с выравниванием, побайтный доступ к памяти?:

void load(char const* buf)
{
unsigned long value = 0;
memcpy(&value, buf, sizeof(value));
}

А так?

void load(std::deque<char> const& buf)
{
unsigned long value = 0;
std::copy(buf.begin(), buf.begin() + sizeof(value),
    reinterpret_cast<char*>(&value));
}

Этого достаточно?