В общем все получилось.
Кому интересно вот конфиг Nginx-а:

http {
    include       mime.types;
    default_type  application/octet-stream;

    sendfile        on;
    keepalive_timeout  65;

    server {
        listen          443 ssl;   # порт https
        server_name     localhost; # ваш сайт

        ssl_certificate        /usr/local/nginx/sert/cert.pem;
        ssl_certificate_key    /usr/local/nginx/sert/cert.key; 
        if ( $scheme = "http" ) {
          rewrite ^/(.*)$    https://$host/$1 permanent;
        }

        location / {
            root   html;
            index  index.html index.htm;
        }

        location = /websocket {                               #собственно само проксирование вебсокета
        proxy_pass http://127.0.0.1:8086;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
    }
......

}

вебсокет на клиенте создается вот так:

websocket = new WebSocket( "wss://hostName/websocket" );