Skip to content

Offload媒体文件及Nginx配置

Jump to bottom
umonaca edited this page Mar 6, 2021 · 11 revisions

简介

以下配置适用于v0.6.0 RC 5，目前尚未发布。
目前默认情况下Express Server既负责API，又负责媒体文件，由于Javascript实际上是单线程的，当负载较高（非个人用）的情况下对服务器压力很大。v0.6.0 RC 5提供一个offload功能用来解决这个问题，可以不再使用Express来提供媒体文件，而是302重定向到指定的路由目前已经重构，使用由后端分发的路由。这样如果有Nginx等提供这些媒体路由里的静态文件，就可以极大提高负载能力。offload以后Kikoeru主程序就可以只负责API路由。

2021-03-06 更新

后端commit 159af84
前端commit f2a3552
增加两个设置项，今后前端将直接使用后端发送的路由。不过后端仍然保留原路由在offload开启时的302跳转。

  mediaStreamBaseUrl: '/api/media/stream/',
  mediaDownloadBaseUrl: '/api/media/download/',

准备工作

  1. 挂载所有媒体文件。假定我们有两个音声库，config/config.json中有以下内容
"rootFolders": [
	{
		"name": "VoiceWork",
		"path": "/mnt/media/Voices"
	},
	{
		"name": "chs_voices",
		"path": "/mnt/s3/chs"
	}
]

那么按照以下方式挂载：

/storage/VoiceWork -> /mnt/media/Voices
/storage/chs_voices -> /mnt/s3/chs

格式是某个统一的挂载点/{rootFolders.name}指向其实际物理路径。路径最后的名称必须与相应的{rootFolders.name}一致。

  1. 打开config/config.json，按下面调整以下三个字段：
  offloadMedia: true,
  offloadStreamPath: '/media/stream/',
  offloadDownloadPath: '/media/download/'

这样在线访问相应的媒体文件时会重定向到对应的路径上。

比如在VoiceWork音声库中，根目录下有RJ123456，其内部根目录有01.mp3，那么这个媒体文件的URL就是

https://example.com/media/stream/VoiceWork/RJ123456/01.mp3
https://example.com/media/download/VoiceWork/RJ123456/01.mp3

实际访问的物理路径都是

/storage/VoiceWork/RJ123456/01.mp3

修改配置文件请尽量让offloadStreamPath和offloadDownloadPath以/media/开头，原因是如果你使用PWA，Service Worker里设置了除外路径/api/和/media/，使用其它路径某些情况下（比如浏览器新窗口打开）会导致Service Worker拦截路径显示404。

  1. 配置Nginx。以Ubuntu为例，新建文件/etc/nginx/site-available/kikoeru.conf，写入以下内容：
map $http_upgrade $connection_upgrade {
  default upgrade;
  ''      close;
}

upstream backend {
    server 127.0.0.1:8888;
}

upstream streaming {
    server 127.0.0.1:8888;
}

server {
    listen 80;
    listen [::]:80;
    server_name kikoeru.com;
    root /location/to/your/source/code/kikoeru-express/dist;
    # If you are using Let's Encrypt
    location /.well-known/acme-challenge/ { allow all; }
    # Redirect to HTTPS
    location / { return 301 https://$host$request_uri; }
}

server {
    listen 443 ssl http2;
    listen [::]:443 ssl http2;
    server_name kikoeru.com;

    ssl_protocols TLSv1.2 TLSv1.3;
    ssl_ciphers HIGH:!MEDIUM:!LOW:!aNULL:!NULL:!SHA;
    ssl_prefer_server_ciphers on;
    ssl_session_cache shared:SSL:10m;

    ssl_certificate     /etc/letsencrypt/live/kikoeru.com/fullchain.pem;
    ssl_certificate_key /etc/letsencrypt/live/kikoeru.com/privkey.pem;

    sendfile on;
    
    root /location/to/your/source/code/kikoeru-express/dist;
    index index.html;
    
    # HSTS
    add_header Strict-Transport-Security "max-age=31536000";

    location / {
        # fall back to SPA
        try_files $uri /index.html;
    }

    location /api/ {
        proxy_set_header Host $host;	    
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;

        proxy_pass http://backend;
        proxy_buffering on;
        proxy_redirect off;
	# Note: /api/ does not contain socket.io yet, but this may change in future
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection $connection_upgrade;

        proxy_cache off;

        tcp_nodelay on;
    }

    location /media/stream/ {
	# Location to your storage folder on your disk
        alias /storage/;
        add_header Strict-Transport-Security "max-age=31536000";
        add_header Cache-Control "public, max-age=31536000, immutable";
        try_files $uri =404;
    }

    location /media/download/ {
	# Location to your storage folder on your disk
        alias /storage/;
        add_header Strict-Transport-Security "max-age=31536000";
        add_header Cache-Control "public, max-age=31536000, immutable";
        add_header Content-Disposition 'attachment';
        try_files $uri =404;
    }

    location /socket.io {
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_http_version 1.1;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $host;
        proxy_pass http://streaming;
    }
}

注意很多路径的末尾都要求有/, nginx里有无末尾/是不一样的。以上配置假定你在使用Let's Encrypt的证书。然后建立软链接

ln -s /etc/nginx/sites-available/kikoeru.conf /etc/nginx/sites-enabled/kikoeru.conf

使用nginx -t检查是否有语法错误，然后nginx -s reload。

  • 签发证书的方法：可以采用certbot或者acme.sh。 用certbot需要有root或sudoer权限
certbot --nginx -d example.com

笔者曾经遇到过某个新版本Nginx的bug，必须先有一个证书才能nginx reload，但颁发证书前又没有证书，颁发证书验证又需要打开Nginx。这个时候可以先保证其它部分在HTTP下是正确可用的，然后先不重启Nginx先签发证书，再调整配置文件里的证书路径，最后重启nginx。

  • 关于两个路由的说明：

/media/stream是用来在线播放的，/media/download是用来下载的，它们都指向相同的文件，只不过后者有Content-Disposition header。Kikoeru内部播放器播放时，使用的是/api/media/stream/:id/:index?token=xxxx。前面设置offloadMedia: true以后，就会302跳转到/media/stream/相对路径，从而使得HTML 5播放器能播放它。Kikoeru曲目上右键下载时，使用的是/api/media/download/:id/:index?token=xxxx，同样在开启offloadMedia: true以后，就会302跳转到/media/down/相对路径。遇到问题可以通过观察浏览器控制台报错来调整修复。

  1. 设置MIME类型

Nginx默认的MIME类型列表非常古老，许多Kikoeru支持的格式并不在其中。请编辑/etc/nginx/mime.types，确保程序源代码中filesystem/utils.js中列出的格式全部支持。以nginx/1.18.0 (Ubuntu)为例，需要添加以下几行：

audio/wav    wav;
audio/ogg    opus;
audio/aac    aac;
audio/flac    flac;

这样浏览器访问时会得到正确的Content-Type。

常见MIME类型列表：https://developer.mozilla.org/en-US/docs/Web/HTTP/Basics_of_HTTP/MIME_types/Common_types

已知Safari存在一些问题，比如对于flac文件，设置audio/x-flac会导致Safari无法识别和播放，所以这里设定为audio/flac。对于Safari还有一个扩展名容易出问题：m4a。nginx/1.18.0 (Ubuntu)默认为audio/x-m4a，如果遇到问题请改为audio/mp4，不影响其它浏览器。

  1. 设置behindProxy: true

当使用Nginx反代时应当在Kikoeru的config.json里开启这个选项。这个设置启用以后，express可以正确识别IP地址，而不是全部视为127.0.0.1。

这一功能目前还没有作用，将来加入express-brute和限流组件以后会有用。

Clone this wiki locally