曾经做过一个学校的系统,主要用于老师上传课件和布置作业,学生学习和提交作业,当时也没考虑那么多,上传的文件全部都是放在同一个服务器上了,没想到几年过去了,这个系统还一直在用着,长时间上传的资源文件使硬盘空间吃紧了,历史数据还没法存档,由于这个契机吧,自己简单实现了一个文件分布上传的系统。下面称为ufs。

一、系统架构图



上图描述了用户上传文件和访问文件的流程走向,系统主要涉及ufs和下面的node。
ufs是web网站或者app上传的统一接口,ufs根据配置把上传的文件分发到某个node上。
node会返回上传结果给ufs,主要是上传成功后的文件url,ufs收到url再返回给上层应用。
上层应用获取到url可以展示出来或者存储到数据库。
当用户访问资源的时候,直接从各个node获取。
当某个node的可用存储满了,可以从ufs配置中删除掉,然后加入新的node,删除的node只要是服务不关闭,照样可以访问上面的文件,具体配置看下面。

二、ufs配置
{ "ufs": { "allowExts": [".txt", ".jpg", ".jpeg", ".png", ".bmp", ".doc",
".docx", ".xls", ".xlsx", ".ppt", ".pptx", ".pdf"], "limitSize": 10485760,
"accessToken": "123456", "downstreams": [ "http://node1.ufs.timeschip.com" ],
"test": { "limitSize": 10485760, "accessToken": "abcd" } } }
ufs就是node的网关,提供了下面这几个功能配置:

* allowExts数组用于配置可以上传的文件类型
* limitSize限制文件上传的大小
* accessToken访问ufs的令牌
* downstreams配置下游node节点

上面配置中,和ufs平级的还有一个test节点,里面允许的子节点和ufs的子节点是一样的。目的是为不同的应用提供上传服务。此处的“test”就是应用名称,这个名字需要和上层应用约定好,test应用上传的时候表明是test,就会使用配置文件中test的配置,如果配置文件中没有test这个节点配置,就会使用ufs节点下的默认配置。
这样的配置方式就像该配置文件本身(appsettings.json)的加载方式一样,会使用指定的配置覆盖默认配置,非常灵活。至于如何调用,我们后面再说。

三、ufs.node配置
{ "ufsNode": { "mimeModifiers": [ { "ext": ".htm3", "type": "text/html",
"opt": "add" }, { "ext": ".mp4", "opt": "remove" } ], "domain":
"http://node1.ufs.loogn.com", "physicalPath":
"D:/WebSite_Core/ufsnode1/upload", "virtualPath": "/ufs", "cachePeriod":
604800, "enableThumbnail": true, "thumbnailExts": [ ".jpg", ".png" ],
"allowIPs": [ "::1", "127.0.0.1", "122.114.222.186" ] } }
node的配置比ufs要多一些,毕竟真正的存储和访问功能都在node上:

* mimeModifiers数组可以修改node服务的mime类型,每一项有三个子节点:ext为文件后缀名,type为映射的ContentType,
opt是枚举可取add、remove。
* domain为该node服务运行的域名,是上传文件url的一部分
* physicalPath为上传的物理路径,存储的本地绝对路径
* virtualPath为上传的虚拟路径,是上传文件url的一部分
* cachePeriod过期时间(秒)
* enableThumbnail是否启用缩略图功能
* thumbnailExts表示哪些文件类型可以使用缩略图功能,只能配置图片格式
* allowIPs访问白名单,即ufs服务的ip地址
当启用缩率图功能时,可以在url中加w和h参数来访问想要的缩略图:
原图:http://node1.ufs.loogn.com/app1/2019/05/10/abc.png
<http://node1.ufs.loogn.com/app1/2019/05/10/abc.png>
限宽200:http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=200
<http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=200>
限高200:http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?h=200
<http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?h=200>
限宽高100*200:http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=100&h=200
<http://node1.ufs.loogn.com/app1/2019/05/10/abc.png?w=100&h=200>
所有的压缩都是等比的,图片不会变形,不管参数怎样,图片也不会放大。

从allowIPs配置可以看出,应用层访问ufs是用过accessToken来验证的,而ufs访问node是通过在node中配置允许的ip地址来实现的。


四、应用层调用

由于公开的是http接口,所以任何支撑Http的语言都可以使用。
static async Task<string> UploadFile(string filePath) { HttpClient httpClient
= new HttpClient(); httpClient.DefaultRequestHeaders.Add("accesstoken",
"abcd"); httpClient.DefaultRequestHeaders.Add("app", "test"); var buffer =
File.ReadAllBytes(filePath); ByteArrayContent byteArray = new
ByteArrayContent(buffer); byteArray.Headers.Add("ext",
Path.GetExtension(filePath)); var response = await
httpClient.PostAsync("http://ufs.loogn.com/uploadfile", byteArray); var result
= await response.Content.ReadAsStringAsync(); return result; }
http请求头部需要传输三个参数:

* accesstoken为访问ufs的令牌,对用ufs中的配置
*
app为指定app的名称,除了和ufs服务中选择配置相关,node服务也会在physicalPath目录下建立app同名目录,用来存放这个应用上传的文件,如果没有这个参数,node会放入default文件夹
* ext为上传文件的后缀名,注意,是带.的(比如:.jpg而不是jpg)
文件内容通过请求体POST到ufs公开上传地址/uploadfile,响应的字符串是json格式,如下:
{"success":true, "msg":"",
"fileUrl":"http://node1.ufs.loogn.com/app1/2019/05/10/abc.png"}
如果上传失败,success为false,msg中有错误信息。

五、项目地址

https://gitee.com/loogn/ufs <https://gitee.com/loogn/ufs>

友情链接
ioDraw流程图
API参考文档
OK工具箱
云服务器优惠
阿里云优惠券
腾讯云优惠券
华为云优惠券
站点信息
问题反馈
邮箱:ixiaoyang8@qq.com
QQ群:637538335
关注微信