-
Notifications
You must be signed in to change notification settings - Fork 14
distributed file system
lanzhiwang edited this page Nov 15, 2018
·
7 revisions
- 数据安全
需要实现数据冗余,避免数据的单点故障
- 可线性扩展 -> 分布均匀
当数据增长到TB、甚至PB以上时,存储方案需要支持可线性扩展
- 存储高可用
某个存储服务宕掉时,不影响整体存储方案的可用
- 性能
性能达到应用要求
- Ceph
- OpenStack Swift
- Hbase/hdfs
- GlusterFS
- fastdfs
- tfs
- minio
特性 | ceph | minio | swift | hbase/hdfs | GlusterFS | fastdfs |
---|---|---|---|---|---|---|
开发语言 | C | go | python | java | 副本 | 副本 |
数据冗余 | 副本,纠删码 | Reed-Solomon code | 副本 | 副本 | 副本 | 副本 |
一致性 | 强一致性 | 强一致 | 最终一致 | 最终一致 | ? | ? |
动态扩展 | HASH | 不支持动态加节点 | 一致性hash | ? | ? | ? |
性能 | ? | ? | ? | ? | ? | ? |
中心节点 | 对象存储无中心,cephFS有元数据服务中心点 | 无中心 | 无中心 | nameNode单点 | ? | ? |
存储方式 | 块、文件、对象 | 对象存储(分块) | 块存储 | 块存储 | ? | ? |
活跃度 | 高,中文社区不算活跃 | 高,没有中文社区 | 高 | 高 | 中 | 中 |
成熟度 | 高 | 中 | 高 | 高 | ? | ? |
操作系统 | linux-3.10.0+ | linux,windows | ? | 任何支持java的OS | ? | ? |
文件系统 | EXT4,XFS | EXT4,XFS | ? | ? | ? | ? |
客户端 | c、python,S3 | java,s3 | java,RESTful | java,RESTful | ? | ? |
断点续传 | 兼容S3,分段上传,断点下载 | 兼容S3,分段上传,断点下载 | 不支持 | 不支持 | ? | ? |
学习成本 | 高 | 中 | ? | 中 | ? | ? |
前景 | 10 | 8 | 9 | 9 | 7 | 5 |
开源协议 | LGPL version 2.1 | Apache v2.0 | Apache V2.0 | ? | ? | ? |
管理工具 | ceph-admin,ceph-mgr,zabbix插件,web管理工具 | 命令行工具 mc | ? | ? | ? | ? |
-
Awesome huzhi
-
Python
-
Linux
-
MySQL
-
Component
-
分布式
-
PHP
-
go
-
Android 逆向
-
机器学习
-
计算机基础
-
JavaScript
-
Internet Awesome
-
Other
-
Book