Skip to content

distributed file system

lanzhiwang edited this page Nov 15, 2018 · 7 revisions
  • 数据安全

需要实现数据冗余,避免数据的单点故障

  • 可线性扩展 -> 分布均匀

当数据增长到TB、甚至PB以上时,存储方案需要支持可线性扩展

  • 存储高可用

某个存储服务宕掉时,不影响整体存储方案的可用

  • 性能

性能达到应用要求

  • Ceph
  • OpenStack Swift
  • Hbase/hdfs
  • GlusterFS
  • fastdfs
  • tfs
  • minio
特性 ceph minio swift hbase/hdfs GlusterFS fastdfs
开发语言 C go python java 副本 副本
数据冗余 副本,纠删码 Reed-Solomon code 副本 副本 副本 副本
一致性 强一致性 强一致 最终一致 最终一致 ? ?
动态扩展 HASH 不支持动态加节点 一致性hash ? ? ?
性能 ? ? ? ? ? ?
中心节点 对象存储无中心,cephFS有元数据服务中心点 无中心 无中心 nameNode单点 ? ?
存储方式 块、文件、对象 对象存储(分块) 块存储 块存储 ? ?
活跃度 高,中文社区不算活跃 高,没有中文社区
成熟度 ? ?
操作系统 linux-3.10.0+ linux,windows ? 任何支持java的OS ? ?
文件系统 EXT4,XFS EXT4,XFS ? ? ? ?
客户端 c、python,S3 java,s3 java,RESTful java,RESTful ? ?
断点续传 兼容S3,分段上传,断点下载 兼容S3,分段上传,断点下载 不支持 不支持 ? ?
学习成本 ? ? ?
前景 10 8 9 9 7 5
开源协议 LGPL version 2.1 Apache v2.0 Apache V2.0 ? ? ?
管理工具 ceph-admin,ceph-mgr,zabbix插件,web管理工具 命令行工具 mc ? ? ? ?
Clone this wiki locally