Skip to content

Latest commit

 

History

History
8 lines (7 loc) · 557 Bytes

Hadoop原理实践.md

File metadata and controls

8 lines (7 loc) · 557 Bytes

Hadoop原理实践

HDFS的优缺点

  • 不适合低延迟数据访问
  • 无法高效存储大量小文件,主要原因是NameNode的内存空间有限,大小小文件会导致NN内存压力增大
    • 处理小文件的方法:利用SequenceFile、MapFile、Har等方式归档小文件(要找回需要知道与归档文件的映射关系)
    • 也可以横向扩展,采用联邦NameNode;或者多个Master设计,将NameNode用一个集群代替
  • 不支持多用户写入和随机文件修改:只能有一个写入者,且只能追加