Releases: SomeBottle/haspark
Releases · SomeBottle/haspark
3.2.0
降低 OpenJDK 版本至 11.0.23
,因为 Hadoop 只声称支持到了 Java 11 Runtime,Java 17 下可能发生出乎意料的问题。
3.1.6
将 bitnami 原本的环境变量也加入 /etc/profile.d
。
3.1.5
3.1.4
- 去掉 Hadoop 和 Zookeeper 自带的文档 ,镜像解压后大小精简到了
2.72 GiB
。 - 普通分布式模式新增
GN_ZOOKEEPER_START_ON_STARTUP
环境变量配置,可以指定是否在容器启动时顺带启动 Zookeeper 集群。 - 新增只读环境变量
HDFS_SERVICE_ADDR
和ZOOKEEPER_QUORUM
,在基于本镜像构建其他镜像时有作用(比如额外构建有 HBase 的镜像),详见 README。
3.1.3
3.1.2
- 将 Hadoop Native Library 路径加入
LD_LIBRARY_PATH
环境变量中,以保证 Hadoop 和 Spark 都能链接到 Hadoop 本地库。 HADOOP_HOME
以及HADOOP_CONF_DIR
加入/etc/profile.d
环境变量配置。- 新增
zip/unzip
,rsync
工具包。 - 新增
xsync
文件同步脚本,详见 README。
3.1.1
3.1.0
3.0.2
- 去掉不必要的文件创建。
3.0.1
- 为了做毕设整了个这个镜像出来,出乎意料还挺好玩的。后面准备写篇博客。