cd /
sudo mkdir -p /Development/Hadoop
sudo chown -R -v '์ค๋ ์ด๋ฆ' /Development/
mv 'ํด๋น ํ๋ก์ ํธ ๋ค์ด๋ก๋ ๊ฒฝ๋ก'/metatron-settings /Development/
brew update
brew install mariadb
brew services start mariadb
# MariaDB ์คํ ๊ด๋ จ ๋ช
๋ น์ด
# mysql.server status # ์ํํ์ธ
# mysql.server stop # ์ ์ง
# mysql.server start # ์คํ
# mysql -uroot # ์ ์
mysql -uroot
# polaris ๊ด๋ จ DB ์ค์
create database polaris CHARACTER SET utf8;
grant all privileges on polaris.* TO polaris@localhost identified by 'polaris';
grant all privileges on polaris.* TO polaris@'%' identified by 'polaris';
create database polaris_datasources CHARACTER SET utf8;
grant all privileges on polaris_datasources.* TO polaris@localhost identified by 'polaris';
grant all privileges on polaris_datasources.* TO polaris@'%' identified by 'polaris';
flush privileges;
``
## ssh
โ```bash
ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
ssh localhost
#############################################################################################
# SSH๋ก localhost ์ ์์ด ๋์ง ์๋ ๊ฒฝ์ฐ ์ฒ๋ฆฌ
# ์ฐธ๊ณ : (https://forums.macrumors.com/threads/ssh-connection-refused.1516735/)
#############################################################################################
sudo launchctl unload -w /System/Library/LaunchDaemons/ssh.plist
sudo launchctl load -w /System/Library/LaunchDaemons/ssh.plist
ssh -v localhost
sudo launchctl list | grep "sshd"
ssh localhost
#############################################################################################
cd /Development/Hadoop/
wget http://apache.tt.co.kr/hadoop/common/hadoop-2.7.6/hadoop-2.7.6.tar.gz
tar zxvf hadoop*.tar.gz
mv hadoop-2.7.6.tar.gz ../
mv hadoop-2.7.6/ hadoop
cd hadoop
mkdir tmp
vi etc/hadoop/hadoop-env.sh
#############################################################################################
# hadoop-env.sh > HADOOP_HOME, HADOOP_CONF_DIR ์์
#############################################################################################
export HADOOP_HOME="/Development/Hadoop/hadoop"
export HADOOP_CONF_DIR=${HADOOP_CONF_DIR:-"${HADOOP_HOME}/etc/hadoop"}
# JAVA_HOME์ด ์กํ ์์ง ์์ ๊ฒฝ์ฐ JAVA_HOME ์ถ๊ฐ
# ํ์ธ์ ํธ์ง์ฐฝ์ ๋๊ฐ์ `echo $JAVA_HOME` ์ผ๋ก ํ์ธ๊ฐ๋ฅ
#
# e.g )
# export JAVA_HOME=โ/Library/Java/JavaVirtualMachines/jdk1.8.0_73.jdk/Contents/Homeโ
# โ/Library/Java/JavaVirtualMachines/jdk1.8.0_73.jdk/Contents/Homeโ๋ ์์ ์ ๊ฒฝ๋ก๋ก ๋ฐ๊ฟ์ค๋ค
#
##############################################################################################
vi etc/hadoop/core-site.xml
##############################################################################################
# core-site.xml > configuration ์์
##############################################################################################
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>'์์ ์ ํ๋ก ๊ฒฝ๋ก'/tmp</value>
</property>
<property>
<name>hadoop.proxyuser.'์ค๋ ์ด๋ฆ'.groups</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.'์ค๋ ์ด๋ฆ'.hosts</name>
<value>*</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>86400</value>
</property>
<property>
<name>fs.trash.checkpoint.interval</name>
<value>120</value>
</property>
</configuration>
# -------------------------------------------------------------------------------------------
#
# e.g ) ์ํ xml
# <configuration>
# <property>
# <name>fs.defaultFS</name>
# <value>hdfs://localhost:9000</value>
# </property>
# <property>
# <name>hadoop.tmp.dir</name>
# <value>/Development/Hadoop/hadoop/tmp</value>
# </property>
# <property>
# <name>hadoop.proxyuser.gkoreamanr.groups</name>
# <value>*</value>
# </property>
# <property>
# <name>hadoop.proxyuser.gkoreamanr.hosts</name>
# <value>*</value>
# </property>
# <property>
# <name>fs.trash.interval</name>
# <value>86400</value>
# </property>
# <property>
# <name>fs.trash.checkpoint.interval</name>
# <value>120</value>
# </property>
# </configuration>
##############################################################################################
vi etc/hadoop/hdfs-site.xml
##############################################################################################
# hdfs-site.xml > configuration ์์
##############################################################################################
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
</configuration>
##############################################################################################
cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml
vi etc/hadoop/mapred-site.xml
##############################################################################################
# mapred-site.xml > configuration ์์
##############################################################################################
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
##############################################################################################
vi etc/hadoop/yarn-site.xml
##############################################################################################
# yarn-site.xml > configuration ์์
##############################################################################################
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
##############################################################################################
# Hadoop ํฌ๋งท ๋ฐ ์คํ
bin/hdfs namenode -format
sbin/start-dfs.sh
sbin/start-yarn.sh
# ๋ค์ด ๋ฐ ์์ถํด์
cd ../
tar xvfz ../metatron-settings/metatron-hive.tar.gz
vi ~/.bashrc
##############################################################################################
# ๊ฒฝ๋ก ์ถ๊ฐ ( ํ๋ก, ํ์ด๋ธ ๊ฒฝ๋ก ์ค์ )
##############################################################################################
#
export HADOOP_HOME=ํ๋ก์ด ์ค์น๋ ์์น
export HIVE_HOME=ํ๋ก์ด ์ค์น๋ ์์น/hive
export PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin
#
# --------------------------------------------------------------------------------------------
#
# e.g )
# export HADOOP_HOME=/Development/Hadoop/hadoop
# export HIVE_HOME=/Development/Hadoop/hive
# export PATH=$PATH:$HIVE_HOME/bin:$HADOOP_HOME/bin
#
##############################################################################################
# ๊ฒฝ๋ก ์ค์ ์ ์ฉ
source ~/.bashrc
# HDFS ๊ฒฝ๋ก์์ฑ
hadoop fs -mkdir /tmp
hadoop fs -mkdir -p /user/hive/warehouse
hadoop fs -chmod g+w /tmp
hadoop fs -chmod g+w /user/hive/warehouse
hadoop fs -chown '์ค๋ ์ด๋ฆ' /user/hive
hadoop fs -chown '์ค๋ ์ด๋ฆ' /user/hive/warehouse
create database hive_metastore_db;
grant all privileges on . to 'hive'@'localhost' identified by 'hive' with grant option;
grant all privileges on . to 'hive'@'%' identified by 'hive' with grant option;
grant all privileges on hive_metastore_db.* to 'hive'@'%' identified by 'hive';
flush privileges;
select host from mysql.user where user='hive';
##############################################################################################
# Hive > hive-env.sh ์์
##############################################################################################
vi $HIVE_HOME/conf/hive-env.sh
#
# ํ๋ก ํ ๊ฒฝ๋ก ๋ณ๊ฒฝ
HADOOP_HOME=/Development/Hadoop/hadoop
#
##############################################################################################
# metastore ์คํ
hive --service metastore > log/hive_metastore.log 2>&1 < /dev/null &
# hiveserver2 ์คํ
hiveserver2 > log/hiveserver2.log 2>&1 < /dev/null &
# beeline ์คํ
beeline -u jdbc:hive2://localhost:10000
# Hive ๊ด๋ จ ์คํค๋ง SQL ์คํ
mysql -uroot hive_metastore_db < /Development/Hadoop/hive/scripts/metastore/upgrade/mysql/hive-schema-1.2.0.mysql.sql
- ๋๋ฃจ์ด๋๋ ๋ฉํํธ๋ก ํ๋ก์ ํธ์ README ํ์ธํ ๋ณ๊ฒฝ ํ์: ์ค๋ ๋ ์ง๋ก
druid-0.9.1-latest-hadoop-2.7.3-bin.tar.gz
์ด ์ต์ ๋ฒ์ ผ - ๋ค์ด๋ก๋ ๋งํฌ ํ์ธํ๋ ๋ฐฉ๋ฒ : ๋ฉํํธ๋ก ํ๋ก์ ํธ์ README > Installation >
Druid customized version for Metatron
๋งํฌ์ฃผ์ ํ์ธ - ์๋ ์คํฌ๋ฆฝํธ์ ๋๋ฃจ์ด๋ ๋ฐ์ด๋๋ฆฌ ์ด๋ฆ์ ๋ฉํํธ๋ก ํ๋ก์ ํธ์์ ์ ๊ณตํ๋ ๋ฐ์ด๋๋ฆฌ ๋ฒ์ ผ์ ๋ฐ๋ผ ์ ์ ํ ๋ณ๊ฒฝ์ด ํ์
cd /Development/Hadoop/
mkdir druid
cp ../metatron-settings/druid* druid
cd druid
unzip druid_bootstrap_init.zip
tar zxvf druid-0.9.1-latest-hadoop-2.7.3-bin.tar.gz
./init.sh druid-0.9.1-SNAPSHOT.3.1.0.201812070238-hadoop-2.7.3
cd druid
./start-single.sh
cd ..
cp ../../metatron-settings/ingestion.zip .
unzip ingestion.zip
cd ingestion
vi index_sales_join_category_spec.json
##############################################################################################
# index_sales_join_category_spec.json > baseDir ๊ฒฝ๋ก ์์
##############################################################################################
#
# baseDir="ํ์ฌ ๊ฒฝ๋ก"
# --------------------------------------------------------------------------
# e.g )
# baseDir="/Development/Hadoop/druid/ingestion"
#
##############################################################################################
./run_index.sh index_sales_join_category_spec.json
cd /Development/Hadoop/
cp ../metatron-settings/start-all.sh .
cp ../metatron-settings/stop-all.sh .
์ฌ๊ธฐ๊น์ง๊ฐ ๋ฉํํธ๋ก ์ค์ ์ ๋๋ค.
--
์๋๋ ๋๋ฃจ์ด๋ ์์ง ๋ฒ์ ผ ํจ์น ๊ฐ์ด๋
1. ๋๋ฃจ์ด๋ ์ ์ง
2. ๋๋ฃจ์ด๋ ์ฌ๋ณผ๋ฆญ ๋งํฌ ์ ๊ฑฐ
3. [๋๋ฃจ์ด๋ ์ค์ ](https://gitlab.com/metatron/metatron-settings#druid-%EC%84%A4%EC%A0%95)
- start-single.sh ๊น์ง๋ง ํ์๋ฉด ๋ฉ๋๋ค.