-
Ubuntu14.04 での CDH のインストールプロセスを記録しますが、すべてのマシンで問題なく動作することを保証できません...
-
以下のコマンドは su の下で実行することをお勧めします。
システムのインストール#
省略
システムの設定#
静的 IP#
/etc/network/interfacesを編集します。
# ループバックネットワークインターフェース
auto lo
iface lo inet loopback
# プライマリネットワークインターフェース
auto p2p1
iface p2p1 inet static
address 172.16.1.68
netmask 255.255.255.0
gateway 172.16.1.1
hosts#
/etc/hostsを設定し、IP アドレスではなく名前を使用します。
172.16.1.68 master
172.16.1.69 data1
172.16.1.70 data2
hostname#
各マシンの/etc/hostnameに将来使用するマシン名を追加します。
マシン名は hosts ファイルの名前と同じである必要があります。
SSH パスワードなしでの相互通信#
~/.sshに移動し、ssh-kengenを使用してキーを生成します（質問が表示された場合は Enter キーを押します）。
ssh-copy-id [hostname]を使用してキーを他のマシンに送信します。
例：ssh-copy-id localhostは自分自身にキーを送信します。
ファイアウォールの無効化#
sudo ufw disable
sudo reboot
時間同期#
apt-get install ntp
ソースの更新#
ここでは Cloudera のソースについて説明していますが、他のソースは省略します。
cd /etc/apt/sources.list.d
sudo wget http://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/cloudera.list
sudo apt-get update
apt キーを取得します。
curl -s https://archive.cloudera.com/cm5/ubuntu/trusty/amd64/cm/archive.key| sudo apt-key add -
Cloudera Server のインストール#
Cloudera Manager マシンで実行します。
sudo apt-get -y --force-yes install cloudera-manager-daemons cloudera-manager-server
MySQL#
MySQL はマスターのみで設定します。apt-get install mysql-server
- MySQL サービスを停止します。
- 設定ファイルを追加します。
vim /etc/mysql/conf.d/mysql_cloudera_manager.cnf
内容：
[mysqld]
transaction-isolation = READ-COMMITTED
# Disabling symbolic-links is recommended to prevent assorted security risks;
# to do so, uncomment this line:
# symbolic-links = 0
key_buffer = 16M
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
#log_bin should be on a disk with enough free space. Replace '/var/lib/mysql/mysql_binary_log' with an appropriate path for your system
#and chown the specified folder to the mysql user.
log_bin=/var/lib/mysql/mysql_binary_log
# For MySQL version 5.1.8 or later. Comment out binlog_format for older versions.
binlog_format = mixed
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
-
サービスを再起動します。
service mysql start -
MySQL にログインし、データベースを作成します。
create database amon DEFAULT CHARACTER SET utf8;
grant all on amon.* TO 'amon'@'localhost' IDENTIFIED BY 'amon_password';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon_password';
create database smon DEFAULT CHARACTER SET utf8;
grant all on smon.* TO 'smon'@'localhost' IDENTIFIED BY 'smon_password';
grant all on smon.* TO 'smon'@'%' IDENTIFIED BY 'smon_password';
create database rman DEFAULT CHARACTER SET utf8;
grant all on rman.* TO 'rman'@'localhost' IDENTIFIED BY 'rman_password';
grant all on rman.* TO 'rman'@'%' IDENTIFIED BY 'rman_password';
create database hmon DEFAULT CHARACTER SET utf8;
grant all on hmon.* TO 'hmon'@'localhost' IDENTIFIED BY 'hmon_password';
grant all on hmon.* TO 'hmon'@'%' IDENTIFIED BY 'hmon_password';
create database hive DEFAULT CHARACTER SET utf8;
grant all on hive.* TO 'hive'@'localhost' IDENTIFIED BY 'hive_password';
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive_password';
create database oozie;
grant all privileges on oozie.* to 'oozie'@'localhost' identified by 'oozie';
grant all privileges on oozie.* to 'oozie'@'%' identified by 'oozie';
- リモートアクセスを許可するために、
my.cnfのbind-host:localhostの行をコメントアウトします。
JDK のインストール#
apt-get -o Dpkg::Options::=--force-confdef -o Dpkg::Options::=--force-confold -y install oracle-j2sdk1.7
--force-yesが必要な場合があります。
マスターとエージェントの両方にインストールする必要がありますが、前提としてソースを追加してください。
Cloudera Manager のデータベースの初期化#
/usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -p --scm-host localhost scm scm scm_password
マスターで CM を起動#
service cloudera-scm-server start
ウェブページを使用して CDH をデプロイ#
アドレスは http://host:7180 です。
ログインアカウントとパスワードはadminです。