ericzhong

介绍

可以方便的在 Hadoop 和关系数据库之间转移数据。

1.4.x 是 Sqoop1，1.99.x 是 Sqoop2。

安装

ericzhong

安装

环境：

CentOS 7.4
Hadoop 2.7.4

注意：安装前先确认与 Hadoop 版本的兼容性。

ericzhong

安装

环境：

CentOS 7.4
java-1.8.0-openjdk
maven-3.0.5

ericzhong

介绍

ELK = Elasticsearch + Logstash + Kibana，都是 Elastic 公司的产品。

Elastic Stack 目前包含组件 Beats、Elasticsearch、Elasticsearch Hadoop、Kibana、Logstash、X-Pack。

安装

ericzhong

安装

操作

ericzhong

为什么

可以从 Vagrant 源里下载 OS 映像（称作 box）并启动，不需要手动安装，而且使用时不需要打开 VirtualBox 的图形窗口。修改配置也很方便，还可以利用 Provision 机制来增加定制脚本。缺点就是源的速度。

安装与运行

到 官网 下载相应安装包。

ericzhong

关于

Hive 是在 Hadoop 上增加的一层，可以将 SQL 翻译成 MapReduce 去 Hadoop 上执行，这样就可以很方便的使用 SQL 来完成一些工作，而不必写 MapReduce 程序。

Hive 默认将元数据保存在本地的 Derby 数据库中，不支持多连接。也可以指定其它数据库，比如 MySQL。

环境

ericzhong

安装

环境

CentOS 7.3
java-1.8.0-openjdk
hadoop-3.0.0-beta1

ericzhong

## HomeBrew
export HOMEBREW_VERBOSE=1
export HOMEBREW_NO_AUTO_UPDATE=1
# change repo
cd /usr/local/Homebrew
cd "$(brew --repo)"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/brew.git
cd "$(brew --repo)/Library/Taps/homebrew/homebrew-core"
git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git/homebrew/homebrew-core.git

ericzhong

Linux

### Pip
sudo yum install python-pip
sudo pip install pyspark -i https://pypi.douban.com/simple


### systemctl
systemctl enable sshd.service