【大數據基礎知識】Sqoop概述及安裝配置

Sqoop是一款開源的數據傳輸層工具，Sqoop的全稱是sql to Hadoop。通過這個名稱我們可以看出，Sqoop可以完成把關系型數據庫如MySQL，Oracle等數據庫中的信息導入到Hadoop文件存儲體系中，或者把Hadoop文件導入到關系型數據庫中。起到了一個非常好的橋梁作用。

Sqoop最早產生于2012 年 3 月，現在已經是Apache的一個頂級項目。Sqoop能夠提供多種數據傳輸方式并且支持多種數據庫，這也是Sqoop被廣泛應用的原因。

下面，我們來看Sqoop的安裝部署。

首先，我們在Sqoop安裝之前，要確保已經安裝好了Java和Hadoop。這個我們在前面的文章中已有介紹，不太熟悉的朋友可以先參考安裝下哦。

已經安裝過其他大數據組件的朋友應該能夠看到，大數據生態(tài)圈組件的安裝不外乎是這樣的幾步：

1. 下載安裝包

2. 解壓縮

3. 修改配置文件

對于Sqoop來說，也不例外。

1. 首先我們下載Sqoop的安裝包，最新的穩(wěn)定版本是1.4.7。我們可以從官網(http://sqoop.apache.org)下載，也可以從最近的一個鏡像網站下載。我選用的下載地址是：https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/ 。下載 sqoop-1.4.7.tar.gz壓縮包。下載完成后上傳到虛擬機。我上傳目錄是/opt/software�；蛘咧苯釉谔摂M機的客戶端通過wget命令下載：

wget

https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.tar.gz

2.使用tar命令解壓縮

tar –zxvf sqoop-1.4.7.tar.gz –C /opt/

3.修改配置文件

Sqoop的配置文件在Sqoop根目錄下的conf目錄下。配置文件的原有名稱是sqooop-env-template.sh，我們拷貝一份，并將名稱改為sqoop-env.sh。命令如下：

cp sqoop-env-template.sh sqoop-env.sh

在sqoop-env.sh中，修改如下內容：

4. 拷貝JDBC驅動

把JDBC驅動拷貝到Sqoop根目錄下的lib目錄下，命令如下：

cp mysql-connector-java-5.1.27-bin.jar /opt/sqoop-1.4.7/lib

5.因為到Sqoop-1.4.5及以后版本安裝包的lib下就已經沒有了sqoop-1.4.5.jar，Sqoop-1.4.7也沒有sqoop-1.4.7.jar。對于此jar包我們必須單獨下載，將其放到Sqoop根目錄的lib目錄下。

6. 測試Sqoop是否安裝成功，使用Sqoop根目錄的bin目錄下的sqoop命令來測試。如：

如果能出現上面的信息，就說明Sqoop安裝配置成功了。