400-650-7353
您所在的位置：首頁(yè) > IT干貨資料 > 大數(shù)據(jù) > 【大數(shù)據(jù)基礎(chǔ)知識(shí)】HDFS API之客戶端環(huán)境準(zhǔn)備

【大數(shù)據(jù)基礎(chǔ)知識(shí)】HDFS API之客戶端環(huán)境準(zhǔn)備

  • 發(fā)布： 大數(shù)據(jù)培訓(xùn)
  • 來(lái)源：大數(shù)據(jù)干貨資料
  • 2021-03-05 12:07:35
  • 閱讀()
  • 分享
  • 手機(jī)端入口

在HDFS API編程之前，我們首先需要把HDFS客戶端環(huán)境準(zhǔn)備好。

1.根據(jù)自己電腦的操作系統(tǒng)拷貝對(duì)應(yīng)的編譯后的hadoop jar包到非中文路徑(例如：D:\Develop\hadoop-2.7.2)，如圖1所示

圖1 編譯后的hadoop jar包

2.配置HADOOP_HOME環(huán)境變量，如圖2所示

圖2 配置HADOOP_HOME環(huán)境變量

3. 配置Path環(huán)境變量，如圖3所示

圖3 配置Path環(huán)境變量

如果配置成功，可以使用hadoop -version進(jìn)行校驗(yàn)，如果報(bào)錯(cuò)：提示JAVA_HOME incorrect，問(wèn)題原因是由于jdk目錄配置中有空格，比如安裝在c盤(pán)下jdk,路徑一般是默認(rèn)為

C:\program file\Java\jdk1.8.0_144,由于路徑中有空格，所以會(huì)報(bào)錯(cuò)。

解決方法：在解壓后的Hadoop安裝包中的etc目錄中找到hadoop-env.cmd(注意windows需要修改hadoop-env.cmd,linux中修改的是hadoop-env.sh),找到配置的JAVA_HOME

改為：C:\PROGRA~1\Java\jdk1.8.0_144

4.創(chuàng)建一個(gè)Maven工程HdfsClientDemo

5.導(dǎo)入相應(yīng)的依賴坐標(biāo)+日志添加

注意：如果eclipse/idea打印不出日志，在控制臺(tái)上只顯示

需要在項(xiàng)目的src/main/resources目錄下，新建一個(gè)文件，命名為“log4j.properties”，在文件中填入：

6.創(chuàng)建包名：com.root.hdfs

7.創(chuàng)建HDFSApp類

文章“【大數(shù)據(jù)基礎(chǔ)知識(shí)】HDFS API之客戶端環(huán)境準(zhǔn)備”已幫助 人

>>本文地址：http://m.hqfphsz.com/zhuanye/2021/67528.html

THE END  

聲明:本站稿件版權(quán)均屬中公教育優(yōu)就業(yè)所有，未經(jīng)許可不得擅自轉(zhuǎn)載。

1 您的年齡

2 您的學(xué)歷

3 您更想做哪個(gè)方向的工作？

獲取測(cè)試結(jié)果
  • 大前端大前端
  • 大數(shù)據(jù)大數(shù)據(jù)
  • 互聯(lián)網(wǎng)營(yíng)銷互聯(lián)網(wǎng)營(yíng)銷
  • JavaJava
  • Linux云計(jì)算Linux
  • Python+人工智能Python
  • 嵌入式物聯(lián)網(wǎng)嵌入式
  • 全域電商運(yùn)營(yíng)全域電商運(yùn)營(yíng)
  • 軟件測(cè)試軟件測(cè)試
  • 室內(nèi)設(shè)計(jì)室內(nèi)設(shè)計(jì)
  • 平面設(shè)計(jì)平面設(shè)計(jì)
  • 電商設(shè)計(jì)電商設(shè)計(jì)
  • 網(wǎng)頁(yè)設(shè)計(jì)網(wǎng)頁(yè)設(shè)計(jì)
  • 全鏈路UI/UE設(shè)計(jì)UI設(shè)計(jì)
  • VR/AR游戲開(kāi)發(fā)VR/AR
  • 網(wǎng)絡(luò)安全網(wǎng)絡(luò)安全
  • 新媒體與短視頻運(yùn)營(yíng)新媒體
  • 直播帶貨直播帶貨
  • 智能機(jī)器人軟件開(kāi)發(fā)智能機(jī)器人
 

快速通道fast track

近期開(kāi)班時(shí)間TIME