黑馬javaee就業(yè)32期oracle53-55第三天上午

Pig課程目標(biāo)

什么是Pig？Pig的架構(gòu)Pig的安裝和啟動Pig的常用命令

Pig的數(shù)據(jù)模型

使用PigLatin語句進(jìn)行數(shù)據(jù)的分析

Pig的自定義函數(shù)什么是Pig？Pig可以看做hadoop的客戶端軟件，可以連接到hadoop集群進(jìn)行數(shù)據(jù)分析工作Pig方便不熟悉java的用戶，使用一種較為簡便的類似于SQL的面向數(shù)據(jù)流的語言piglatin進(jìn)行數(shù)據(jù)處理什么是Pig？（續(xù)）Piglatin可以進(jìn)行排序、過濾、求和、分組、關(guān)聯(lián)等常用操作，還可以自定義函數(shù)，這是一種面向數(shù)據(jù)分析處理的輕量級腳本語言Pig可以看做是piglatin到map-reduce的映射器Pig的架構(gòu)Pig的安裝下載并解壓pig安裝包（）設(shè)置環(huán)境變量進(jìn)入gruntshell驗證Pig的工作模式本地模式：所有文件和執(zhí)行過程都在本地，一般用于測試程序輸入pig–xlocalMapreduce模式（hadoop模式）：實際工作模式輸入pigPig的常用命令ls、cd、cat、mkdir、pwdcopyFromLocal、copyToLocalshregister、definePig的數(shù)據(jù)模型Bag：表Tuple：行，記錄Field：屬性Pig不要求同一個bag里面的各個tuple有相同數(shù)量或相同類型的field

PigLatin語句LOAD：指出載入數(shù)據(jù)的方法FOREACH：逐行掃描進(jìn)行某種處理FILTER：過濾行DUMP：把結(jié)果顯示到屏幕STORE：把結(jié)果保存到文件注意：啟動historyserver：

sbin/mr-jobhistory-daemon.shstarthistoryserverPig的自定義函數(shù)支持使用Java、Python、Javascript三種語言編寫UDFJava自定義函數(shù)較為成熟，其它兩種功能還有限Pig的自定義函數(shù)的類型自定義過濾函數(shù)自定義運算函數(shù)自定義加載函數(shù)自定義過濾函數(shù)示例：如果員工工資大于等于3000塊錢，則被選擇出來。自定義運算函數(shù)判斷員工薪水是級別如果sal<=1000，則為：GradeA如果sal>1000&&sal<=3000，則為：GradeB如果sal>3000，則為：GradeC自定義加載函數(shù)默認(rèn)情況下，一行數(shù)據(jù)會被解析成一個Tuple比如：員工信息自定義加載函數(shù)（續(xù)）特殊情況：單詞統(tǒng)計的時候這時候：希望每個單詞能被解析成一個Tuple，從