大數(shù)據(jù)1代碼與hadoop

1、北風(fēng)網(wǎng)項(xiàng)目培訓(xùn)講師：RobbyHadoopHbase中數(shù)據(jù)存儲(chǔ)方式按RowKey的字典順序TableRegionRegionRegionRegionRegion ServersRegion ServerRegion ServerRegion ServerRegion Server字典順序特點(diǎn)：擁有相同“前綴”的數(shù)據(jù)，會(huì)存儲(chǔ)在相鄰區(qū)域aababcbbababccacabHTable = HRegion = HStoreTableRegionRegion ServerHRegionRegionRegionRegionHStoreMemStoreStoreFileStoreFileStoreFile

2、HStoreMemStoreStoreFileStoreFileHStoreMemStoreStoreFileHStore是怎樣工作的?HStoreMemStoreStoreFileStoreFileStoreFile向表中寫(xiě)入數(shù)據(jù)的過(guò)程：首先寫(xiě)入MemStore，同時(shí)寫(xiě)入HLog但MemStore到達(dá)一定大小的時(shí)候，MemStore會(huì)flush成一個(gè)StoreFile（HFile文件）但StoreFile的數(shù)量達(dá)到一定閥值，會(huì)觸發(fā)compact，將多個(gè)StoreFile合并成1個(gè)StoreFile當(dāng)單個(gè)StoreFile達(dá)到一定大小的時(shí)候，會(huì)觸發(fā)split，將當(dāng)前的Region拆分成2個(gè)Re

3、gion，并且分發(fā)到不同的Region Server上HStore是怎樣工作的?HFile的存儲(chǔ)格式Data Block是HBase I/O的基本單元，每個(gè)Data塊除了開(kāi)頭的Magic以外就是一個(gè)個(gè)KeyValue對(duì)拼接而成KeyValue的存儲(chǔ)格式開(kāi)始是兩個(gè)固定長(zhǎng)度的數(shù)值，分別表示Key的長(zhǎng)度和Value的長(zhǎng)度。緊接著是Key，開(kāi)始是固定長(zhǎng)度的數(shù)值，表示RowKey的長(zhǎng)度，緊接著是 RowKey，然后是固定長(zhǎng)度的數(shù)值，表示Family的長(zhǎng)度，然后是Family，接著是Qualifier，然后是兩個(gè)固定長(zhǎng)度的數(shù)值，表示Time Stamp和Key Type（Put/Delete）。Value

4、部分沒(méi)有這么復(fù)雜的結(jié)構(gòu)，就是純粹的二進(jìn)制數(shù)據(jù)了。對(duì)于任意一個(gè)cell，都需要存儲(chǔ)rowkey, column family, column qualifier目前已經(jīng)完成的功能Struts2 + Jsp + bootstrap開(kāi)發(fā)環(huán)境搭建HBase Interface創(chuàng)建了用戶管理相關(guān)的表創(chuàng)建新用戶驗(yàn)證用戶名和密碼界面部分（JSP+Struts2 Actions）用戶注冊(cè)，登陸和注銷(xiāo)接下來(lái)將要實(shí)現(xiàn)的功能用戶關(guān)注和微博投遞表結(jié)構(gòu)的設(shè)計(jì)Hbase接口的實(shí)現(xiàn)JSP和Action的實(shí)現(xiàn)用戶關(guān)注 表（1）tab_followtab_followedrowkeyname:useriduseridusern

5、amerowkeyuseriduserid_followed_useriduserid發(fā)送微博tab_posttab_inboxrowkeyPost:usernamePost:contentPost:tspostidxxxxxxxxxrowkeypostiduserid+postidpostid基于短信話單的應(yīng)用話單入庫(kù)多線程入庫(kù)使用Protocol Buffer話單查詢Ajax技術(shù)話單統(tǒng)計(jì)在Hbase中使用MapReduceMapReduce LocalityData NodeData NodeRegion ServerMapData NodeRegion ServerData NodeRegion ServerNameNodeHive Data TypesTypeSize(byte)TINYINT 1 SMALLINT 2INT