（精選文檔）MDSSV03使用手冊v

1、海量數(shù)據(jù)存儲檢索系統(tǒng)SQL-LIKE語言使用手冊MDSS-V0.3目 錄1SQL-LIKE語言使用手冊41.1MDSS-V0.3系統(tǒng)功能概述41.2SQL-LIKE中的數(shù)據(jù)類型41.3SQL-LIKE語法使用說明51.3.1CREATE51.3.2INSERT61.3.3SELECT61.3.4聚合函數(shù)71.3.5時間表達(dá)式函數(shù)81.4SQL-LIKE使用中注意的問題91.4.1where中多個條件的優(yōu)先級說明91.4.2幾點(diǎn)使用限制說明92MDSS-V0.3 SHELL操作手冊112.1進(jìn)入shell系統(tǒng)112.2SHELL操作方法1130.3版本新增功能153.1幾個常用命令的符號鏈接15

2、3.1.1進(jìn)入SHELL命令153.1.2檢索結(jié)果文件導(dǎo)出命令153.1.3根據(jù)文件構(gòu)建檢索條件并導(dǎo)出檢索結(jié)果命令153.2域名分級檢索功能163.2.1域名分級定義163.2.2MDSS中域名分級函數(shù)的使用164命令行操作方法184.1基本功能184.2語法184.3舉例191 SQL-LIKE語言使用手冊1.1 MDSS-V0.3系統(tǒng)功能概述SQL-LIKE是為MDSS系統(tǒng)設(shè)計的數(shù)據(jù)檢索語言，MDSS-v0.3系統(tǒng)主要功能如下：n 提供二維表格數(shù)據(jù)模型；n 以一條記錄為原子操作；n 利用分布式存儲框架，實(shí)現(xiàn)數(shù)據(jù)和索引的分布存儲、并發(fā)檢索功能；n 在單一表空間內(nèi)利用SQL-LIKE語言實(shí)現(xiàn)：

3、精確查詢，模式查詢，多屬性查詢，區(qū)間查詢，統(tǒng)計排序，函數(shù)聚合等檢索功能；n 支持近期數(shù)據(jù)的快查（近期緩存在集群內(nèi)存中）功能；1.2 SQL-LIKE中的數(shù)據(jù)類型 目前MDSS-V0.3 SQL-LIKE語言支持六種基本數(shù)據(jù)類型包括：INTEGER或INT、IPV4_ADDR、IPV6_ADDR、CHAR、STORE、TIMESTAMP六類：INTEGER或INT，IPV4_ADDR、IPV6_ADDR、CHAR支持where條件查詢，STORE不支持where條件查詢，直接保存數(shù)據(jù)，每種類型使用規(guī)則如下：l 整數(shù)類型：關(guān)鍵字：INTEGER或INTn 例如：ID INTEGER；n 說明：IN

4、TEGER類型字段支持算術(shù)比較（,=），支持統(tǒng)計查詢(SUM，COUNT，AVG)；l IP字段類型：關(guān)鍵字：IPV4_ADDR, IPV6_ADDR。 IPV4_ADDR保存IPV4類型的IP地址，IPV6_ADDR保存IPV6類型的IP地址n 例如：sip IPV4_ADDR；n 說明：支持IP類型數(shù)據(jù)的區(qū)間檢索、子網(wǎng)檢索；sip= to 55,表示sip在整個10.10.10.*段的IP地址；l 索引類型：關(guān)鍵字CHARn 說明：CHAR類型字段建立索引，支持精確查詢，模糊查詢；l 存儲類型：關(guān)鍵字：STOREn 說明：STORE類型字段直接存儲到

5、數(shù)據(jù)文件中，不支持where查詢條件；l 時間類型：關(guān)鍵字TIMESTAMPn 說明：記錄以字符串形式記錄的時間信息，以秒為單位, TIMESTAMP使用“年月日時分秒”時間字符串表示，如“20110514060606”表示2011年5月14日6點(diǎn)6分6秒；1.3 SQL-LIKE語法使用說明 SQL-LIKE是為海量數(shù)據(jù)存儲系統(tǒng)MDSS設(shè)計的數(shù)據(jù)檢索操作語言。SQL-LIKE通過提取標(biāo)準(zhǔn)SQL語言中的核心操作邏輯，支持針對單表空間的多維屬性查詢、統(tǒng)計操作。SQL-LIKE具體實(shí)現(xiàn)如下三類功能操作：表空間管理、數(shù)據(jù)查詢統(tǒng)計、數(shù)據(jù)管理等操作，基本使用規(guī)則如下：l 命令、關(guān)鍵字不區(qū)分大小寫，用戶自

6、定義的字段名區(qū)分大小寫；l 每條命令以“；”作為命令結(jié)束標(biāo)記符號；l 表名、字段名中不能出現(xiàn)#， $，￥，|，%，*，等字符；l 數(shù)據(jù)中如果有特殊字符，需要加兩個單引號括起來，如Aabc abc，表示Aabc abc作為一個字段，插入到數(shù)據(jù)庫中，但是不載入數(shù)據(jù)庫；l 區(qū)間查詢使用“ to ”表示，支持?jǐn)?shù)字、IP類型、以及時間戳類型的檢索； SQL-LIKE基本操作命令包括：CREATE，INSERT以及SELECT三類；1.3.1 CREATE命令作用：創(chuàng)建表空間；基本格式：CREATE TABLE TABLENAME (FIELDNAME FIELDTYPE , FIELDNAME FIEL

7、DTYPE,);n FIELDNAME：字段名，不能以?,*等通配符開始；n FIELDTYPE：字段類型，包含INTEGER, IPV4_ADDR, IPV4_ADDR,TIMESTAMP,INDEX, STORE六類基本類型,具體含義如1.1節(jié)。1.3.2 INSERT命令作用：插入記錄基本格式：INSERT INTO TABLENAME VALUES(VALUE1 , VALUE1);“VALUE1 , VALUE1”構(gòu)成的value列表使用“，”分隔，value列表使用括號括起來。1.3.3 SELECT命令作用：檢索記錄；基本格式：SELECT FIELDSLIST FROM TAB

8、LENAME WHERE (CONDITION) GROUP BY FIELDNAME ORDER BY FIELDNAME ASC | DESC TOP K | LIMIT K;n FIELDSLIST: DISTINCT | * | COUNT ( FIELDNAME | * ) | SUM ( FIELDNAME)| AVG ( FIELDNAME)| ,FIELDNAME,各個字段名之間，統(tǒng)計函數(shù)與其余字段之間使用“,”分割開；支持COUNT，SUM，AVG，MAX，MIN統(tǒng)計查詢函數(shù)；DISTINCT關(guān)鍵字直接放在SELECT后，如“select distinct ”表示針對整個FI

9、ELDS LIST列表的去重；放到聚合函數(shù)里，SUM(DISTINCT FIELDNAME)表示針對統(tǒng)計字段的去重；支持字段名檢索；n WHERE CONDITION AND|OR|NOT CONDITION ：where子句支持多個邏輯查詢條件的組合，CONDITION表示每個邏輯查詢條件；多個條件之間使用邏輯操作符號AND，OR，NOT連接；如：where domain = www.baidu.* and port=8080;當(dāng)where中有多個邏輯條件時，計算順序是從左到右依次進(jìn)行（可以理解為優(yōu)先級從左向右依次降低），比如：檢索IP地址池中所有類型為A的DNS記錄，可以寫作：select

10、 * from domaintable where IP=ip1 or IP=ip2 or IP=ip3 or or IP=ipn and type = A; 當(dāng)邏輯表達(dá)式中有not時，做and not處理；n CONDITIONINGETER類型支持關(guān)系運(yùn)算：=，等關(guān)系比較;IP地址類型字段支持子網(wǎng)查詢，如“sip= to 55”檢索127.10.10網(wǎng)段所有的IP地址;CHAR支持模糊查詢：*表示字符串，?表示單個字符串；n ORDER BY結(jié)果集排序，排序標(biāo)識關(guān)鍵字為：ASC或DESC，默認(rèn)是升序ASC。目前支持對單一字段進(jìn)行排序；n GROU

11、P BY結(jié)果集分組關(guān)鍵字；可以針對多個字段進(jìn)行分組；n TOP K 返回符合條件的前K條記錄；1.3.4 聚合函數(shù)MDSS-V0.3主要的聚合函數(shù)包括：COUNT，SUM，AVG，MAX，MIN,LENGTH;n COUNT統(tǒng)計符合條件的記錄數(shù)；n SUM，AVG，MAX，MIN函數(shù)可以針對INT類型進(jìn)行計算；n LENGTH取字符串的長度;目前統(tǒng)計函數(shù)可以同時出現(xiàn)多個：如：select name3,avg(name1),sum(name2) from tablename where name3 10 group by name3;1.3.5 時間表達(dá)式函數(shù)為了提高檢索靈活性，SQL-Like

12、語言支持時間表達(dá)式的計算，支持如下時間函數(shù)：1、取當(dāng)前時間函數(shù):%CURRENT_TIME%CURRENT_TIME 是表示獲取當(dāng)前系統(tǒng)時間。如果其后需要進(jìn)行四則運(yùn)算（目前系統(tǒng)不支持除法運(yùn)算），需要把四則運(yùn)算放到 %號里邊。CURRENT_TIME 后邊跟著的數(shù)值的單位為秒。注意：%號一定是要成對出現(xiàn)舉例：Select count(*) from t1 where time = %CURRENT_TIME - 2*3600 -1800% to %CURRENT_TIME%;假設(shè)當(dāng)前時間為：2011年6月1號10點(diǎn)30分整，則該sql會被翻譯為：Select count(*) from t1 w

13、here time = 20110601080000 to 20110601103000;2、支持時間函數(shù):to_date()To_date函數(shù)會帶參數(shù)，參數(shù)格式為：年-月-日 時:分:秒，舉例：Select count(*) from t1 where time = to_date(2011-6-1 10:3:00) to to_date(2011-6-2 10:3:00);該sql會被翻譯為：Select count(*) from t1 where time = 20110601100300 to 20110602100300;3、取當(dāng)前時間的零點(diǎn):%CURRENT_DAY%取當(dāng)天時間的

14、零點(diǎn)函數(shù)，具體含義與%CURRENT_TIME%相同。1.4 SQL-LIKE使用中注意的問題1.4.1 where中多個條件的優(yōu)先級說明當(dāng)where中有多個邏輯條件時，通過and or not連接，從左到右優(yōu)先級依次降低，取雙目邏輯操作符號做集合運(yùn)算（具體含義見1.2 where部分的說明）；1.4.2 幾點(diǎn)使用限制說明1. 聚合函數(shù)使用限制與統(tǒng)計函數(shù)SUM，AVG等同時出現(xiàn)在select子句中的字段名必須同時出現(xiàn)在GROUP BY中子句中；如：select name1, sum(name2) from tablename where name110 group by name1;/name

15、1必須出現(xiàn)在group by子句中2. 時間檢索條件的限制MDSS-V0.3針對網(wǎng)絡(luò)流數(shù)據(jù)做了基于時間存儲的優(yōu)化處理，在檢索條件中使用TIMESTAMP等字段類型的時間檢索條件會提高檢索效率，但是時間檢索條件只能使用一次。使用多個時間檢索條件優(yōu)化技術(shù)無效。3. AS關(guān)鍵字的限制MDSS-V0.3中AS支持聚合函數(shù)重命名并排序的操作；但是別名不能出現(xiàn)在where子句中：select domain,sum(count) as CNT domain from domaintable where type=A group by domain order by CNT;4. 目前MDSS不支持的功能SQ

16、L-LIKE不支持標(biāo)準(zhǔn)SQL中的如下功能：（1）SQL-LIKE不支持JOIN操作MDSS-v0.3 不支持多個表之間的JOIN操作；（2）SQL-LIKE不支持嵌套查詢MDSS-v0.3 不支持多個SELECT語句嵌套查詢；2 MDSS-V0.3 SHELL操作手冊為了方便數(shù)據(jù)的管理，開發(fā)了的SHELL字符管理操作界面，基本功能如下：2.1 進(jìn)入shell系統(tǒng)存儲系統(tǒng)部署在/home/mdss/目錄下：運(yùn)行目錄下的shell/executeSQL進(jìn)入shell管理界面；為了增加系統(tǒng)操作的方便性，0.3版本在查詢機(jī)上建立系統(tǒng)符號鏈接，直接運(yùn)行以“mdss_”開頭的相關(guān)命令，運(yùn)行相關(guān)程序，具體使

17、用如下。在任意目錄下運(yùn)行如下命令，進(jìn)入SHELL系統(tǒng)，功能同上。rootYMX-SEV-0002 # mdss_shelll2.2 SHELL操作方法1. 命令：mdsshelp功能：顯示使用手冊： 2. 命令：mdssquit功能：退出shell；3. 命令：mdsslist功能：顯示所有表空間的名字；4. 命令：mdss 功能：創(chuàng)建表空間命令；mdsscreate table ipinfo(id char, addr char, ip ipv4_addr , num int,time TIMESTAMP,content STORE);5. 命令：mdss show 功能：查看名為table

18、的表的結(jié)構(gòu)mdssshow ipinfo6. 命令：mdss drop 功能：刪除名為table的表；mdssdrop ipinfo7. 命令：mdss 功能：執(zhí)行一條插入語句:mdssinsert into ipinfo values (1,2,20,1297927567,more and more);注意：該語法中所有數(shù)據(jù)都不加雙引號。值中包含特殊字符時，要用中括號把該數(shù)據(jù)括起來；8. 命令：mdss 功能：執(zhí)行一條查詢語句；mdss select id, addr from ipinfo where addr=www.* and time= 201105110000

19、00 to 20110512000000;查詢某一天內(nèi)addr字段中以www.開頭的所有記錄，顯示每條記錄的id與addr字段內(nèi)容。9. 執(zhí)行sql-like腳本的文件功能：運(yùn)行一個文件名為file的查詢腳本；腳本文件是根據(jù)sql-like語言寫的文本文件，可用于批量數(shù)據(jù)的導(dǎo)入操作。10. 分批檢索命令:mdss c功能：當(dāng)結(jié)果集過大，會自動分批顯示查詢結(jié)果，每個批次默認(rèn)70萬條記錄；11. 設(shè)置每頁顯示記錄條數(shù):mdssp N功能：將每頁顯示記錄設(shè)為N條；12. 分頁檢索命令:mdss N功能：顯示分頁檢索中的下一頁；13. 分頁檢索命令:mdssj N功能：跳至第N頁顯示；14. 刪除數(shù)據(jù)

20、命令:mdssdel 功能：刪除table表中在start_time和end_time時間段內(nèi)的數(shù)據(jù)；15. 快查命令功能：對于近期數(shù)據(jù)，時間區(qū)間為5分鐘，可以使用快速查找命令，查找命令以：開頭；mdss:select count(*) from quicktest;3 0.3版本新增功能對于常用的幾種操作方式，在系統(tǒng)目錄下建立符號鏈接，快速運(yùn)行相關(guān)程序。3.1 幾個常用命令的符號鏈接為了增加系統(tǒng)操作的方便性，0.3版本在查詢機(jī)上建立系統(tǒng)符號鏈接，直接執(zhí)行相關(guān)操作命令。MDSS系統(tǒng)的命令是以“mdss_”開頭的，具體功能如下：3.1.1 進(jìn)入SHELL命令進(jìn)入SHELL系統(tǒng)，功能同2.1 ro

21、otYMX-SEV-0002 # mdss_shelll3.1.2 檢索結(jié)果文件導(dǎo)出命令把一條檢索語句的檢索結(jié)果輸入到指定文件中。 rootYMX-SEV-0002 # mdss_search Usage:mdss_search SQL_CMD output_file.Example:mdss_search select * from dnsdomaindb; result3.1.3 根據(jù)文件構(gòu)建檢索條件并導(dǎo)出檢索結(jié)果命令rootYMX-SEV-0002 # mdss_search_from_fileUsage: -n,-name: Assign the table name -f,-file

22、: Assign the field and file -t,-time: Assign the time and interval -o,-output: Assign the output file一個具體的使用例子如下：rootYMX-SEV-0002 #mdss_search_from_file -n dnsdomaindb -f DOMAIN=domain.txt -t TIME=20110618190000 to 20110618200000 -o result.txt含義：表示檢索表名為：dnsdomaindb；字段名為DOMAIN，字段值為domain.txt文件記錄的值，多個

23、值之間使用n分隔（換行），邏輯上是或關(guān)系；時間是20110618190000 to 20110618200000區(qū)間內(nèi)；檢索結(jié)果導(dǎo)出到result.txt中；如果domain.txt保存如下內(nèi)容:d1d2相當(dāng)于如下SQL-LIKE檢索語句：select * from dnsdomaindb where DOMAIN=d1 or DOMAIN=d2 and TIME=20110618190000 to 20110618200000;3.2 域名分級檢索功能3.2.1 域名分級定義為了支持域名分級檢索，MDSS-v0.3引入域名分級檢索功能。字符串中的“.”表示域名分級標(biāo)示。其中，從后面數(shù)第一個點(diǎn)

24、后面的字符串是第一級域名；后面數(shù)第二個點(diǎn)后面的字符串是第二級域名；如，“www.MP”第一級域名是：com；第二級域名是：；第三級域名是：MP ；3.2.2 MDSS中域名分級函數(shù)的使用MDSS中使用專有函數(shù)表示域名分級檢索，定義描述如下：函數(shù)名稱函數(shù)作用LEVEL1(字段名)取第一級域名，字符串區(qū)分大小寫LEVEL1_NO(字段名)取第一級域名，字符串不區(qū)分大小寫LEVEL2(字段名)取第二級域名，字符串區(qū)分大小寫LEVEL2_NO(字段名)取第二級域名，字符串不區(qū)分大小寫LEVEL3(字段名)取第三級域名，字符串區(qū)分大小寫LEVEL3_NO(字段名)取第三級域名，字符串不區(qū)分大小寫域名分級

25、函數(shù)，可以出現(xiàn)在select子句中，也可以出現(xiàn)在group by子句中，具體示例如下：SELECT SUM(DCOUNT) AS CNT, DOMAIN FROM dnsdomaindb WHERE TYPE=A AND TIME= 20110707100000 TO 20110707110000 GROUP BY LEVEL1(DOMAIN) ORDER BY CNT DESC;含義：在dnsdomaindb表中檢索時間2011-07-07:10:00:00到2011-07-07:11:00:00內(nèi)，滿足TYPE=A的記錄，并根據(jù)第一級域名進(jìn)行分組統(tǒng)計域名解析次數(shù)，域名字符區(qū)分大小寫，結(jié)果根據(jù)域名統(tǒng)計次數(shù)做降序排列。4 命令行操作方法為了支持批量數(shù)據(jù)查詢和查詢數(shù)據(jù)自定義格式導(dǎo)出，MDSS具有命令行導(dǎo)出，導(dǎo)入的功能。4.1 基本功能1. 按照基本sql語句給出查詢結(jié)果，將查詢結(jié)果顯示在終端或者存儲于文件中。2. 支持從文本中讀取sql語句的查詢，可以是批量查詢，支持存儲在文件中。3. 支持存儲文件路徑的可配置。4. 支持歷史數(shù)據(jù)查