數(shù)據(jù)分析工具實(shí)踐1課件08第八講

第八講：sas數(shù)據(jù)處理夏敏2016.10生成一個(gè)數(shù)據(jù)集，記錄發(fā)送失敗的和發(fā)送延遲的；包括ID、目標(biāo)郵箱、發(fā)送狀態(tài)；結(jié)果按照id排序作業(yè)分析郵件的日志文件，要求：1、生成一個(gè)數(shù)據(jù)集，該數(shù)據(jù)集包括ID、目標(biāo)郵箱2、生成一個(gè)數(shù)據(jù)集，包括ID、發(fā)送狀態(tài)、反饋信息；3、生成一個(gè)數(shù)據(jù)集，包括ID、發(fā)送狀態(tài)、反饋信息（去掉顯示發(fā)送信息的行，并把狀態(tài)是success的，如果有ip地址則顯示ip地址，如果沒(méi)有IP地址則清空反饋信息）4、生成一個(gè)數(shù)據(jù)集，記錄發(fā)送失敗的，并且只提取最后一次記錄；包括ID、目標(biāo)郵箱、發(fā)送狀態(tài)、反饋信息5、生成一個(gè)數(shù)據(jù)集，記錄發(fā)送延遲的，并且只提取最后一次記錄；包括ID、目標(biāo)郵箱、發(fā)送狀態(tài)、反饋信息作業(yè)1、2input@'startingdelivery'id4.@'toremote'email:$50.;input@'delivery'id4.@':'status:$msg&$400.;MsgSuccess:Deferral:Failure:ifindex(status,":")>0thenstatus=substr(status,1,length(status)-1);//另一種思路：指針回跳一列，讀取字符，判斷是否是：作業(yè)3ifstatuseq“msg”thendelete;／／結(jié)果中不會(huì)出現(xiàn)msg的行對(duì)于deferral和failure的行輸出完整的反饋信息對(duì)于success行ifstatuseq“success”andindex(msg,".")>0thenMsg＝substr(msg,1,16);elsemsg="";／／ip最大15位，最小9位；并且后面的字符是_accepted,所以先去16Msg＝subsstr（msg,1,index(msg,”_")-1）或者使用find（）函數(shù)直接匹配accepted這個(gè)字符串或者：ifindex(message,"did_1+0+0/")>0thenmsg="";作業(yè)4、5第一個(gè)和第三個(gè)數(shù)據(jù)集合并procsortdata=aa;byid;procsortdata=cc;byid;Datax_merge;mergeaacc;byemailid;作業(yè)4、5ifemail=“”thendelete;／／把目標(biāo)郵箱地址為空的行刪除ifstatus=”success“thendelete;／／把狀態(tài)為success的行刪除procsortdata=x_merge;／／新數(shù)據(jù)集先按照郵箱地址進(jìn)行排序,當(dāng)郵箱地址相同時(shí)再按照id排序byemailid;作業(yè)4、5Datafailure;Setx_merge;／／導(dǎo)入合并的數(shù)據(jù)集byemail;／／按email進(jìn)行分組,然后取每組中的最后一條記錄,

iflast.emailandstatus”failure”thenoutput;／／如果遇到email組最后一條記錄就輸出到last_email數(shù)據(jù)集run;

procprint;

optionslinesize=256;

run;數(shù)據(jù)分析－建模數(shù)據(jù)建模描述性統(tǒng)計(jì)量均值最大值、最小值計(jì)數(shù)求和方差、標(biāo)準(zhǔn)差標(biāo)準(zhǔn)誤變異系數(shù)極差校正平方和、非校正平方和偏斜度、峰度分位數(shù)函數(shù)卡方分布正太分布分位數(shù)F分布分位數(shù)T分布分位數(shù)。。。隨機(jī)數(shù)函數(shù)正太分布均勻分布二項(xiàng)分布柏松分布貝塔分布幾何分布極值分布指數(shù)分布Means過(guò)程Means過(guò)程是對(duì)觀測(cè)值進(jìn)行列的操作Sas統(tǒng)計(jì)描述中的函數(shù)是對(duì)行的操作Means過(guò)程Libnameaa“d:\temp”;Procmeansdata=aa.scoremaxdec=3;//缺省是2Vart1-t3;／要處理的變量Classclas;／／按照clas進(jìn)行分組Byclas;Procmeansmaxdec=3;Byclas;vart1-t3;Run;／／輸出結(jié)果：是缺省狀態(tài)，包括計(jì)數(shù)、均值、標(biāo)準(zhǔn)差、最小值、最大值Means過(guò)程Libnameaa“d:\temp”;Procmeansdata=aa.score把統(tǒng)計(jì)量寫(xiě)在此處

maxdec=3;//缺省是2Vart1-t3;／要處理的變量Classclas;／／按照clas進(jìn)行分組Procsortdata=aa.score;Byclas;Procmeansmaxdec=3;Byclas;vart1-t3;Run;//Classclas;與byclas的區(qū)別是后者必須先用sort排序Weight語(yǔ)句指定觀測(cè)值的權(quán)重如果變量為缺失值或是0，則該觀測(cè)被剔除Freq語(yǔ)句頻率指定觀測(cè)值出現(xiàn)的頻率，如果指定的值不是整數(shù)，將自動(dòng)取整。如果指定的值小于1，則觀測(cè)值不會(huì)被計(jì)算SexagenumberF2010f1820M2023m2019Procmens;Varage;Bysex;Run;SexagenumberF2010f1820M2023m2019Procmens;Freqnumber;Varage;Bysex;Run;Freq語(yǔ)句Freq過(guò)程產(chǎn)生一維至n維的頻數(shù)表和列聯(lián)表以總計(jì)百分比和數(shù)據(jù)計(jì)數(shù)的形式表示變量值的分布Output語(yǔ)句與data數(shù)據(jù)步中的output不同Varac;Outputout=aaMEAN=mamcSTD=sasc;MEAN=mamc／／表示求得變量ac的平均值的列名用mamc表示STD=sasc／／表示求得變量ac的標(biāo)準(zhǔn)差的列名用sasc表示制作制表與畫(huà)圖Table語(yǔ)句制表，不僅僅是制表，還包含了統(tǒng)計(jì)量的計(jì)算Tabulate過(guò)程Datatest；Inputxy@@;Datalines;123343876308630958;Proctabulate;Classxy;Tablex*y;Run;生成的表格中x為控制維度，y為子維度Tablexy；／／按照xy兩個(gè)變量生成相對(duì)獨(dú)立的Tablex＊yz；Tablex*(yz);如果行很寬，通過(guò)optionslinesize＝’1000’;Tabulate過(guò)程＊表示控制空格表示相互獨(dú)立上面都是列維度上，表示分為行維度和列維度Tablex,y*z;//x表示的是行維度Univ