ARM匯編快速入門教程

第第頁ARM匯編快速入門教程

本文主要分享如何快速上手（ARM）（匯編）開發(fā)的經(jīng)驗、匯編開發(fā)中常見的Bug以及Debug方法、用的Convolu（ti）onDephtwise算子的匯編實現(xiàn)相對于（C++）版本的加速效果三方面內(nèi)容。

01前言

（神經(jīng)網(wǎng)絡(luò)）模型能夠在移動端實現(xiàn)快速推理離不開高性能算子，直接使用ARM匯編指令來進行算子開發(fā)無疑會大大提高算子的運算性能。初次接觸匯編代碼可能會覺得其晦澀難懂然后望而卻步，但ARM匯編開發(fā)一旦入門就會覺得語言優(yōu)美簡潔，如果再切換到ARMINTRIS（IC）指令開發(fā)反而覺得沒有直接寫匯編碼來的方便。我會在第一節(jié)分享純小白如何快速上手ARM匯編開發(fā)的經(jīng)驗，第二節(jié)會列舉在匯編開發(fā)中常見的Bug以及Debug方法，第三節(jié)會展示常用的ConvolutionDephtwise算子的匯編實現(xiàn)相對于C++版本的加速效果。如果你已經(jīng)能很熟練地使用ARM匯編指令進行開發(fā)了，可以跳過第一節(jié)。

02從簡單函數(shù)上手

學習匯編開發(fā)重要的一點是通過學習現(xiàn)有函數(shù)的匯編代碼來實現(xiàn)自己的需求

我寫的第一個匯編算子是MaxPooling算子，算子本身的計算過程非常簡單。但當我開始實現(xiàn)MaxPooling的匯編代碼時，我不知道第一行代碼怎么寫，不知道開頭和結(jié)尾怎么寫，不知道中間的計算邏輯怎么寫。當時我就在MNN庫的source文件夾下面找到了一份邏輯簡單的、自己非常熟悉的Relu算子當做參照來實現(xiàn)MaxPooling.之所以我（推薦）用一個邏輯簡單的、自己非常熟悉的算子當做學習匯編的模版，是因為當算子的計算邏輯簡單時，我們才能把注意力放在匯編函數(shù)的聲明、傳參、讀取數(shù)據(jù)、存儲結(jié)果、返回等等這些大的流程上面，至于內(nèi)部的函數(shù)實現(xiàn)（如何計算一行數(shù)據(jù)的最大值，如何去計算一個（寄存器）中所有數(shù)據(jù)的累加和等等）可以暫時不去關(guān)注。學習一個新的東西時，我們找的例子模版不能過于復雜，因為這會導致我們將注意力放在例子本身的實現(xiàn)細節(jié)中，而忽略了如何去入門，這樣會增加我們的學習成本。

匯編函數(shù)的開頭與結(jié)尾

函數(shù)定義以asm_function開頭，后加函數(shù)名（以MNNAvgPoolInt8ARM64為例）：

asm_functionMNNAvgPoolInt8//加上函數(shù)的傳參解釋，方便后續(xù)對照使用對應(yīng)的寄存器//voidMNNAvgPoolInt8(int8_t*dst,int8_t*src,size_toutputWidth,//size_tinputWidth,size_tkernelx,size_tkernely,size_tstridesx,//ssize_tp（ad）dingx,ssize_tfactor);//Autoload:x0:dst,x1:src,x2:outputWidth,x3:inputWidth,//x4:kernelx,x5:kernely,x6:stridesx,x7:paddingx//Loadfromsp://w8:factor

傳參：ARM64用于傳參的寄存器有8個：x0-x7.如果函數(shù)的參數(shù)大于8，就需要使用sp寄存器讀取剩余參數(shù)。例如AvgPoolInt8算子中的第9個參數(shù)factor讀?。?/p>

//x8寄存器存儲參數(shù)factor的值，不是必須使用x8寄存器，用其他寄存器也是可以的。ldrx8,[sp,#0]

ARM寄存器使用不當會導致程序crash。這里總結(jié)了ARM32和AMR64的寄存器基本使用規(guī)則。ARM32中通用寄存器和向量寄存器都有16個，每個向量寄存器的最大使用長度是128位。ARM32中用于傳參的寄存器有4個：r0-r3。ARM32中r13寄存器就是sp寄存器，指向棧頂；r14寄存器也叫l(wèi)r寄存器，存儲函數(shù)的返回值地址；r15寄存器也叫pc寄存器，存儲將要執(zhí)行的下一條指令的地址。在進行匯編開發(fā)時，一般不使用r13和r15寄存器來存儲臨時變量。r9寄存器的使用在各個平臺上可能不同，為了防止出錯，一般也不用來存儲臨時變量。當不需要使用r14存儲返回值地址的信息時，也可以使用其存儲臨時變量。下圖中我總結(jié)了ARM32中寄存器的基本使用規(guī)則，關(guān)于各寄存器更加詳細的介紹參考。

ARM64中通用寄存器和向量寄存器的個數(shù)比ARM32多一倍，有32個。ARM64中向量寄存器的使用更加靈活，可以8bit,16bit,32bit,64bit使用。例如，v0表示128位的向量寄存器，d0,s0,h0分別表示v0的低64位，32位，16位。注意，d1,s1,h1表示v1寄存器的低64位，32位，16位，而不是緊接著v0的第二個相應(yīng)位。ARM64的寄存器使用見下圖。

我們可以用浮點操作指令把向量寄存器中的數(shù)當做標量來進行計算，需要注意在ARMV8中浮點操作指令不支持對16bit的浮點數(shù)進行計算，僅支持做16bit和32bit,64bit之間的轉(zhuǎn)換。

fadd（Sd）,Sn,Sm//32bitSingleprecisionf（sub）Dd,Dn,Dm//64bitDoubleprecisionfcvtSd,Hn//half-precisiontosingle-precisionfcvtDd,Hn//half-precisiontodouble-precisionfcvtHd,Sn//single-precisiontohalf-precisionfcvtHd,Dn//double-precisiontohalf-precision

對上圖中的“用完恢復”寄存器的使用：一些復雜的函數(shù)需要的向量寄存器或者通用寄存器可能會非常多，那就需要我們在開頭加載這些寄存器，不然會報錯segmentfault.加載方法如下：

//d8-d15表示使用v8-v15這8個寄存器的64位,(2*64)/8=16,//這就是每次sp移位時(#16*i)中16的來源。stpd14,d15,[sp,#(-16*9)]!stpd12,d13,[sp,#(16*1)]stpd10,d11,[sp,#(16*2)]stpd8,d9,[sp,#(16*3)]stpx27,x28,[sp,#(16*4)]stpx25,x26,[sp,#(16*5)]stpx23,x24,[sp,#(16*6)]stpx21,x22,[sp,#(16*7)]stpx19,x20,[sp,#(16*8)]

在函數(shù)的結(jié)尾需要釋放這些寄存器：

ldpx19,x20,[sp,#(16*8)]ldpx21,x22,[sp,#(16*7)]ldpx23,x24,[sp,#(16*6)]ldpx25,x26,[sp,#(16*5)]ldpx27,x28,[sp,#(16*4)]ldpd8,d9,[sp,#(16*3)]ldpd10,d11,[sp,#(16*2)]ldpd12,d13,[sp,#(16*1)]ldpd14,d15,[sp],#(16*9)ret//最后需加上ret返回

ARM32中寄存器的數(shù)量只有ARM64的一半，自動傳參的寄存器僅r0-r3這四個寄存器，其他寄存器的加載方式和ARM64也不同，我們依然以MNNAvgPoolInt8為例，代碼的解釋和新手閉坑的地方我直接在下面的解釋中寫明。//函數(shù)定義asm_functionMNNAvgPoolInt8//voidMNNAvgPoolInt8(int8_t*dst,int8_t*src,size_toutputWidth,//size_tinputWidth,size_tkernelx,size_tkernely,size_tstridesx,//ssize_tpaddingx,ssize_tfactor);//Autoload:r0:dst,r1:src,r2:outputWidth,r3:inputWidth//r4:kernelx,r5:kernely,r7:stridesx,r8:paddingx,lr:factor//其他寄存器加載,注意lr寄存器每次必須被push進來(可以不使用)，不然會報錯segmentfault.push{r4-r8,r10-r11,lr}//上一行push了8個寄存器，那么sp指針會向低地址移動(8*4=32)個字節(jié)（ARM32每個指針占4個字節(jié)），//所以第五個參數(shù)“kernelx”加載時需要將sp的地址加(#32).//虛擬內(nèi)存中棧是從高地址向低地址擴展的，而函數(shù)傳參是從右往左傳去棧中的，//所以后面的參數(shù)地址會比前面的高，即相對sp寄存器的地址增加的更多。ldrr4,[sp,#32]//kernelxldrr5,[sp,#36]//kernelyldrr7,[sp,#40]//stridesxldrr8,[sp,#44]//paddingxldrlr,[sp,#48]//factor//加載向量寄存器一定要放在利用sp寄存器來讀取所有函數(shù)參數(shù)之后，//否則不能正常讀取函數(shù)參數(shù)vpush

{q4-q7}

ARM32結(jié)尾對寄存器的釋放

//不需要poplr寄存器，但是必須poppc寄存器。//ARM32結(jié)尾不需要寫ret,這和ARM64不同。vpop{q4-q7}pop{r4-r8,r10-r11,pc}

核心功能的實現(xiàn)

寫匯編代碼之前，我們一定要先實現(xiàn)C++版本的代碼，保證C++版本的算子在ARM移動端的計算結(jié)果是正確的。這樣做有兩個目的：第一，保證我們對算子的理解是正確并清晰的，否則寫匯編算子就是浪費時間；第二，為匯編算子的輸出結(jié)果提供標準答案，因為同樣的C++代碼在不同的平臺上的計算結(jié)果可能會略有不同(但差異不會很大），我們需要保證匯編版本的算子和C++版本的算子計算結(jié)果在ARM平臺上完全一致。

匯編代碼中條件判斷和分支跳轉(zhuǎn)

MaxPooling算子通過遍歷局部區(qū)域的所有元素，進而找到區(qū)域內(nèi)的最大值。這就涉及到循環(huán)指令、地址跳轉(zhuǎn)指令和比較兩個向量寄存器中對應(yīng)元素。關(guān)于指令的解釋我直接在代碼解釋中寫明。

比較兩個向量寄存器中對應(yīng)元素的大小

/*smax,smin比較整型數(shù)數(shù)據(jù)的大小ARM匯編有符號整數(shù)的指令一般以s開頭(signedint)無符號整數(shù)的指令一般以u開頭(unsignedint)浮點數(shù)據(jù)的指令一般以f開頭(float)*///比較v0和v1寄存器中的16個int8_t數(shù)據(jù),//并將對應(yīng)位置上的較大值存儲在v2的相應(yīng)位置上//b表示以8位來讀取數(shù)據(jù)，相應(yīng)的匯編中h:16位,s:32位,d:64位smaxv2.16b,v0.16b,v1.16bsminv10.4s,v11.4s,v12.4s//比較v11和v12的4個int32_t數(shù)據(jù)的大小

循環(huán)執(zhí)行某一段代碼

如果需要在ARM匯編中循環(huán)執(zhí)行一段代碼，那我們需要自定義一個符號來標記這一段代碼。以MaxPooling算子為例，假設(shè)每一個像素點含有16個Channel，我們需要得到被kernel覆蓋到的9個像素點上對應(yīng)Channel的最大值，即重復執(zhí)行比較指令9次。例如用Loop來標記我們需要循環(huán)的代碼段：

1.movw7,#-0x80//給通用寄存器賦值-128，即int8_t類型的最小值2.dupv0.16b,w7//初始化v0,v0中存儲了16個-1283.movx10,#9//計數(shù)//循環(huán)Loop:3.ld1{v1.16b},[x0]//從地址x0中加載16個int8的數(shù)據(jù)到v1寄存器，與v0做比較4.smaxv0.16b,v0.16b,v1.16b//用v0記錄最終的比較結(jié)果5.addx0,x0,#1//移動像素點的地址，這里我們假設(shè)9個像素點是連續(xù)的6.subx10,x10,#1//比較完一個像素點的16個Channel大小后，計數(shù)減17.cmpx10,#0//cmp是compare的縮寫：比較x10和0的大小8.bgtLoop//bgt是branchgreaterthan的縮寫，滿足條件就跳到分支Loop執(zhí)行//循環(huán)執(zhí)行結(jié)束9.st1{v0},[x1]//存儲寄存器v0中的16個int8_t數(shù)據(jù)到地址x1中//ARM匯編代碼是按照從上到下的順序來執(zhí)行的，//所以跳出Loop不需要額外的指令來表示結(jié)束該分支//當不滿足x10>0時，會直接執(zhí)行第9行代碼

如何查找需要的指令

靈活地運用各種匯編指令往往能提高算子性能。

利用現(xiàn)成的匯編代碼查找指令

當我們閱讀一些匯編代碼時，根據(jù)匯編指令去查詢其功能是非常容易的，甚至根據(jù)指令名我們可以猜測出他的功能。但是當我們第一次寫匯編代碼時，想知道實現(xiàn)某個功能可以使用哪些指令往往很難。此時最關(guān)鍵的一點，需要我們思考哪個函數(shù)中會用到我將要實現(xiàn)的功能，然后去參考他的匯編實現(xiàn)過程。比如寫Pooling算子的匯編代碼時不知道如何去進行循環(huán)代碼段的編寫，我們就可以參考矩陣乘算子的匯編代碼去學習分支跳轉(zhuǎn)，寄存器的比較等指令。當我們不知道如何用匯編指令去實現(xiàn)浮點數(shù)轉(zhuǎn)整數(shù)的四舍五入時，MNN中現(xiàn)成的Float2Int8函數(shù)一定會有相應(yīng)的指令實現(xiàn)這個功能。當我們編寫了越來越多的匯編代碼，會接觸到更多的匯編指令，解決問題的思路和視野也更開闊。

利用關(guān)鍵詞在ARM官網(wǎng)查找指令

ARM官網(wǎng)列舉了所有匯編指令的用法，其中ARM64的指令手冊比ARM32更易查找和理解。一般ARM64的指令在ARM32系統(tǒng)都能找到對應(yīng)的等效指令。偶爾我們也需要ARMIntrisic指令來完成一些簡單函數(shù)的開發(fā)，Intrisic指令可以參考。利用好功能的關(guān)鍵詞能提高查找指令的速度。例如某次（編程）中我需要查找哪些指令能實現(xiàn)“int8+int16->int16"的功能，顯然關(guān)鍵詞是"add".官網(wǎng)中會列舉適用于各種場景的向量加法指令，很快就可以定位到"saddwv0.8h,v1.8h,v2.8b"指令。

03ARM匯編Debug方法和常見錯誤列舉

利用好“打印printf”

匯編代碼的調(diào)試一直是個難題，不能像C++代碼那樣一步步Debug查看變量的值，只能通過在函數(shù)調(diào)用的外層加打印的方式來查看匯編代碼的執(zhí)行結(jié)果。不過只要我們能利用好打印，匯編代碼的BUG排查就能簡單不少！具體來說，如果我們需要查看某個中間變量的值，我們可以在代碼內(nèi)部用返回值地址來存儲該值，從而我們可以在匯編代碼的外部打印該地址存儲的內(nèi)容，這樣間接地檢查代碼執(zhí)行的邏輯是否符合預期。

函數(shù)傳參錯誤

函數(shù)傳參錯誤非常容易被忽視，因為這個錯誤很少會直接報錯"segmentfault"，而是發(fā)現(xiàn)匯編算子的結(jié)果和C++版本不一致時，經(jīng)過一步步排查才發(fā)現(xiàn)傳參就出現(xiàn)了錯誤。畢竟我們發(fā)現(xiàn)結(jié)果錯誤時，更習慣于去檢查匯編代碼中最復雜的邏輯，不太會想到代碼開頭的函數(shù)傳參就已經(jīng)錯了。目前為止，我遇到過的傳參錯誤就只有以下兩種：

1、除了整型以外的數(shù)據(jù)傳參應(yīng)該用指針傳入，而不是直接傳入?yún)?shù)值。浮點參數(shù)傳遞方式與編譯器及參數(shù)配置相關(guān)，可能不同平臺下傳遞方式不一樣。如果直接浮點數(shù)值傳參，帶來的結(jié)果有可能是：浮點參數(shù)后面的參數(shù)數(shù)值都是前一個參數(shù)的數(shù)據(jù)，也就是發(fā)生了傳參的偏移，導致計算結(jié)果對不上；如果恰巧你需要從某個參數(shù)中l(wèi)oad數(shù)據(jù)，該參數(shù)的值受到了浮點參數(shù)錯誤傳遞的影響，那有可能會報segmentfault的錯誤。

//正確傳參，用指針傳遞浮點常數(shù)para0voidfunc(float*para0,float*dst)//錯誤傳參，直接傳入常數(shù)para0voidfunc(floatpara0,float*dst)

2、傳參寄存器使用錯誤

ARM64自動傳參的寄存器有8個：x0-x7，ARM32自動傳參的寄存器有4個:r0-r3。如果參數(shù)個數(shù)大于8（4），就需要從sp寄存器的相對位置來load參數(shù)。asm_functionMNNAvgPoolInt8//加上函數(shù)的傳參解釋，方便后續(xù)對照使用對應(yīng)的寄存器//voidMNNAvgPoolInt8(int8_t*dst,int8_t*src,size_toutputWidth,//size_tinputWidth,size_tkernelx,size_tkernely,size_tstridesx,//ssize_tpaddingx,ssize_tfactor);//Autoload:x0:dst,x1:src,x2:outputWidth,x3:inputWidth,//x4:kernelx,x5:kernely,x6:stridesx,x7:paddingx//Loadfromsp://w8:factor

3、整型參數(shù)建議使用ssize_t和size_t傳參

定義一個函數(shù)：voidfunc(int8_t*dst,int8_t*src,float*pa（ram）s0,float*params1,intwidth,intheight,intkernelx,intkernely,intneedBro（adc）ast)

按照前面的介紹，第9個參數(shù)needBroadcast應(yīng)該由sp寄存器來加載，如：ldrx8,[sp,#0]，如果我們需要比較needBroadcast和0的大小，寫成：cmpx8,#0，無論x8是否為0，代碼的判斷結(jié)果都會是false.除非將判斷語句寫成：cmpw8,#0.出現(xiàn)這種問題的原因在于，ssize_t和size_t這兩種類型，ARM64和ARM32會將其分別看做是64位和32位的數(shù)據(jù)，而對于int類型的數(shù)據(jù)，ARM64和ARM32上都會是32位的數(shù)據(jù)，而ARM64的通用寄存器以x來使用是64位的（即x1,x2...），以w來使用才是32位的（即w1,w2...)。所以要比較x8與0的大小關(guān)系，應(yīng)是：cmp,w8,#0.

對于上述問題的更好的解決辦法是，函數(shù)聲明時將needBroadcast參數(shù)的類型定義成ssize_t，因為該參數(shù)的取值可能是-1,1,0，我們將其定義成有符號類型。在匯編代碼中再次使用cmpx8,#0來比較結(jié)果就是正確的了，當然此時我們還是用w8和0比較的話，結(jié)果也是正確的。

?

ARM32向量寄存器和參數(shù)加載的順序問題

在匯編開發(fā)中我遇到過這樣的問題，定義一個函數(shù)如下：

//voidMNNAvgPoolInt8(int8_t*dst,int8_t*src,size_toutputWidth,//size_tinputWidth,size_tkernelx,size_tkernely,size_tstridesx,//ssize_tpaddingx,ssize_tfactor);asm_functionMNNAvgPoolInt8//Autoload:r0:dst,r1:src,r2:outputWidth,r3:inputWidth//Loadfromsp:r4:kernelx,r5:kernely,r7:stridesx,r8:paddingx,lr:factor2.push{r4-r8,r10-r11,lr}3.vpush{q4-q6}4.ldrr4,[sp,#32]5.ldrr5,[sp,#36]6.ldrr7,[sp,#40]7.ldrr8,[sp,#44]8.

ldr

lr,

[sp,

#48]

//

lr:

factor

這樣可能不會出現(xiàn)報錯segmentfault，但是參數(shù)的加載結(jié)果是錯的。原因在于第3行vpush應(yīng)該在通過sp加載完所有的函數(shù)參數(shù)之后，而不是在此之前。因為push了8個通用寄存器入棧之后，再push向量寄存器入棧，那么函數(shù)參數(shù)相對于sp寄存的位置就不再是(8x4=32).相對位置的偏移發(fā)生了變化。第3行的代碼應(yīng)該在第8行后面。

ARM64通用寄存器的使用問題

在ARM64中給通用寄存器賦整型數(shù)值

//通用寄存器的賦值只能用32位來使用寄存器movw10,#0//rightmovx10,#0//error//后續(xù)計算中要使用x10來進行加減乘的計算，需要將w10擴展成x10:uxtwx10,w10//w10中32位數(shù)據(jù)在x10的低32位中保持不變，x10的高32位填充為0.

sub,add等指令只能對整型數(shù)據(jù)操作，浮點類型數(shù)據(jù)需要使用fsub,fadd等fmovv1.4s,#1.0fmovv2.4s,#0.2fsubv1.4s,v1.4s,v2.4s

四舍五入的問題

ARM32和ARM64中浮點數(shù)取整的方式不一樣。ARM32中浮點數(shù)轉(zhuǎn)換成整數(shù)的指令（vcvt.s32.f32）是向負無窮取整的，在ARM32中沒有四舍五入的取整指令。需要在ARM32中實現(xiàn)四舍五入，可以這樣做：

//對寄存器q3中的4個浮點數(shù)據(jù)做四舍五入取整//q3:-1.4,4.5,1.1,-2.7->q3:-1,4,1,-3vmov.f32q1,#0.5vmov.f32q2,#-0.5vcgt.f32q12,q3,#0vbsl.f32q12,q1,q2//bitwiseselect.vadd.f32q13,q12,q3vcvt.s32.f32q3,q13

ARM64提供的取整指令更加靈活方便，有：//q10:-1.4,4.5,1.1,-2.7fcvtasq1,q10//q1:-1,5,1,-3就近取整fcvtzsq2,q10//q2:-1,4,1,-2向0取整fcvtmsq3,q10//q3:-2,4,1,-3向負無窮取整fcvtpsq4,q10//q4:-1,5,2,-3向正無窮取整fcvtnsq4,q10//q4:-2,4,2,-2向最近的偶數(shù)取整

整型數(shù)據(jù)和浮點數(shù)據(jù)進行數(shù)學運算的問題

整型數(shù)據(jù)與浮點數(shù)據(jù)進行相加或相乘等數(shù)學運算之前，一定要先將整型數(shù)據(jù)轉(zhuǎn)換成浮點數(shù)據(jù)再進行數(shù)學運算，否則計算結(jié)果會出錯。該過程經(jīng)常出現(xiàn)在Int8量化算子的開發(fā)中，往往是量化算子很難消除的計算負擔。用Binarymultiply的Int8量化算子舉例說明該過程：

//Int8量化的乘法算子，輸入和輸出均是Int8類型，但考慮到int8xint8會可能會導致越界，//在量化算子的實現(xiàn)過程中會將兩個輸入數(shù)據(jù)分別轉(zhuǎn)換成Float32數(shù)據(jù)之后相乘，//再將Float32的結(jié)果量化到Int8類型.sxtlv0.8h,v0.8b//int8x8_t->int16x8_tsxtlv1.8h,v1.8b//int8x8_t->int16x8_tsxtlv2.4s,v0.4h//v0的低64位數(shù)據(jù)：int16x4_t->int32x4_tsxtl2v3.4s,v0.8h//v0的高64位數(shù)據(jù)：int16x4_t->int32x4_tsxtlv4.4s,v1.4hsxtl2v5.4s,v1.8hscv（tf）v2.4s,v2.4s//int32x4_t->float32x4_tscvtfv3.4s,v3.4sscvtfv4.4s,v4.4sscvtfv5.4s,v5.4sfmulv2.4s,v2.4s,v6.4s//v6.4s:float32x4_t量化scale參數(shù)fmulv3.4s,v3.4s,v6.4sfmulv4.4s,v4.4s,v6.4sfmulv5.4s,v5.4s,v6.4s...

此處有同學可能會質(zhì)疑這么麻煩還有必要開發(fā)Int8量化的乘法算子嗎？具體原因可以參考之前關(guān)于開