李文超：豆包MarsCode落地編程助手場(chǎng)景的探索與實(shí)戰(zhàn)

李文超/開發(fā)工具技術(shù)專家豆包MarsCode編程助手起豆包MarsCode的現(xiàn)狀與發(fā)展未來展望?開發(fā)者對(duì)AICoding的訴求程豆包MarsCode編程助手起未來展望程?代碼補(bǔ)全的采納率不是好指標(biāo)(Codeium)?嘗試率:每當(dāng)用戶在編輯器中進(jìn)行操作，比如輸入新字符或刪除一些代碼時(shí)，都是AI給出補(bǔ)全建議的機(jī)會(huì)。「嘗試率」指標(biāo)反映了AI實(shí)際為用戶提供建議的頻率。AI不進(jìn)行嘗試可能是由于延遲（如Debounce）或需要根據(jù)上下文情況來決定是否給出補(bǔ)全建議=例子：用戶敲擊了10次按鍵，只有其中6次觸發(fā)了請(qǐng)求，那么嘗試率是6/10(Codeium)?反饋率:AI在給出補(bǔ)全建議時(shí)是存在延遲的，包括上下文檢索到網(wǎng)絡(luò)開銷再到實(shí)際模型推理都會(huì)引入延遲。如果延遲太高，開發(fā)人員將繼續(xù)在編輯器中執(zhí)行新的操作，觸發(fā)新的推薦機(jī)會(huì)并使現(xiàn)有推薦機(jī)會(huì)變得無意義。此外，在推薦完成后，工具可能因各種原因決定不向開發(fā)人員顯示建議：比如置信度不夠高、觸發(fā)了過濾器等。反饋率代表了有多少比例的建議最終被傳遞給開發(fā)人員以獲得人類「反饋」。?CPO(CharacterperOpportunity)=(嘗試率)*(反饋率)*(采納率)*(每次采納平均token數(shù))*(token平均字符長(zhǎng)度)?例子：插件發(fā)起了6次請(qǐng)求，最后只有3次被展示，那么反饋率是3/6(Codeium)?采納率：即使補(bǔ)全建議已經(jīng)給到開發(fā)者，他們也可能覺得建議并不完美而拒絕。接受率反映了展示出的建議中有多少被開發(fā)者采?CPO(CharacterperOpportunity)=(嘗試率)*(反饋率)*(采納率)*(每次采納平均token數(shù))*?如果展示的3次推薦，最后只有1次被采納，那么采納率是(token平均字符長(zhǎng)度)(Codeium)?每次采納平均token數(shù)：在其它條件相同的情況下，較長(zhǎng)和較短的代碼推薦所帶來的價(jià)值有很大差異。大型語言模型以tokens的形式處理輸入并生成輸出，這些tokens通常是一小段字符，因此每個(gè)被采納建議中平均token數(shù)反映了每條被采納建議所傳遞出的實(shí)際價(jià)值?CPO(CharacterperOpportunity)=(嘗試率)*(反饋率)*(采納率)*(每次采納平均token數(shù))*(token平均字符長(zhǎng)度)(Codeium)?token的平均字符數(shù)：開發(fā)人員看到的是字符而不是token，不同的大語言模型可以有不同的「分詞器」，因此，如果一個(gè)大語言模型的每個(gè)token生成了更多字符，實(shí)際上它會(huì)寫出更多代碼，而每個(gè)token的平均字符數(shù)正好體現(xiàn)了這一點(diǎn)?CPO(CharacterperOpportunity)=(嘗試率)*(反饋率)*(采納率)*(每次采納平均token數(shù))*(token平均字符長(zhǎng)度)?通過A/B快速驗(yàn)證和迭代模型、Prompt舉個(gè)例子：打印日志的場(chǎng)景開發(fā)者實(shí)現(xiàn)了一個(gè)log函數(shù)，并在do_something和do_something_else兩個(gè)函數(shù)中調(diào)用接下來我們給log函數(shù)增加sourceMethod和level兩個(gè)參數(shù)，用于打印日志觸發(fā)時(shí)所在的方法及日志級(jí)別。這時(shí)開發(fā)者需要同時(shí)修改do_something()和do_something_else函數(shù)為什么不讓AI完成修改的操作呢？當(dāng)我們?cè)趌og函數(shù)增加兩個(gè)參數(shù),自動(dòng)在do_something和do_something_else兩個(gè)函數(shù)中,將參數(shù)補(bǔ)齊?Git倉庫中海量的commit歷史記錄是個(gè)巨大的數(shù)據(jù)寶庫，包含了豐富的用戶編輯行為信息?Gitcommit信息中的噪音也是很多的，需要構(gòu)造一系列的啟發(fā)式規(guī)則，用于提取出有關(guān)聯(lián)的修改記錄?通過CT和SFT模型能夠理解diff格式數(shù)據(jù)豆包MarsCode編程助手起未來展望?指令追隨和語義理解能力更強(qiáng)?模型具備代碼編輯能力?更長(zhǎng)的上下文支持,百K甚至M級(jí)別長(zhǎng)度?更多...支持輸入自然語言生成代碼?更強(qiáng)的代