基于京東快遞文本識(shí)別的自然語(yǔ)言優(yōu)化之路

1、技術(shù)創(chuàng)新，變革未來(lái)基于京東快遞文本識(shí)別的自然語(yǔ)言優(yōu)化之路三河的故事地址有規(guī)范嗎？四級(jí)地址是什么？北太平莊橋?qū)儆诤５磉€是朝 陽(yáng)？收件姓名是來(lái)這個(gè)星球 嗎？業(yè)務(wù)意義根據(jù)訂單收貨地址、商品屬性、賣家類型 等計(jì)算末端配送站信 息從ofc獲得訂單信 息， 下傳訂單信息 到運(yùn)單系統(tǒng)， 控制 下傳速度為倉(cāng)庫(kù)、分揀提供打 印時(shí)的包裹標(biāo)簽信 息：站點(diǎn)，路區(qū)，京 鮮達(dá)等信息作為訂單流程的部分， 下傳訂單信息到運(yùn)單系統(tǒng)實(shí)現(xiàn)分揀中快速作業(yè)指導(dǎo)站點(diǎn)提前安排配送資源讓KA商家提前知道包裹配送的路由信息分單的意義目標(biāo)：結(jié)構(gòu)化朝陽(yáng)亞奧北8號(hào)北A座到了橘1381輸-解構(gòu)：本實(shí)體查詢北京海淀北京政詳細(xì)地址附姓名電話輸出：召回怎么

2、做分詞？樣本庫(kù)北京興亦莊朝林場(chǎng)A座熊 練語(yǔ)料庫(kù) 地址庫(kù)到貨請(qǐng)聯(lián)系我前電話 先電話聯(lián)系送前電話聯(lián)系以便留簽收電話聯(lián)系分詞模型label名稱詞語(yǔ)城市北京區(qū)縣興poi朝林廈名張三電到了電話名姓 吳 *汪*庫(kù)1392300*1527015*電 話 庫(kù)地址庫(kù)地址分詞詞典神經(jīng)絡(luò)本解析絡(luò)結(jié)構(gòu)+詞庫(kù) 遺留問(wèn)題？語(yǔ)義相似度Word2Vec+TextCnn構(gòu)建地址模型“政區(qū)劃”北京興區(qū)榮華中路 19號(hào) 朝林場(chǎng)A座500dim Embedding(Word2Vec)Classification(TextCNN)Address 27990.0028190.00510

3、80.9851510.00convolutionpoolingdensesoftmax0.070.50.220.200.180.150.310.010.330.06-0.1-0.20.590.130.34-0.2-0.10.410.050.10.340.01-0.20.14-0.40.780.090.10.45-0.30.040.450.01-0.50.020.87-0.80.020.230.17-0.60.080.19-0.20.120.070.10.37-0.10.02-0.3-0.60.370.220.450.340.010.250.63-0.30.150.140.29-0.10.560

4、.030.24-0.50.310.410.020.18concatenate結(jié)構(gòu)化基礎(chǔ)數(shù)據(jù)建設(shè)架構(gòu)地址庫(kù)標(biāo)注 與檢查詞性分析=+同X詞詞性分析地址結(jié)構(gòu)化地名消歧動(dòng)補(bǔ)全語(yǔ)義相似未登錄詞監(jiān)督監(jiān)督?其他?地址挖掘序列語(yǔ)料語(yǔ)料庫(kù)未登錄詞-編輯距離北京市朝陽(yáng)區(qū)中關(guān)村街道中關(guān)村南條7號(hào)政區(qū)劃 北京市 朝陽(yáng)區(qū)中關(guān)村街道 中關(guān)村地址樹(shù)路徑北京市：0,0朝陽(yáng)區(qū): 0,0,2,5,12中關(guān)村街道: 0,0,3,10中關(guān)村: 0,0,3,10對(duì)候選地址進(jìn)懲罰值 計(jì)算若詞語(yǔ)不落在候選路徑 上，對(duì)路徑累加懲罰 值，懲罰值設(shè)為該詞不 為政區(qū)劃詞的概率的 對(duì)數(shù)值。懲罰值最的路徑0,0,3,10政區(qū)劃北京 北京市 海淀區(qū)中關(guān)

5、村街道反饋提供概率值政區(qū)劃別名庫(kù)亦莊鎮(zhèn)亦莊: 723586, 亦莊鎮(zhèn): 29369雙流區(qū)雙流區(qū): 1189560, 雙流縣: 成都成都市: 10792101, 成都: 523446輸出除噪結(jié)果別名北京市：北京中關(guān)村街道：中關(guān)村街道 中關(guān)村：中關(guān)村街道輸出別名庫(kù)中國(guó)北京北京東城城朝陽(yáng)海淀上海存儲(chǔ)地址樹(shù)相似度匹配相似度匹配預(yù)處理圍欄清洗BiLSTM+CRF分詞模型訓(xùn)練詞向量TextCNN模型后處理置信度歸化相似度匹配-打分(,) = (,)NiW 每個(gè)詞在全檔的權(quán)重值(,) 每個(gè)查詢?cè)~在當(dāng)前檔中的得分jaccard index(AB/AB)線性回歸并以及 sigmoid 歸化來(lái)構(gòu)建評(píng)估搜索返回結(jié)果置信度