第一屆自然語(yǔ)言處理與中文計(jì)算會(huì)議課件

微博情感分析評(píng)測(cè)總結(jié)第一屆自然語(yǔ)言處理與中文計(jì)算會(huì)議2019年4月21日1北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所2蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3哈工大深圳研究生院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科部xxxxxx1關(guān)注我唄2019年4月21微博情感分析評(píng)測(cè)總結(jié)第一屆自然語(yǔ)言處理與中文計(jì)算會(huì)議2019任務(wù)設(shè)置觀(guān)點(diǎn)句識(shí)別情感傾向性判斷針對(duì)觀(guān)點(diǎn)句情感要素抽取針對(duì)觀(guān)點(diǎn)句2關(guān)注我唄2019年4月21任務(wù)設(shè)置觀(guān)點(diǎn)句識(shí)別2關(guān)注我唄2019年4月21數(shù)據(jù)集來(lái)自騰訊微博數(shù)據(jù)原始數(shù)據(jù)集20話(huà)題主要是熱門(mén)事件，如“三亞春節(jié)宰客”約17500條微博約32000個(gè)句子3關(guān)注我唄2019年4月21數(shù)據(jù)集來(lái)自騰訊微博數(shù)據(jù)3關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標(biāo)注三標(biāo)注者對(duì)同一數(shù)據(jù)標(biāo)注數(shù)據(jù)集大小2023條微博3416個(gè)句子1209個(gè)非觀(guān)點(diǎn)句2207個(gè)觀(guān)點(diǎn)句407正面、1766負(fù)面、34其他2361個(gè)對(duì)象441正面、1910負(fù)面、10其他4關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標(biāo)注4關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)關(guān)于觀(guān)點(diǎn)句個(gè)人意愿、心情不是觀(guān)點(diǎn)句，如“我感到很高興”表達(dá)了明顯觀(guān)點(diǎn)的反問(wèn)句屬于觀(guān)點(diǎn)句，如“體育競(jìng)技有不殘酷的嗎？”關(guān)于觀(guān)點(diǎn)句傾向性正面、負(fù)面，其他(Other)三類(lèi)，“其他”表示中性或無(wú)法確定正負(fù)的情況不進(jìn)行5關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)5關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)關(guān)于觀(guān)點(diǎn)句情感對(duì)象情感對(duì)象優(yōu)先從當(dāng)前句子抽取，但可以跨越當(dāng)前句子從前面的句子或后面的句子中抽?。ㄇ懊娴泥徑渥觾?yōu)先）情感對(duì)象盡可能完整和明確，事件按細(xì)粒度標(biāo)注：

“ipad的屏幕很棒！”->“ipad的屏幕”

“官二代陶汝坤:作案動(dòng)機(jī)極其卑劣”->“作案動(dòng)機(jī)”對(duì)象本身不是情感表達(dá)：”#官二代求愛(ài)不成將少女毀容#這種畜生是怎么被教育出來(lái)的?。。。?！”->“官二代”人稱(chēng)代詞需要盡可能在當(dāng)前微博內(nèi)進(jìn)行指代消解：

“小明就讀于北京大學(xué)，他是名優(yōu)秀的學(xué)生?！?>”小明“抽取出句子中每個(gè)情感片段所對(duì)應(yīng)的情感對(duì)象：

“你根本已經(jīng)不是個(gè)人了，你比蛇還冷血，你比畜生還畜生?！?>“你”“你”“你”6關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)6關(guān)注我唄2019年4月21參評(píng)單位34支隊(duì)伍包括全國(guó)重點(diǎn)高校與科研機(jī)構(gòu)觀(guān)點(diǎn)句識(shí)別：53組情感傾向判斷：48組情感對(duì)象抽取：22組7關(guān)注我唄2019年4月21參評(píng)單位34支隊(duì)伍7關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別任務(wù)要求識(shí)別每條微博中各個(gè)句子是觀(guān)點(diǎn)句還是非觀(guān)點(diǎn)句評(píng)價(jià)標(biāo)準(zhǔn)準(zhǔn)確率、召回率、F值微平均宏平均8關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別任務(wù)要求8關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均9關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均9關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均10關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均10關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均11關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均11關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均12關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均12關(guān)注我唄2019年4月21情感傾向性判斷任務(wù)要求判斷微博中每條觀(guān)點(diǎn)句的情感傾向正面、負(fù)面、其他評(píng)價(jià)標(biāo)準(zhǔn)準(zhǔn)確率、召回率、F值微平均宏平均13關(guān)注我唄2019年4月21情感傾向性判斷任務(wù)要求13關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感要素抽取任務(wù)要求找出微博中每條觀(guān)點(diǎn)句作者的評(píng)價(jià)對(duì)象判斷針對(duì)情感對(duì)象的觀(guān)點(diǎn)極性評(píng)價(jià)標(biāo)準(zhǔn)精確評(píng)價(jià)寬松評(píng)價(jià)準(zhǔn)確率、召回率、F值18關(guān)注我唄2019年4月21情感要素抽取任務(wù)要求18關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)微平均19關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)19關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)微平均20關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)20關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)宏平均21關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)21關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)宏平均22關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)22關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)微平均23關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)23關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)微平均24關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)24關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)宏平均25關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)25關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)宏平均26關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)26關(guān)注我唄2019年4月21小結(jié)微博情感分析相當(dāng)具有挑戰(zhàn)性不同于產(chǎn)品評(píng)論數(shù)據(jù)，微博數(shù)據(jù)領(lǐng)域多樣，話(huà)題廣泛，表達(dá)自由本次評(píng)測(cè)中微博觀(guān)點(diǎn)句識(shí)別、傾向性分析的最好結(jié)果F值接近于80%，情感要素抽取的最好結(jié)果精確評(píng)價(jià)F值接近于30%，比預(yù)想的結(jié)果要好，但仍有較大的提升空間本次評(píng)測(cè)的標(biāo)注數(shù)據(jù)可作為相關(guān)研究的科研數(shù)據(jù)，已免費(fèi)公開(kāi)發(fā)布標(biāo)注規(guī)范和任務(wù)設(shè)置有待進(jìn)一步的改進(jìn)27關(guān)注我唄2019年4月21小結(jié)微博情感分析相當(dāng)具有挑戰(zhàn)性27關(guān)注我唄2019年4月2128關(guān)注我唄2019年4月2128關(guān)注我唄2019年4月21致謝感謝騰訊微博提供數(shù)據(jù)！感謝北京大學(xué)、蘇州大學(xué)、哈工大深圳研究生院的老師和同學(xué)進(jìn)行數(shù)據(jù)標(biāo)注與測(cè)評(píng)！感謝評(píng)測(cè)參與單位的支持和意見(jiàn)反饋！29關(guān)注我唄2019年4月21致謝感謝騰訊微博提供數(shù)據(jù)！29關(guān)注我唄2019年4月2130關(guān)注我唄2019年4月2130關(guān)注我唄2019年4月21微博情感分析評(píng)測(cè)總結(jié)第一屆自然語(yǔ)言處理與中文計(jì)算會(huì)議2019年4月21日1北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所2蘇州大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3哈工大深圳研究生院計(jì)算機(jī)科學(xué)與技術(shù)學(xué)科部xxxxxx31關(guān)注我唄2019年4月21微博情感分析評(píng)測(cè)總結(jié)第一屆自然語(yǔ)言處理與中文計(jì)算會(huì)議2019任務(wù)設(shè)置觀(guān)點(diǎn)句識(shí)別情感傾向性判斷針對(duì)觀(guān)點(diǎn)句情感要素抽取針對(duì)觀(guān)點(diǎn)句32關(guān)注我唄2019年4月21任務(wù)設(shè)置觀(guān)點(diǎn)句識(shí)別2關(guān)注我唄2019年4月21數(shù)據(jù)集來(lái)自騰訊微博數(shù)據(jù)原始數(shù)據(jù)集20話(huà)題主要是熱門(mén)事件，如“三亞春節(jié)宰客”約17500條微博約32000個(gè)句子33關(guān)注我唄2019年4月21數(shù)據(jù)集來(lái)自騰訊微博數(shù)據(jù)3關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標(biāo)注三標(biāo)注者對(duì)同一數(shù)據(jù)標(biāo)注數(shù)據(jù)集大小2023條微博3416個(gè)句子1209個(gè)非觀(guān)點(diǎn)句2207個(gè)觀(guān)點(diǎn)句407正面、1766負(fù)面、34其他2361個(gè)對(duì)象441正面、1910負(fù)面、10其他34關(guān)注我唄2019年4月21數(shù)據(jù)集數(shù)據(jù)標(biāo)注4關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)關(guān)于觀(guān)點(diǎn)句個(gè)人意愿、心情不是觀(guān)點(diǎn)句，如“我感到很高興”表達(dá)了明顯觀(guān)點(diǎn)的反問(wèn)句屬于觀(guān)點(diǎn)句，如“體育競(jìng)技有不殘酷的嗎？”關(guān)于觀(guān)點(diǎn)句傾向性正面、負(fù)面，其他(Other)三類(lèi)，“其他”表示中性或無(wú)法確定正負(fù)的情況不進(jìn)行35關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)5關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)關(guān)于觀(guān)點(diǎn)句情感對(duì)象情感對(duì)象優(yōu)先從當(dāng)前句子抽取，但可以跨越當(dāng)前句子從前面的句子或后面的句子中抽?。ㄇ懊娴泥徑渥觾?yōu)先）情感對(duì)象盡可能完整和明確，事件按細(xì)粒度標(biāo)注：

“ipad的屏幕很棒！”->“ipad的屏幕”

“官二代陶汝坤:作案動(dòng)機(jī)極其卑劣”->“作案動(dòng)機(jī)”對(duì)象本身不是情感表達(dá)：”#官二代求愛(ài)不成將少女毀容#這種畜生是怎么被教育出來(lái)的?。。。?！”->“官二代”人稱(chēng)代詞需要盡可能在當(dāng)前微博內(nèi)進(jìn)行指代消解：

“小明就讀于北京大學(xué)，他是名優(yōu)秀的學(xué)生?！?>”小明“抽取出句子中每個(gè)情感片段所對(duì)應(yīng)的情感對(duì)象：

“你根本已經(jīng)不是個(gè)人了，你比蛇還冷血，你比畜生還畜生?！?>“你”“你”“你”36關(guān)注我唄2019年4月21數(shù)據(jù)集標(biāo)注標(biāo)準(zhǔn)6關(guān)注我唄2019年4月21參評(píng)單位34支隊(duì)伍包括全國(guó)重點(diǎn)高校與科研機(jī)構(gòu)觀(guān)點(diǎn)句識(shí)別：53組情感傾向判斷：48組情感對(duì)象抽?。?2組37關(guān)注我唄2019年4月21參評(píng)單位34支隊(duì)伍7關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別任務(wù)要求識(shí)別每條微博中各個(gè)句子是觀(guān)點(diǎn)句還是非觀(guān)點(diǎn)句評(píng)價(jià)標(biāo)準(zhǔn)準(zhǔn)確率、召回率、F值微平均宏平均38關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別任務(wù)要求8關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均39關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均9關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均40關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別微平均10關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均41關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均11關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均42關(guān)注我唄2019年4月21觀(guān)點(diǎn)句識(shí)別宏平均12關(guān)注我唄2019年4月21情感傾向性判斷任務(wù)要求判斷微博中每條觀(guān)點(diǎn)句的情感傾向正面、負(fù)面、其他評(píng)價(jià)標(biāo)準(zhǔn)準(zhǔn)確率、召回率、F值微平均宏平均43關(guān)注我唄2019年4月21情感傾向性判斷任務(wù)要求13關(guān)注我唄2019年4月21情感傾向性判斷微平均44關(guān)注我唄2019年4月21情感傾向性判斷微平均14關(guān)注我唄2019年4月21情感傾向性判斷微平均45關(guān)注我唄2019年4月21情感傾向性判斷微平均15關(guān)注我唄2019年4月21情感傾向性判斷宏平均46關(guān)注我唄2019年4月21情感傾向性判斷宏平均16關(guān)注我唄2019年4月21情感傾向性判斷宏平均47關(guān)注我唄2019年4月21情感傾向性判斷宏平均17關(guān)注我唄2019年4月21情感要素抽取任務(wù)要求找出微博中每條觀(guān)點(diǎn)句作者的評(píng)價(jià)對(duì)象判斷針對(duì)情感對(duì)象的觀(guān)點(diǎn)極性評(píng)價(jià)標(biāo)準(zhǔn)精確評(píng)價(jià)寬松評(píng)價(jià)準(zhǔn)確率、召回率、F值48關(guān)注我唄2019年4月21情感要素抽取任務(wù)要求18關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)微平均49關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)19關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)微平均50關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)20關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)宏平均51關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)21關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)宏平均52關(guān)注我唄2019年4月21情感要素抽取嚴(yán)格評(píng)價(jià)22關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)微平均53關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)23關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)微平均54關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)24關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)宏平均55關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)25關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)宏平均56關(guān)注我唄2019年4月21情感要素抽取寬松評(píng)價(jià)26關(guān)注我唄2019年4月21小結(jié)微博情感分析相當(dāng)具有挑戰(zhàn)性不同于產(chǎn)品評(píng)論數(shù)據(jù)，微博數(shù)據(jù)領(lǐng)域多樣，話(huà)題廣泛，表達(dá)自由本次評(píng)測(cè)中微博觀(guān)點(diǎn)句識(shí)別、傾向性分析的最好結(jié)果F值接近于80%，情感要素抽取的最好結(jié)果精確評(píng)價(jià)F值接近于30%，比預(yù)想的結(jié)果要好，但仍有較