環(huán)境因子研究探索：標(biāo)的池環(huán)境狀態(tài)研判與交易行為選擇

1、K-means 算法和 CNN 介紹本文首先用聚類方法中的 K-means 算法對當(dāng)前市場可能存在的狀態(tài)進(jìn)行分類識別，而后運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)CNN 將圖像聚類結(jié)果作為樣本進(jìn)行訓(xùn)練學(xué)習(xí)，進(jìn)而得到數(shù)據(jù)特征到市場狀態(tài)的映射關(guān)系。K-means 算法K-means 算法是一種基于劃分的聚類算法，基本思想是：以空間中 K 個點(diǎn)為中心進(jìn)行聚類，對最靠近他們的對象歸類。通過迭代的方法，逐次更新各聚類中心的值，直至同一類樣本之間有最高的相似度，不同類樣本之間的相似度最低1。K-means 算法的處理流程如下：隨機(jī)地選擇 K 個數(shù)據(jù)對象，每個數(shù)據(jù)對象代表一個簇中心，即選擇 K 個初始中心；對剩余的每個對象，根據(jù)其

2、與各簇中心的相似度（距離），將它賦給與其最相似（距離最短）的簇中心對應(yīng)的簇；然后重新計(jì)算每個簇中所有對象的平均值，作為新的簇中心；不斷重復(fù)（2）、（3），直到準(zhǔn)則函數(shù)收斂，即簇中心不發(fā)生明顯的變化。通常采用均方差作為準(zhǔn)則函數(shù)，即最小化每個點(diǎn)到最近簇中心的距離的平方和，即： (, )2 =1 其中，k 是簇的個數(shù)，是第 i 個簇的中心點(diǎn)，(, )2是樣本到的距離。該算法的最大優(yōu)勢在于簡潔和快速。算法的關(guān)鍵在于初始中心的選擇和距離公式。CNN 網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò) CNN（Convolutional Neural Networks）是神經(jīng)網(wǎng)絡(luò)中的一種，被廣泛 應(yīng)用于模式分類，物體檢測和物體識別等方面2

3、。CNN 可以直接將圖像作為網(wǎng)絡(luò)的輸入，提取包括顏色、紋理、形狀等特征，有效避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù) 重建過程。通過 CNN 建立模式分類器，可以直接用于灰度圖像分類任務(wù)。CNN 本質(zhì)上是一個多層感知機(jī)，其成功的關(guān)鍵在于它所采用的局部連接和共享權(quán)值 的方式，一方面減少了的權(quán)值的數(shù)量使得網(wǎng)絡(luò)易于優(yōu)化，另一方面降低了過擬合的風(fēng)險。給定一個圖像 和濾波器 ，一般 ， ，其卷積為： = +1,+1 。=1 =1一個輸入信息和濾波器的二維卷積定義為： = ，其中表示卷積運(yùn)算。圖 1：二維卷積示意圖資料來源：數(shù)據(jù)描述數(shù)據(jù)集選取 2010 年 1 月 4 日至 2021 年 7 月 30 日

4、的滬深 300 成分股數(shù)據(jù)，考慮指數(shù)成分股的調(diào)整。在數(shù)據(jù)集上的每一天均根據(jù)過去 10 天的滬深 300 成分股收益率計(jì)算相關(guān)系數(shù)矩陣，共得到 2510 張圖片。預(yù)留 20%的數(shù)據(jù)用于策略回測，其余 80%的數(shù)據(jù)全部用于聚類。CNN 訓(xùn)練模塊在聚類分析結(jié)果基礎(chǔ)上進(jìn)行，所以 CNN 模塊的訓(xùn)練集和驗(yàn)證集分別為聚類分析數(shù)據(jù)集的前 80%和后 20%。表 1：數(shù)據(jù)集劃分總數(shù)據(jù)集K-means 訓(xùn)練集（80%）測試集（20%）CNN 訓(xùn)練集（80%）CNN 測試集（20%）測試集（20%）資料來源：聚類分析每一天的成分股相關(guān)系數(shù)灰度圖代表當(dāng)天的市場環(huán)境3。聚類分析可以學(xué)習(xí)過去 10年間每一天的市場環(huán)境相

5、似性并加以分類，提煉出分類中心。根據(jù)各個圖片與分類中心的距離可以對所有圖片加以分類。通過觀察各類圖片對應(yīng)的滬深 300 指數(shù)未來 1、5、10天的收益率分布情況，來初步檢測分類的有效性和可解釋的金融內(nèi)涵。市場環(huán)境和收益率分析以 3 組分類為例，從圖 2 可見，各組的成分股相關(guān)系數(shù)灰度圖有明顯區(qū)別，明暗度差異較大。在相關(guān)系數(shù)矩陣的最后一列還考慮了滬深 300 本身和成分股之間的相關(guān)系數(shù)，因此每張圖均為301 301的維度。成分股之間的相關(guān)系數(shù)越大，對應(yīng)點(diǎn)越暗。相關(guān)系 數(shù)矩陣對角線上均為 1，因此每張灰度圖均有一條對角線。從示例可見，3 分類下，第 1、 3 組的圖片線條感更重，呈現(xiàn)網(wǎng)格狀。第 2

6、 組的圖片則更加緊密，圖片內(nèi)部沒有比較明顯的明暗分化，這說明第 2 組對應(yīng)的各成分股之間相關(guān)性差距較小，反映該狀態(tài)下滬深300 各成分股的趨勢一致性更強(qiáng)。1、3 組對應(yīng)的各成分股則呈現(xiàn)比較明顯的結(jié)構(gòu)分化，且第 1 組的結(jié)構(gòu)分化較第 3 組更加顯著。圖 2：3 組聚類情況下各組示例資料來源：從收益率分布情況看，不同分類情況下，各組的收益率分布均值差異較大，但波動率比較接近，這反映在相同波動下，各組的收益率差異較大。此外，某一組相較于其他組的優(yōu)勢存在一定的持續(xù)性。比如，在 3 組聚類的情況下，第 2 組的未來 5 天和未來 10天的收益率的均值大于其余兩組。同樣的，在 5 組聚類的情況下，第 1、

7、3 組的優(yōu)勢在未來 1、5、10 天的情況下均有所體現(xiàn)。這表明通過聚類方法嘗試探索和尋找更有利于投資的市場階段或許是可行的。圖 3：3 組聚類情況下的各組收益率分布資料來源：圖 4：2 組聚類情況下的各組收益率均值圖 5：3 組聚類情況下各組收益率均值資料來源：資料來源：圖 6：4 組聚類情況下的各組收益率均值圖 7：5 組聚類情況下各組收益率均值資料來源：資料來源：圖 8：2 組聚類情況下的各組波動率圖 9：3 組聚類情況下各組波動率資料來源：資料來源：圖 10：4 組聚類情況下的各組波動率圖 11：5 組聚類情況下各組波動率資料來源：資料來源：以上分析表明根據(jù)成分股的相關(guān)系數(shù)矩陣對市場狀態(tài)

8、作區(qū)分，對于研究標(biāo)的池未來收益率的分布具有一定指示性作用。3 組聚類情況下，我們觀察到，第 2 組對應(yīng)狀態(tài)下的滬深 300 指數(shù)大多處于上漲階段，第 1、3 組對應(yīng)狀態(tài)大多位于回調(diào)或指數(shù)震蕩時期。 5 組聚類情況下，第 1、3 組狀態(tài)更大概率地出現(xiàn)在指數(shù)上漲階段，而第 2 組狀態(tài)幾乎出現(xiàn)在指數(shù)下跌的階段，第 4、5 組狀態(tài)則出現(xiàn)在市場偏震蕩的階段。市場環(huán)境和滬深 300 走勢分析本節(jié)運(yùn)用前述方法，在滬深 300 指數(shù)的價格時間序列中做市場狀態(tài)標(biāo)注。首先我們考慮只有兩種市場狀態(tài)分類的情形，發(fā)現(xiàn)當(dāng)市場處于上漲或下跌行情時，對應(yīng)市場環(huán)境分別處于“兩分類”的不同狀態(tài)。比如 2014 年 3 月至 20

9、15 年 4 月期間，滬深 300 指數(shù)從 2100 點(diǎn)上升至 4800 點(diǎn)，漲幅接近 130%，這段期間幾乎全部處于狀態(tài) 1。2010 年至 2014 年 3 月，滬深 300 指數(shù)總體呈現(xiàn)震蕩下跌趨勢，跌幅超 60%，期間大多數(shù)時間點(diǎn)處于狀態(tài) 2，個別時間點(diǎn)出現(xiàn)狀態(tài) 1。2015 年 4 月至 2016 年 1 月期間，滬深 300 指數(shù)從4800 點(diǎn)跌至最低 2800 點(diǎn)，跌幅超 40%，此段跌勢下持續(xù)處于狀態(tài) 2?；诖?，我們也可以感受到，顆粒度相對小的分類方式可能對于市場環(huán)境的真實(shí)刻畫存在不足，為了提升刻畫精準(zhǔn)程度，我們需要進(jìn)一步提升分類組數(shù)。圖 12：2 組聚類情況下滬深 300

10、指數(shù)走勢資料來源：增加市場狀態(tài)分類數(shù)，考慮的類別數(shù)越多，對應(yīng)的市場狀態(tài)分類越細(xì)。將市場狀態(tài)分為 3 種類別的情況下，上漲波段的狀態(tài)依然比較統(tǒng)一（狀態(tài) 2），下跌和震蕩行情下出現(xiàn)新的市場環(huán)境分類。尤其是在震蕩下跌波段（2010 年至 2013 年），和 2 分類相比，分成 3 類的情況下，對應(yīng)上升波段的狀態(tài) 2 數(shù)量明顯減少。這也間接說明 3 分類方法對標(biāo)的池環(huán)境狀態(tài)的刻畫更加準(zhǔn)確了。圖 13：3 組聚類情況下滬深 300 指數(shù)走勢資料來源：繼續(xù)增加分類數(shù)從 3 類增加至 4、5 類。隨著分類數(shù)的增多，下跌趨勢特別是 2010年至 2014 年的一段下跌趨勢下的狀態(tài)分類越來越復(fù)雜，而上漲波段的分

11、類變化不大。聚類結(jié)果顯示，市場上漲的情形是比較一致的，下跌則對應(yīng)著各種各樣復(fù)雜的市場環(huán)境，需要更加細(xì)致的分類。圖 14：4 組聚類情況下滬深 300 指數(shù)走勢資料來源：圖 15：5 組聚類情況下滬深 300 指數(shù)走勢資料來源：CNN 訓(xùn)練將聚類學(xué)習(xí)獲得的市場狀態(tài)作為標(biāo)簽，滬深 300 成分股的相關(guān)系數(shù)矩陣灰度圖作為輸入，訓(xùn)練一個卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Networks, CNN）。數(shù)據(jù)預(yù)處理：直接將已有標(biāo)簽的數(shù)據(jù)集前 80%的數(shù)據(jù)作為訓(xùn)練集，后 20%的數(shù)據(jù)作為驗(yàn)證集。結(jié)果顯示，不同分類情況下驗(yàn)證集和訓(xùn)練集的預(yù)測準(zhǔn)確率均比較高，因此CNN 網(wǎng)絡(luò)基本獲取到了聚類分

12、析的規(guī)律。當(dāng)獲知某一天的成分股收益率矩陣，可以根據(jù)訓(xùn)練的 CNN 得到對應(yīng)的狀態(tài)分類。表 2：不同分類情況下 CNN 訓(xùn)練結(jié)果K2345訓(xùn)練集98.7%92.5%86.4%82.7%驗(yàn)證集99.1%88.3%80.2%72.8%資料來源：為了檢測訓(xùn)練的CNN 網(wǎng)絡(luò)是否在樣本外也反映學(xué)習(xí)的規(guī)律，選取總數(shù)據(jù)最后20%， 2018 年 2 月 2 日至 2021 年 7 月 30 日的無標(biāo)簽的數(shù)據(jù)進(jìn)行測試。結(jié)果顯示CNN 在新數(shù)據(jù)上也能保持學(xué)習(xí)到的規(guī)律，環(huán)境狀態(tài)的分類和訓(xùn)練集上的結(jié)論基本一致。以 3 種狀態(tài)分類為例，狀態(tài) 2 依然對應(yīng)上漲趨勢，狀態(tài) 3 多對應(yīng)下跌趨勢。再比如 5 種狀態(tài)分類下，狀態(tài)

13、 1 依然對應(yīng)上漲，狀態(tài) 3、5 多對應(yīng)下跌趨勢。圖 16：2 組聚類情況下滬深 300 指數(shù)走勢資料來源：圖 17：3 組聚類情況下滬深 300 指數(shù)走勢資料來源：圖 18：4 組聚類情況下滬深 300 指數(shù)走勢資料來源：圖 19：5 組聚類情況下滬深 300 指數(shù)走勢資料來源：擇時策略構(gòu)建前文分析表明，滬深 300 成分股之間相關(guān)系數(shù)矩陣可以用來表征滬深 300 所處的狀態(tài)（指數(shù)運(yùn)行的階段）。下面根據(jù)市場環(huán)境的轉(zhuǎn)換設(shè)計(jì)一個擇時策略，在滬深 300 歷史數(shù)據(jù)上進(jìn)行回測， 以檢驗(yàn)作為標(biāo)的池環(huán)境狀態(tài)表征的變量是否可以作為有效因子向 CJInvBots 提供輸入信息。策略設(shè)計(jì)選取數(shù)據(jù)集中后 20%

14、的數(shù)據(jù)作為測試集（這部分?jǐn)?shù)據(jù)集沒有用于聚類和 CNN 的訓(xùn)練）進(jìn)行回測，回測時間區(qū)間為 2018 年 2 月 2 日到 2020 年 7 月 30 日共 784 個樣本。為了保證買入賣出價位的適當(dāng)，同時考慮買入賣出價格限制條件。這里設(shè)置為買入價格不超過歷史 200 個交易日的 10%分位數(shù)，賣出價格設(shè)置為不低于歷史 200 個交易日 90%分位數(shù)。聚類分析結(jié)果顯示，價格趨勢逆轉(zhuǎn)往往對應(yīng)著市場狀態(tài)的轉(zhuǎn)變。以 2 種狀態(tài)分類的情況為例，當(dāng)市場從狀態(tài) 1 轉(zhuǎn)為狀態(tài) 2 時，多對應(yīng)市場由漲轉(zhuǎn)跌；當(dāng)市場從狀態(tài) 2 轉(zhuǎn)為狀態(tài) 1 時，多對應(yīng)市場由跌轉(zhuǎn)漲。再比如 3 種狀態(tài)分類的情況下，狀態(tài) 3 轉(zhuǎn)為狀態(tài)

15、1，或者狀態(tài) 3 轉(zhuǎn)為狀態(tài) 2 多對應(yīng)由跌轉(zhuǎn)漲，而狀態(tài) 2 轉(zhuǎn)為狀態(tài) 3 多對應(yīng)由漲轉(zhuǎn)跌。因此，可以設(shè)計(jì)一個擇時策略，當(dāng)遇到市場由跌轉(zhuǎn)漲的信號時，買入；當(dāng)遇到市場由漲轉(zhuǎn)跌的信號時，賣出。策略回測不同分類數(shù)目（k）下，回測結(jié)果顯示，考慮按照相關(guān)系數(shù)矩陣擇時的情況下，回測累計(jì)和年化收益率均顯著高于滬深 300 及只考慮價格限制的低買高賣策略。5 種狀態(tài)分類情況下，策略回測年化收益率達(dá) 13.59%，同期滬深 300 的年化收益率為 4.06%。風(fēng)險方面來看，擇時的最大回撤率顯著低于不擇時的情況。表 3：不同分組情況下的回測結(jié)果k=2k = 3k=4k=5滬深 300低買高賣初始資金(萬元)1001

16、00100100100100最終資金(萬元)140.14145.27146.14149.14113.28121.73凈收益(萬元)40.1445.2746.1449.1413.2821.73年化收益率()11.3612.6512.8613.594.066.47年化波動率()25.2724.5224.8524.7720.7925.38夏普比率0.450.520.520.550.200.25索提諾比率0.650.790.770.850.270.36最大回撤()17.1617.2217.2217.2127.6222.69換手率0.430.250.250.21-0.058圖 20：不同分組情況下策略回

17、測損益曲線資料來源：隨著分類數(shù)的增加，對市場狀態(tài)的劃分也更加細(xì)致。不同分類數(shù)下，聚類的多頭信 號均比較準(zhǔn)確，差別不大。當(dāng)分類數(shù)變多時，對下跌和震蕩趨勢的狀態(tài)描述會更加準(zhǔn)確。反映在回測結(jié)果中，當(dāng)分類數(shù)增加時，回測結(jié)果也相對較優(yōu)。當(dāng)前市場環(huán)境診斷及研究結(jié)論春節(jié)前滬深 300 價格上漲 8.18%，春節(jié)后回調(diào) 14.41%，截至 2021 年 8 月 20 日，滬深 300 較年初下跌 9.46%。以 5 分類為例，2010 年 1 月 4 日至 2021 年 8 月 20 日的市場環(huán)境畫像聚類結(jié)果如下。結(jié)果顯示，當(dāng)前環(huán)境狀態(tài)和歷史階段的上漲環(huán)境狀態(tài)相似度高于和下跌環(huán)境的相似性。模型在震蕩趨勢下的分

18、類效果不佳，震蕩趨勢下的市場環(huán)境更加復(fù)雜。需要更多的信息輔助診斷。綜上，基于本文的研究我們有如下幾點(diǎn)啟發(fā)：僅依靠環(huán)境狀態(tài)“單因子”擇時能起到增益效果，可以作為“信息”輸入結(jié)合其他多因子模型使用，進(jìn)行綜合評判。例如：植入我們的 CJInvBots 系統(tǒng)，讓機(jī)器模型在做出行為選擇時的信息來源更加廣泛。“聚類監(jiān)督CNN研判”同樣需要在時間線上“滾動”進(jìn)行。完全依賴歷史信息得到的分類方案，在樣本外的分類有效性會逐漸遞減。環(huán)境狀態(tài)因子的結(jié)果有助于投資者有效識別當(dāng)前的市場狀態(tài)，在不同投資難度的市場階段調(diào)整風(fēng)險偏好和投資策略。圖 21：5 組聚類情況下當(dāng)前滬深 300 指數(shù)環(huán)境分類資料來源：參考文獻(xiàn)Polykovskiy, D. and Novikov, A., Bayesian Methods for Machine LearningCoursera and National Research University Higher School of Economics.LeCun, Y. and Bengio, Y., 1995. Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, 3361(10),