端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件

啟用源代碼分析技術處理大數(shù)據(jù)Checkmarx中國區(qū)技術專家陳安明啟用源代碼分析技術處理大數(shù)據(jù)Checkmarx中國區(qū)技術專家

陳安明介紹端瑪科技總經(jīng)理，獨立應用安全風險分析師，Checkmarx中國區(qū)技術專家。是中國最早從事源代碼分析技術調(diào)查和研究人員，專門從事應用軟件安全風險評估、風險消除、培訓、教育和軟件安全生命開發(fā)周期SDL咨詢。其優(yōu)秀的軟件安全方案、產(chǎn)品及專業(yè)化的軟件安全開發(fā)生命周期SDL服務已進入金融銀行、保險、電信、汽車、媒體娛樂、軟件、服務和軍事等財富1000的企業(yè)陳安明介紹端瑪科技總經(jīng)理，獨立應用安全風險分析師，Chec議題概述傳統(tǒng)以安全為導向的源代碼分析工具只能檢測到黑客明顯可以利用的漏洞，而且這些工具所找到的安全漏洞的數(shù)量非常多，即使這些結(jié)果是精確的，都很難在短時間修復，這樣一來，我們就不得不面臨兩個現(xiàn)實問題：

一、我們?nèi)绾螌Ω赌切┕ぞ邲]有覆蓋到的代碼？

二、我們怎樣才能提高安全漏洞修復的能力？

為了應對這些挑戰(zhàn)，我們把研究的側(cè)重點放在了大數(shù)據(jù)分析領域，將大數(shù)據(jù)的先進技術與我們的研究整合到一起。借這次交流的機會，我想與大家分享一下我們的研究方法以及我們的成果。議題概述傳統(tǒng)以安全為導向的源代碼分析工具只能檢測到黑客明顯可源代碼分析的歷史第一代源代碼分析系統(tǒng)安全知識是通過綁定靜態(tài)的規(guī)則體現(xiàn)。靜態(tài)規(guī)則依據(jù)原始或者標準語言的缺陷來制定的，對用戶而言，技術是不可見的。

用戶代碼架構和框架適應能力差。幾乎無法適應在開發(fā)語言基礎上用戶私有的架構和框架代碼封裝的掃描。規(guī)則主要細節(jié)不公開，用戶很難自定義或者調(diào)整規(guī)則滿足用戶自身的系統(tǒng)架構和代碼封裝的需求。使用依賴操作系統(tǒng)環(huán)境和編譯器源代碼分析的歷史第一代源代碼分析端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件源代碼分析的歷史（續(xù)）新一代源代碼分析系統(tǒng)的安全知識是通過綁定靜態(tài)的規(guī)則體現(xiàn)。靜態(tài)規(guī)則依據(jù)原始或者標準語言技術架構和框架的缺陷來制定的，公開規(guī)則實現(xiàn)的技術和細節(jié)。用戶代碼架構和框架適應能力強。適應在開發(fā)語言基礎上用戶私有的架構和框架代碼的掃描。規(guī)則主要細節(jié)完全公開，用戶很容易自定義或者調(diào)整規(guī)則滿足用戶自身的系統(tǒng)架構和代碼封裝的需求。能夠任意添加自己需要的有關業(yè)務邏輯和代碼質(zhì)量相關的查詢使用簡便！虛擬編譯器，無須代碼編譯。無需依賴操作系統(tǒng)環(huán)境和編譯。分析范圍：SQL注入-〉惡意后門-〉代碼質(zhì)量缺陷源代碼分析的歷史（續(xù)）新一代源代碼分析AbstractStore安全漏洞

代碼質(zhì)量業(yè)務邏輯AbstractStore安全漏洞代碼質(zhì)量業(yè)務邏輯示例示例安全漏洞

質(zhì)量缺陷業(yè)務邏輯應用程序智能分析安全漏洞質(zhì)量缺陷業(yè)務邏輯應用程序智能分析SCKD

源代碼知識發(fā)現(xiàn)“使用群體的智慧”（大數(shù)據(jù)）通過代碼的不規(guī)則性來識別安全漏洞端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件零日？零配置？如果我們連自己要問什么問題都不清楚，該怎么辦呢？如果我們沒辦法對系統(tǒng)進行配置，怎么辦？我們需要一位“大師”，來替我們問問題。替我們配置系統(tǒng)。替我們找到漏洞。給我們提供指導。零日？零配置？如果我們連自己要問什么問題都不清楚，該怎么辦呢有這樣一位大師是你！是你！是你！還是你！??！我們大家–形成集體智慧大多數(shù)開發(fā)人員在大多數(shù)時間都能編寫出好的、標準、高質(zhì)量代碼有這樣一位大師是你！群體我們可以根據(jù)代碼統(tǒng)計來設定一個基準，并發(fā)現(xiàn)偏差。群體我們可以根據(jù)代碼統(tǒng)計來設定一個基準，并發(fā)現(xiàn)偏差。源代碼知識發(fā)現(xiàn)-SCKD源代碼知識發(fā)現(xiàn)–時下最為活躍的研究課題之一

(數(shù)據(jù)庫中的知識發(fā)現(xiàn)-/wiki/Knowledge_extraction)

“知識發(fā)現(xiàn)描述的是一個自動搜索大規(guī)模數(shù)據(jù)模式的過程，而該模式可以被稱之為有關數(shù)據(jù)的知識。通常我們稱之為來自于輸入數(shù)據(jù)的知識。從方法和術語兩個層面來說，知識發(fā)現(xiàn)與其發(fā)掘來源數(shù)據(jù)領域的關系都非常緊密?！痹创a知識發(fā)現(xiàn)-SCKD源代碼知識發(fā)現(xiàn)–時下最為活躍的研技術實現(xiàn)建立參考數(shù)據(jù)、尋找共同序列查找違規(guī)情況技術實現(xiàn)建立參考數(shù)據(jù)、獲取數(shù)據(jù)S=input();If(isValid(s)){ … response.write(s); …}A=input();If(isValid(A)){ … response.write(A); …}K=input();If(isValid(k)){ … response.write(k); …}M=input();If(isValid(M)){ … response.write(M); …}C=input();If(isValid(C)){ … response.write(C); …}獲取數(shù)據(jù)S=input();A=input();K查找偏差，設立基準*=input();If(isValid(*)){ … response.write(*); …}

v=input(); … response.write(v); …?X查找偏差，設立基準*=input();v=inpu后門–若我的名字是Maty，登錄If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user)||==“maty”)

{

….

}If(isAuthenticated(user)||==“maty”)

{

….

}后門–若我的名字是Maty，登錄If(isAuthen增值–利用應用云服務？VAT=1.05…VAT=1.08…VAT=1.08…VAT=1.08尋找不同應用之間的相似之處，建立一個內(nèi)部標準。使用零定義！

只要我們能修復一些應用就行，這些應用會幫助我們找到那些沒被修復的。增值–利用應用云服務？VAT=1.05尋找不同應用之間我們的優(yōu)勢總體來說：我們能夠找到群體中隱藏的知識，給它命名，并找到違規(guī)情況。安全：確定在每一個頁面都對客戶進行驗證自動識別消毒程序后門(“if(isValid(user)oruser==“Maty”)…”)業(yè)務邏輯(“if(qty>0){charge(qty*amnt)}”)質(zhì)量發(fā)布的永遠都是具體資源最佳編碼實踐（自動識別策略）變量初始化群體的智慧對于大型企業(yè)和代碼庫作用更為明顯我們的優(yōu)勢總體來說：圖形可視化優(yōu)化代碼修復活動“使用智能圖形方法識別安全漏洞交匯的連接節(jié)點及最佳的修復位置”

端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件代碼掃描結(jié)果修復問題找到數(shù)以千計的準確結(jié)果，但其實并不是我們希望看到的。例如Webgoat有大約220個跨站腳本和SQL注入漏洞。假設我們需要30分鐘來修復一個漏洞+30分鐘來驗證修復，那就會需要220個小時，幾乎是一個月的工作量我們把這些工作縮到16個地方約耗費1/14的時間這樣一來，我們就有時間去打打高爾夫球了代碼掃描結(jié)果修復問題找到數(shù)以千計的準確結(jié)果，但其實并不是我們代碼掃描分析結(jié)果現(xiàn)狀每一個代碼掃描結(jié)果都有一個獨立于其它調(diào)查結(jié)果的數(shù)據(jù)流。代碼掃描分析結(jié)果現(xiàn)狀每一個代碼掃描結(jié)果都有一個獨立于其它調(diào)查單一數(shù)據(jù)流路徑–跨站腳本Strings=Request.QueryString[“param1”];…Response.Write(s);Request.QueryString[“param1”];sResponse.Write(s);Request.QueryString[“param1”];sResponse.Write(s);單一數(shù)據(jù)流路徑–跨站腳本Strings=Reque代碼掃描分析結(jié)果現(xiàn)狀一個漏洞，很好解決。14個同時出現(xiàn)，怎么辦？代碼掃描分析結(jié)果現(xiàn)狀一個漏洞，很好解決。多個單一路徑–跨站腳本–大量工作多個單一路徑–跨站腳本–大量工作但。。。他們有什么共同點？這些掃描結(jié)果之間有關聯(lián)嗎？但。。。他們有什么共同點？組合路徑組合路徑我們就能夠。。。指出、點擊、檢查，甚至連源代碼都不用讀嗎“我修復這里可以嗎？”“或者這里？”我們就能夠。。。指出、點擊、檢查，甚至連源代碼都不用讀嗎“我修復這里可以嗎？我修復這里可以嗎？修復這里其實效率更高修復這里其實效率更高還有這？還有這？自動提出“假設”問句=>找到最佳的修復位置自動提出“假設”問句=>找到最佳的修復位置比較這兩種情況：比較這兩種情況：圖形可視化修復建議的優(yōu)勢展示相同安全漏洞類型和不同問題調(diào)用之間的相關性。處理的并不是個人或者單個問題路徑的發(fā)現(xiàn)–事實上是整個系統(tǒng)。讓您得以更好地利用時間圖形可視化修復建議的優(yōu)勢展示相同安全漏洞類型和不同問題調(diào)用之Webgoat

220個修復位置示例只要輕輕一點，我們就可以把220個位置縮減到16個。結(jié)果越多，我們的解決方式就越能體現(xiàn)其效率Webgoat220個修復位置示例只要輕輕一點，我們就可以Q&AAnyQuestion？Q&AAnyQuestion？代碼安全漏洞和質(zhì)量缺陷掃描云服務中心為使用Java、JSP、JavaSript、VBSript、C#、ASP.net、VB.Net、VB6、C/C++、ASP、PHP,Ruby、Perl、PL/SQL、Android、OWASPESAPI、MISRA、和Objective-C(iOS).(AppExchangeplatform)、APIto3rdpartylanguages等多種語言開發(fā)的軟件開發(fā)企業(yè)和項目提供源代碼安全漏洞和質(zhì)量缺陷掃描和分析，并提供結(jié)果審計、管理和報表生成。代碼安全漏洞和質(zhì)量缺陷掃描云服務中心為使用Java、JSP、應用安全服務平臺框架及內(nèi)容應用安全服務平臺框架及內(nèi)容應用安全在線eLearning培訓在線培訓課程是基于世界頂級的應用安全講師和咨詢專家的豐富的安全實踐和教學經(jīng)驗而組織，幫助開發(fā)組織快速了解和普及應用軟件安全方面的知識、技能和成熟軟件安全分析方法和最佳實踐。以期他們在最短的時間里學習到最需要的軟件安全知識，從而有效地應用到軟件開發(fā)的生命周期里應用安全在線eLearning培訓在線培訓課程是基于世界頂級應用安全開發(fā)標準指導系統(tǒng)應用安全開發(fā)標準指導系統(tǒng)端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件啟用源代碼分析技術處理大數(shù)據(jù)Checkmarx中國區(qū)技術專家陳安明啟用源代碼分析技術處理大數(shù)據(jù)Checkmarx中國區(qū)技術專家

陳安明介紹端瑪科技總經(jīng)理，獨立應用安全風險分析師，Checkmarx中國區(qū)技術專家。是中國最早從事源代碼分析技術調(diào)查和研究人員，專門從事應用軟件安全風險評估、風險消除、培訓、教育和軟件安全生命開發(fā)周期SDL咨詢。其優(yōu)秀的軟件安全方案、產(chǎn)品及專業(yè)化的軟件安全開發(fā)生命周期SDL服務已進入金融銀行、保險、電信、汽車、媒體娛樂、軟件、服務和軍事等財富1000的企業(yè)陳安明介紹端瑪科技總經(jīng)理，獨立應用安全風險分析師，Chec議題概述傳統(tǒng)以安全為導向的源代碼分析工具只能檢測到黑客明顯可以利用的漏洞，而且這些工具所找到的安全漏洞的數(shù)量非常多，即使這些結(jié)果是精確的，都很難在短時間修復，這樣一來，我們就不得不面臨兩個現(xiàn)實問題：

一、我們?nèi)绾螌Ω赌切┕ぞ邲]有覆蓋到的代碼？

二、我們怎樣才能提高安全漏洞修復的能力？

為了應對這些挑戰(zhàn)，我們把研究的側(cè)重點放在了大數(shù)據(jù)分析領域，將大數(shù)據(jù)的先進技術與我們的研究整合到一起。借這次交流的機會，我想與大家分享一下我們的研究方法以及我們的成果。議題概述傳統(tǒng)以安全為導向的源代碼分析工具只能檢測到黑客明顯可源代碼分析的歷史第一代源代碼分析系統(tǒng)安全知識是通過綁定靜態(tài)的規(guī)則體現(xiàn)。靜態(tài)規(guī)則依據(jù)原始或者標準語言的缺陷來制定的，對用戶而言，技術是不可見的。

用戶代碼架構和框架適應能力差。幾乎無法適應在開發(fā)語言基礎上用戶私有的架構和框架代碼封裝的掃描。規(guī)則主要細節(jié)不公開，用戶很難自定義或者調(diào)整規(guī)則滿足用戶自身的系統(tǒng)架構和代碼封裝的需求。使用依賴操作系統(tǒng)環(huán)境和編譯器源代碼分析的歷史第一代源代碼分析端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件源代碼分析的歷史（續(xù)）新一代源代碼分析系統(tǒng)的安全知識是通過綁定靜態(tài)的規(guī)則體現(xiàn)。靜態(tài)規(guī)則依據(jù)原始或者標準語言技術架構和框架的缺陷來制定的，公開規(guī)則實現(xiàn)的技術和細節(jié)。用戶代碼架構和框架適應能力強。適應在開發(fā)語言基礎上用戶私有的架構和框架代碼的掃描。規(guī)則主要細節(jié)完全公開，用戶很容易自定義或者調(diào)整規(guī)則滿足用戶自身的系統(tǒng)架構和代碼封裝的需求。能夠任意添加自己需要的有關業(yè)務邏輯和代碼質(zhì)量相關的查詢使用簡便！虛擬編譯器，無須代碼編譯。無需依賴操作系統(tǒng)環(huán)境和編譯。分析范圍：SQL注入-〉惡意后門-〉代碼質(zhì)量缺陷源代碼分析的歷史（續(xù)）新一代源代碼分析AbstractStore安全漏洞

代碼質(zhì)量業(yè)務邏輯AbstractStore安全漏洞代碼質(zhì)量業(yè)務邏輯示例示例安全漏洞

質(zhì)量缺陷業(yè)務邏輯應用程序智能分析安全漏洞質(zhì)量缺陷業(yè)務邏輯應用程序智能分析SCKD

源代碼知識發(fā)現(xiàn)“使用群體的智慧”（大數(shù)據(jù)）通過代碼的不規(guī)則性來識別安全漏洞端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件零日？零配置？如果我們連自己要問什么問題都不清楚，該怎么辦呢？如果我們沒辦法對系統(tǒng)進行配置，怎么辦？我們需要一位“大師”，來替我們問問題。替我們配置系統(tǒng)。替我們找到漏洞。給我們提供指導。零日？零配置？如果我們連自己要問什么問題都不清楚，該怎么辦呢有這樣一位大師是你！是你！是你！還是你?。?！我們大家–形成集體智慧大多數(shù)開發(fā)人員在大多數(shù)時間都能編寫出好的、標準、高質(zhì)量代碼有這樣一位大師是你！群體我們可以根據(jù)代碼統(tǒng)計來設定一個基準，并發(fā)現(xiàn)偏差。群體我們可以根據(jù)代碼統(tǒng)計來設定一個基準，并發(fā)現(xiàn)偏差。源代碼知識發(fā)現(xiàn)-SCKD源代碼知識發(fā)現(xiàn)–時下最為活躍的研究課題之一

(數(shù)據(jù)庫中的知識發(fā)現(xiàn)-/wiki/Knowledge_extraction)

“知識發(fā)現(xiàn)描述的是一個自動搜索大規(guī)模數(shù)據(jù)模式的過程，而該模式可以被稱之為有關數(shù)據(jù)的知識。通常我們稱之為來自于輸入數(shù)據(jù)的知識。從方法和術語兩個層面來說，知識發(fā)現(xiàn)與其發(fā)掘來源數(shù)據(jù)領域的關系都非常緊密。”源代碼知識發(fā)現(xiàn)-SCKD源代碼知識發(fā)現(xiàn)–時下最為活躍的研技術實現(xiàn)建立參考數(shù)據(jù)、尋找共同序列查找違規(guī)情況技術實現(xiàn)建立參考數(shù)據(jù)、獲取數(shù)據(jù)S=input();If(isValid(s)){ … response.write(s); …}A=input();If(isValid(A)){ … response.write(A); …}K=input();If(isValid(k)){ … response.write(k); …}M=input();If(isValid(M)){ … response.write(M); …}C=input();If(isValid(C)){ … response.write(C); …}獲取數(shù)據(jù)S=input();A=input();K查找偏差，設立基準*=input();If(isValid(*)){ … response.write(*); …}

v=input(); … response.write(v); …?X查找偏差，設立基準*=input();v=inpu后門–若我的名字是Maty，登錄If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user))

{

….

}If(isAuthenticated(user)||==“maty”)

{

….

}If(isAuthenticated(user)||==“maty”)

{

….

}后門–若我的名字是Maty，登錄If(isAuthen增值–利用應用云服務？VAT=1.05…VAT=1.08…VAT=1.08…VAT=1.08尋找不同應用之間的相似之處，建立一個內(nèi)部標準。使用零定義！

只要我們能修復一些應用就行，這些應用會幫助我們找到那些沒被修復的。增值–利用應用云服務？VAT=1.05尋找不同應用之間我們的優(yōu)勢總體來說：我們能夠找到群體中隱藏的知識，給它命名，并找到違規(guī)情況。安全：確定在每一個頁面都對客戶進行驗證自動識別消毒程序后門(“if(isValid(user)oruser==“Maty”)…”)業(yè)務邏輯(“if(qty>0){charge(qty*amnt)}”)質(zhì)量發(fā)布的永遠都是具體資源最佳編碼實踐（自動識別策略）變量初始化群體的智慧對于大型企業(yè)和代碼庫作用更為明顯我們的優(yōu)勢總體來說：圖形可視化優(yōu)化代碼修復活動“使用智能圖形方法識別安全漏洞交匯的連接節(jié)點及最佳的修復位置”

端瑪科技啟用源代碼分析技術處理大數(shù)據(jù)課件代碼掃描結(jié)果修復問題找到數(shù)以千計的準確結(jié)果，但其實并不是我們希望看到的。例如Webgoat有大約220個跨站腳本和SQL注入漏洞。假設我們需要30分鐘來修復一個漏洞+30分鐘來驗證修復，那就會需要220個小時，幾乎是一個月的工作量我們把這些工作縮到16個地方約耗費1/14的時間這樣一來，我們就有時間去打打高爾夫球了代碼掃描結(jié)果修復問題找到數(shù)以千計的準確結(jié)果，但其實并不是我們代碼掃描分析結(jié)果現(xiàn)狀每一個代碼掃描結(jié)果都有一個獨立于其它調(diào)查結(jié)果的數(shù)據(jù)流。代碼掃描分析結(jié)果現(xiàn)狀每一個代碼掃描結(jié)果都有一個獨立于其它調(diào)查單一數(shù)據(jù)流路徑–跨站腳本Strings=Request.QueryString[“param1”];…Response.Write(s);Request.QueryString[“param1”];sResponse.Write(s);Request.QueryString[“param1”];sResponse.Write(s);單一數(shù)據(jù)流路徑–跨站腳本Strings=Reque代碼掃描分析結(jié)果現(xiàn)狀一個漏洞，很好解決。14個同時出現(xiàn)，怎么辦？代碼掃描分析結(jié)果現(xiàn)狀一個漏洞，很好解決。多個單一路徑–跨站腳本–大量工作多個單一路徑–跨站腳本–大量工作但。。。他們有什么共同點？這些掃描結(jié)果之間有關聯(lián)嗎？但。。。他們有什么共同點？組合路徑組合路徑我們就能夠。。。指出、點擊、檢查，甚至連源代碼都不用讀嗎“我修復這里可以嗎？”“或者這里？”我們就能夠。。。指出、點擊、檢查，甚至連源代碼都不用讀嗎“我修復這里可以嗎