實(shí)方rubatdb intro大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫(kù)技術(shù)

1、大數(shù)據(jù)時(shí)代的數(shù)據(jù)庫(kù)技術(shù)商業(yè)計(jì)劃書初探摘 要實(shí)方是由我國(guó)留學(xué)回國(guó)創(chuàng)建的一家高新技術(shù)企業(yè)。經(jīng)過數(shù)年的努力，實(shí)方已開發(fā)出大型通用數(shù)據(jù)庫(kù)管理系統(tǒng)、高性能搜索引擎和企業(yè)信息備份與搜索系統(tǒng)等件產(chǎn)品，并已有部分銷售收入和客戶資源。創(chuàng)新的商業(yè)軟面對(duì)我國(guó)當(dāng)前迅速發(fā)展的大數(shù)據(jù)市場(chǎng)，實(shí)方?jīng)Q定在現(xiàn)有的產(chǎn)品和先進(jìn)技術(shù)的基礎(chǔ)上，完善開發(fā)的國(guó)際領(lǐng)先的新型數(shù)據(jù)庫(kù)系統(tǒng)(NewSQL) - RubatoDB，并以此搶占巨大的大數(shù)據(jù)與管理的商業(yè)市場(chǎng)。實(shí)方的長(zhǎng)遠(yuǎn)目標(biāo)是建立大數(shù)據(jù)管理系統(tǒng)業(yè)界的國(guó)內(nèi)第一品牌、國(guó)際知名品牌，其產(chǎn)品具有極強(qiáng)的國(guó)際競(jìng)爭(zhēng)力。本項(xiàng)目計(jì)劃的需求為 2000-4000 萬元，主要用于大數(shù)據(jù)管理系統(tǒng)的市場(chǎng)開發(fā)。實(shí)方預(yù)計(jì)

2、于在到位后第二年實(shí)現(xiàn)，并保持快速遞增趨勢(shì)。1RubatoDB 簡(jiǎn)介1.1 企業(yè)簡(jiǎn)介實(shí)方是國(guó)際著名數(shù)據(jù)庫(kù)袁立言教授等在高科成立的專業(yè)數(shù)據(jù)庫(kù)公司，主營(yíng)業(yè)務(wù)是數(shù)據(jù)庫(kù)產(chǎn)品、方案和服務(wù)。RubatoDB 4.0 是實(shí)方自行研發(fā)的新型數(shù)據(jù)庫(kù)產(chǎn)品（NewSQL），已經(jīng)被國(guó)際數(shù)據(jù)庫(kù)學(xué)術(shù)界公認(rèn)為新型數(shù)據(jù)庫(kù)的代表產(chǎn)品(參見 SIGMOD2015，BigData2014,CIKM2014 等學(xué)術(shù))。 RubatoDB 4.0 的一個(gè)顯著優(yōu)點(diǎn)是既可用于傳統(tǒng)數(shù)據(jù)庫(kù)應(yīng)用也可用于大數(shù)據(jù)分析, 其性能指標(biāo)超出國(guó)際主流數(shù)據(jù)庫(kù)及大數(shù)據(jù)系統(tǒng)產(chǎn)品, 近期已經(jīng)開始商業(yè)拓展。實(shí)方公司已經(jīng)申請(qǐng)了有關(guān)中國(guó)專利。RubatoDB 的網(wǎng)頁(yè)含有該

3、新型數(shù)據(jù)庫(kù)系統(tǒng)的詳情資料，包括 技術(shù)介紹，產(chǎn)品，用戶手冊(cè)，及相關(guān)科技等。 其如下：（中文），http:（英文）。1.2產(chǎn)品簡(jiǎn)介實(shí)方數(shù)據(jù)庫(kù)是一部既能滿足大數(shù)據(jù)處理性能要求，又能提供標(biāo)準(zhǔn) SQL(包括 ACID 事務(wù)處理)功能的新型數(shù)據(jù)庫(kù)管理系統(tǒng)（NewSQL），其主要特點(diǎn)如下：采用分布式并行計(jì)算架構(gòu);使用基于 X86 的PC 服務(wù)器（Linux）集群；支持標(biāo)準(zhǔn) SQL 語(yǔ)言及通用界面, 包括 JDBC, ODBC, (.)NET;保證高一致性（ACID）。實(shí)方數(shù)據(jù)庫(kù)的產(chǎn)品開發(fā)工作已經(jīng)基本結(jié)束，目前正在進(jìn)行實(shí)際項(xiàng)目的應(yīng)用開發(fā)。2市場(chǎng)介紹2.1 市場(chǎng)背景國(guó)際國(guó)內(nèi)數(shù)據(jù)庫(kù)市場(chǎng)由兩類產(chǎn)品主導(dǎo)，經(jīng)典數(shù)據(jù)庫(kù)(

4、Classical SQL)和非關(guān)系數(shù)據(jù)庫(kù)(NoSQL)。經(jīng)典數(shù)據(jù)庫(kù)主要用于企業(yè)信息系統(tǒng)(OLTP)和數(shù)據(jù)倉(cāng)庫(kù)(OLAP), 是含金量最高的部分。 經(jīng)典數(shù)據(jù)庫(kù)主要被 ORACLE，IBM 等，并通過高成本的銷售不斷強(qiáng)化到極致，使得一些不需要使用 OLTP 的系統(tǒng)也盲目上馬數(shù)據(jù)庫(kù)系統(tǒng)，市場(chǎng)“虛胖”嚴(yán)重。近年來企業(yè)級(jí)經(jīng)典數(shù)據(jù)庫(kù)不斷被開源所，雖然和去“IOE”，安產(chǎn)化等相關(guān)，其實(shí)質(zhì)是其固有市場(chǎng)策略難以持續(xù)。NoSQL 系統(tǒng)主要用于大數(shù)據(jù)分析，互聯(lián)網(wǎng)和云服務(wù)為代表的新型技術(shù)應(yīng)用。 此類系統(tǒng)以 Hadoop 和Cassandra 等開源為代表，其主要特點(diǎn)是基于 PC 服務(wù)器集群的高擴(kuò)展性以及隨之而來的高

5、容量，高性能。NoSQL 系統(tǒng)的主要缺陷為不支持標(biāo)準(zhǔn) SQL 和高一致性(ACID)。近幾年推出的新型數(shù)據(jù)庫(kù)系統(tǒng)（NewSQL)在學(xué)術(shù)界和 IT 行業(yè)都引起了極大地關(guān)注。新型數(shù)據(jù)庫(kù)取經(jīng)典數(shù)據(jù)庫(kù)的標(biāo)準(zhǔn) SQL 和 NoSQL 系統(tǒng)的高擴(kuò)展性之長(zhǎng)，避開 NoSQL 高一致性(ACID)缺失之短。新型數(shù)據(jù)庫(kù)被廣泛認(rèn)為將取代經(jīng)典數(shù)據(jù)庫(kù)和 NoSQL 數(shù)據(jù)庫(kù)成為下一代主流數(shù)據(jù)庫(kù)。目前界認(rèn)可的新型數(shù)據(jù)庫(kù)系統(tǒng)有 VoB 和 RubatoDB （即實(shí)方數(shù)據(jù)庫(kù)）。 由于其高擴(kuò)展性，高一致性和標(biāo)準(zhǔn) SQL 的基本屬性，新型數(shù)據(jù)庫(kù)給提供了一個(gè)去“IOE”的黃金機(jī)會(huì)。2.2 競(jìng)爭(zhēng)對(duì)手2.2.1及其他開源經(jīng)典數(shù)據(jù)庫(kù)（O

6、pen source Classical SQL)是開源經(jīng)典數(shù)據(jù)庫(kù)的代表，廣泛應(yīng)用在各個(gè)非關(guān)鍵領(lǐng)域中，其產(chǎn)品功能強(qiáng)大性能優(yōu)越,但缺少高擴(kuò)展性故無法直接用于分布式的大數(shù)據(jù)分析系統(tǒng)。cluster 可以在部分大數(shù)據(jù)應(yīng)用中使用，但cluster 并不開源而且昂貴。2.2.2 Hadoop 及其他 NoSQL 系統(tǒng)Hadoop 和基于其上的各種NoSQL 系統(tǒng)蓬勃發(fā)展起來的專門處理大數(shù)據(jù)的是抓住了各主流數(shù)據(jù)庫(kù)廠商沒有適應(yīng)大數(shù)據(jù)的空隙而。各種基于 Hadoop 的系統(tǒng)受到了開源社區(qū)的廣泛支持，一度成為了大數(shù)據(jù)的代名詞。 但由于缺少標(biāo)準(zhǔn) SQL 和諸如 JDBC 的界面支持，這類系統(tǒng)極大地提高了應(yīng)用系統(tǒng)開

7、發(fā)的復(fù)雜度。 另一方面，為了高擴(kuò)展性而放棄的高一致性(ACID), 也使之完全無法和經(jīng)典系統(tǒng)抗衡。2.2.3 經(jīng)典商業(yè)數(shù)據(jù)庫(kù)國(guó)際數(shù)據(jù)庫(kù)廠商的產(chǎn)品廣為人知，但均為經(jīng)典數(shù)據(jù)庫(kù)（Classical SQL)。 無法支持高擴(kuò)展性是該類產(chǎn)品的一個(gè)缺陷， 但這一基于其產(chǎn)品結(jié)構(gòu)的缺陷實(shí)際上也是新型數(shù)據(jù)庫(kù)系統(tǒng)發(fā)展的機(jī)遇。國(guó)產(chǎn)數(shù)據(jù)庫(kù)主要基于開源開源數(shù)據(jù)庫(kù)，但由于國(guó)家政策支持，其產(chǎn)品價(jià)格與國(guó)際產(chǎn)品相當(dāng)。由于其技術(shù)受到開源產(chǎn)品限制，通常難以提供必要的技術(shù)服務(wù)。實(shí)方數(shù)據(jù)庫(kù)與經(jīng)典產(chǎn)品相比，最大的優(yōu)勢(shì)是其使用 PC 服務(wù)器集群的高擴(kuò)展性。 實(shí)方數(shù)據(jù)庫(kù)的高擴(kuò)展性高一致性的優(yōu)點(diǎn)，表明她是實(shí)現(xiàn)國(guó)產(chǎn)去“IOE”的最好選擇（之一）

8、。2.2.4 新興產(chǎn)品開源品 Vo不斷推出新產(chǎn)品，目標(biāo)是取代甚至整體現(xiàn)行產(chǎn)品，甚至技術(shù)方案。的新型數(shù)據(jù)庫(kù)產(chǎn)B/H-Store 將是實(shí)方數(shù)據(jù)庫(kù)的一個(gè)主要競(jìng)爭(zhēng)對(duì)手。分析2.2.5 數(shù)據(jù)庫(kù)等開源數(shù)據(jù)庫(kù)產(chǎn)品交由國(guó)內(nèi)商，這些商具備一定的技術(shù)服務(wù)能力，并在市場(chǎng)，應(yīng)用等方面相對(duì)而言具有深厚的積淀。這些也是RubatoDB 的重要目標(biāo)。2.2.6 Hadoop 服務(wù)商Hadoop 大多是通過第服務(wù)商來進(jìn)行市場(chǎng)開拓的。這些服務(wù)商的發(fā)展非常迅速，競(jìng)爭(zhēng)激烈。成功者的目標(biāo)是成為大數(shù)據(jù)行業(yè)的通用服務(wù)商，即大數(shù)據(jù)行業(yè)的 ORACLE，IBM 等；失敗者的目標(biāo)是被BAT 等收購(gòu),所以這些服務(wù)商在拓展市場(chǎng)方面不遺余力。他們是

9、 RubatoDB 的主要競(jìng)爭(zhēng)對(duì)手。2.2.7經(jīng)典商業(yè)數(shù)據(jù)庫(kù)國(guó)際數(shù)據(jù)庫(kù)廠商的廣為人知，國(guó)產(chǎn)數(shù)據(jù)庫(kù)主要依靠，央企等相關(guān)市場(chǎng)，不再贅述。只有初步打開數(shù)據(jù)分析市場(chǎng)后，實(shí)方方能進(jìn)軍經(jīng)典商業(yè)數(shù)據(jù)庫(kù)市場(chǎng)并取代 Oracle 和IBM。3市場(chǎng)策略實(shí)方公司的市場(chǎng)開發(fā)將分為兩步。 第一步以數(shù)據(jù)分析市場(chǎng)，特別是大數(shù)據(jù)分析市場(chǎng)為主要目標(biāo)。 在第一步成功的基礎(chǔ)上再進(jìn)軍企業(yè)級(jí)經(jīng)典數(shù)據(jù)庫(kù)市場(chǎng)，以實(shí)現(xiàn)用國(guó)產(chǎn)數(shù)據(jù)庫(kù)去“IOE”的夢(mèng)想。第一步的開發(fā)將以取代現(xiàn)有產(chǎn)品和項(xiàng)目應(yīng)用為主要。3.1 對(duì)于已有產(chǎn)品的替換3.1.1 替換受到 Hadoop 和 MEAN 的前后打擊，在積極尋找替代產(chǎn)品以切入大數(shù)據(jù)市場(chǎng)。商一方面加強(qiáng)服務(wù)以鞏固其

10、市場(chǎng)份額，另一方面也計(jì)劃采取的策略為：廣泛接觸不同的商，選好突破重點(diǎn)，展示技術(shù)上的國(guó)際領(lǐng)先能力，具體為可擴(kuò)展性+事務(wù)，做好第一個(gè)應(yīng)用示范。值得強(qiáng)調(diào)的是，這些商使用等開源，對(duì)于通過服務(wù)彌補(bǔ)產(chǎn)品的有豐富的經(jīng)驗(yàn)，值得 RubatoDB 初期開拓市場(chǎng)時(shí)學(xué)習(xí)。3.1.2 替換 HadoopHadoop 服務(wù)商以大數(shù)據(jù)應(yīng)用為主，通常這些服務(wù)商具有較強(qiáng)的市場(chǎng)能力，至少在個(gè)別項(xiàng)目上具有深厚的人脈積累。期望以新型數(shù)據(jù)庫(kù)系統(tǒng)的優(yōu)勢(shì)說服這些服務(wù)商實(shí)方數(shù)據(jù)庫(kù)及其相關(guān)系統(tǒng)。替換 Hadoop 等同于將他們變成實(shí)方的商。3.1.3 替換其它數(shù)據(jù)庫(kù)或大數(shù)據(jù)產(chǎn)品取代大數(shù)據(jù)服務(wù)商的產(chǎn)品與服務(wù)，可以對(duì)照 Hadoop 處理。數(shù)據(jù)

11、倉(cāng)庫(kù)項(xiàng)目也是考慮之一，希望能夠取代目前使用 NoSQL 的大數(shù)據(jù)和數(shù)據(jù)挖掘的數(shù)據(jù)庫(kù)。3.2新項(xiàng)目的使用受到信息化，工業(yè) 4.0，互聯(lián)網(wǎng)等的影響，國(guó)內(nèi)涌現(xiàn)一批從零開始的新項(xiàng)目。這些用戶后發(fā)優(yōu)勢(shì)的心理比較強(qiáng)烈。市場(chǎng)開發(fā)策略為：廣泛接觸類似用戶，進(jìn)行需求摸底，針對(duì)用戶的需求，或者免費(fèi)使用，或者全力做好示范應(yīng)用，逐步將用戶的需求引導(dǎo)到大數(shù)據(jù)分析以及 OLTP 等方面。希望能充分利用的技術(shù)優(yōu)勢(shì)進(jìn)行各種項(xiàng)目開發(fā)。4風(fēng)險(xiǎn)使用說明需求總額：4000-6000 萬元。RubatoDB 將在 2016 年進(jìn)入市場(chǎng)，公司的預(yù)計(jì)在 2017 開始進(jìn)入一個(gè)良性循環(huán)。主要費(fèi)用為：人工費(fèi)用 (滿員后)：CEO，總經(jīng)理、技術(shù)

12、總監(jiān)、20 名程序員(包括技術(shù)管理)、10名銷售、會(huì)計(jì)、出納、以及若干勤雜擴(kuò)大辦公場(chǎng)地的差旅費(fèi)用。市場(chǎng)及費(fèi)用短期聘請(qǐng)國(guó)外新添硬件設(shè)備測(cè)試費(fèi)用費(fèi)用費(fèi)用5投資的退出風(fēng)險(xiǎn)投資方可以在適當(dāng)?shù)臅r(shí)候通過上市、公司兼并或股權(quán)出讓的方式部分或全部退出。由于市場(chǎng)的機(jī)遇，大數(shù)據(jù)數(shù)據(jù)管理市場(chǎng)處于穩(wěn)步上升階段，加之國(guó)家對(duì)數(shù)據(jù)庫(kù)支持的決心，實(shí)方獲得成功的概率很高。5.1 技術(shù)出讓/公司兼并的可能性作為會(huì)有投資風(fēng)險(xiǎn)和回報(bào)的一部分，在此的公司。評(píng)述實(shí)方認(rèn)為在技術(shù)或產(chǎn)品方面的以及可能對(duì)此ORACLE 公司：估計(jì)會(huì)對(duì)的“公式鎖扣技術(shù)” 非常感。這是由于 Oracle 深感現(xiàn)存的并發(fā)技術(shù)已不能適應(yīng)網(wǎng)絡(luò)時(shí)代的市場(chǎng)需要。Oracle

13、 知道傳統(tǒng)的的并發(fā)技術(shù)特別不適應(yīng)網(wǎng)格數(shù)據(jù)庫(kù)。公司：微軟的 SQL server 數(shù)據(jù)庫(kù)盡管也有全文檢索，但還沒有類似實(shí)方數(shù)據(jù)庫(kù)中的 TOP-K 搜索功能。打造該搜索功能預(yù)計(jì)需要 10 人/年的工作，其中人工成本在 100 萬元美金左右，這還沒有考慮技術(shù)的價(jià)值。因此，計(jì)劃在實(shí)方的產(chǎn)品有第一批用戶群后與微軟接觸。52 投資方的地位和作用投資方可通過選派董事參與公司決策，但一般不干預(yù)企業(yè)的日常經(jīng)營(yíng)管理。投資方可向公司委派一名財(cái)務(wù)監(jiān)督員，監(jiān)督公司運(yùn)用情況。公司每季度向董事會(huì)和投資者提供現(xiàn)金流量表、資產(chǎn)負(fù)債表和損益表。公司總經(jīng)理將向董事會(huì)匯報(bào)季度經(jīng)營(yíng)狀況和財(cái)務(wù)計(jì)劃。此外，投資者可要求總經(jīng)理不定期向其匯報(bào)

14、經(jīng)營(yíng)狀況。6 附件： 實(shí)方數(shù)據(jù)庫(kù)優(yōu)越性RubatoDB，作為全球新型數(shù)據(jù)庫(kù) (NewSQL)的代表系統(tǒng)，各項(xiàng)功能和性能指標(biāo)都到達(dá)或庫(kù)以及 NoSQL 系統(tǒng)。主流數(shù)據(jù)6.1使用方便：NoSQL 的可擴(kuò)展性標(biāo)準(zhǔn) SQL 的開發(fā)工具NoSQL 擁有可擴(kuò)展性和吞吐量的能力，但標(biāo)準(zhǔn) SQL 的缺失極大地增加了其系統(tǒng)開發(fā)的復(fù)雜度。大量的應(yīng)用實(shí)例證明使用 NoSQL 是如此，它并非 SQL 系統(tǒng)的有效替代品。另一方面，經(jīng)典數(shù)據(jù)庫(kù)系統(tǒng)，如 Oracle，等, 雖然不具備大數(shù)據(jù)應(yīng)用系統(tǒng)所必須的可擴(kuò)展性，其標(biāo)準(zhǔn) SQL 語(yǔ)言及界面帶來的一套管理和應(yīng)用開發(fā)的生態(tài)系統(tǒng)是NoSQL 系統(tǒng)所完全無法比擬的.RubatoD

15、B 系目全球僅少數(shù)幾個(gè)新型數(shù)據(jù)庫(kù)(NewSQL)系統(tǒng)之一， 該系統(tǒng)既擁有 NoSQL 的高可擴(kuò)展性，又支持標(biāo)準(zhǔn) SQL 語(yǔ)言及其各種界面。 下面幾點(diǎn)使用實(shí)方數(shù)據(jù)庫(kù)，大數(shù)據(jù)應(yīng)用開發(fā)極為方便。圖形化安裝配置工具系統(tǒng)提供一個(gè)簡(jiǎn)單方便的圖形界面，以用于 RubatoDB 的配置，安裝，及運(yùn)行管理。自動(dòng)分區(qū)建表語(yǔ)句用戶僅需要使用一個(gè)簡(jiǎn)單的 SQL 建表語(yǔ)句即可將數(shù)據(jù)任意分布到不同到節(jié)點(diǎn)。透明分區(qū)除了安裝及建表，所有其他數(shù)據(jù)庫(kù)運(yùn)算，包括查詢和更新，都通過標(biāo)準(zhǔn) SQL 完成，用戶無需知道數(shù)據(jù)分布狀態(tài)。標(biāo)準(zhǔn)界面工具系統(tǒng)支持各種 SQL 標(biāo)準(zhǔn)工具，包括 ODBC，JDBC，Dataabse API。6.2 高效

16、率的大數(shù)據(jù)與查詢RubatoDB,盡管支持標(biāo)準(zhǔn) SQL，其大數(shù)據(jù)與查詢性能好于或接近主流NoSQL 系統(tǒng)。根據(jù)YCSB，一種由 Yahoo 制定的國(guó)際通用大數(shù)據(jù)標(biāo)準(zhǔn)測(cè)試，使用 1 臺(tái)到 12 臺(tái)Linux 服務(wù)器進(jìn)行了大數(shù)據(jù)量的讀寫。 為了方便比較，測(cè)試使用了四個(gè)不同系統(tǒng)：RubatoDB，Cassabdra，Cluster，3.4.HBase。下圖顯示各個(gè)系統(tǒng)每秒讀寫混合運(yùn)算數(shù)目。其橫軸表示服務(wù)器數(shù)量，從 1 到 12 臺(tái)，豎軸標(biāo)示每秒混合運(yùn)算數(shù)。該圖顯示（1） 實(shí)方數(shù)據(jù)庫(kù)的讀寫性能隨節(jié)點(diǎn)數(shù)增加而線性增加， （2）實(shí)方數(shù)據(jù)庫(kù)的性能指標(biāo)接近或超過主流 NoSQL 系統(tǒng)。 具體測(cè)試見CIKM 2

17、014。6.3SQL 的高一致性及高效率由于采用了開發(fā)國(guó)際領(lǐng)先的數(shù)據(jù)庫(kù)結(jié)構(gòu)和并發(fā)控制算法，RubatoDB 在保持高一致性的前提下創(chuàng)造了 SQL 分布式混合運(yùn)算的最好成績(jī)。 下圖顯示出實(shí)方數(shù)據(jù)庫(kù)高擴(kuò)展性，高一致性，及處理大數(shù)量并發(fā)用戶的效率。該圖根據(jù)國(guó)際 TPCC 標(biāo)準(zhǔn)進(jìn)行的。右邊縱軸顯示每分鐘處理事務(wù)數(shù)目，橫軸顯示使用的 Linux 服務(wù)器數(shù)目，具體測(cè)試數(shù)據(jù)見下表。至今，尚無任何使用 PC 服務(wù)器的分布系統(tǒng)能達(dá)到如此之高的性能。具體測(cè)試見SIGMOD2015, CIKM2014。6.4高效率數(shù)據(jù)上載及高可靠性實(shí)方數(shù)據(jù)庫(kù)提供大數(shù)據(jù)數(shù)據(jù)上傳工具，可用于將各種格式的數(shù)據(jù)上傳至數(shù)據(jù)庫(kù)。 下表入速度。其導(dǎo)RubatoDB 使用數(shù)據(jù)(replication)以實(shí)現(xiàn)其高可靠性。 這也為數(shù)據(jù)的安全性提供了保障。6.5 開發(fā)和成本低相比以 NoSQL 和Hadoop 為基礎(chǔ)的大數(shù)據(jù)應(yīng)用系統(tǒng)開發(fā)和，RubatoDB 對(duì)工程師的要求要低。尤其在目前的多。RubatoDB 只需要熟悉傳統(tǒng)的 SQL 的技能，而不像 Hadoop 需要高價(jià)的工程師市場(chǎng)競(jìng)爭(zhēng)激烈的情況下，穩(wěn)定的團(tuán)隊(duì)更為重要。相比 Hadoop，RubatoDB 所組成的軟件系統(tǒng)的架構(gòu)也簡(jiǎn)化了很多。6.6 符合息安全的要求實(shí)方擁有大型數(shù)據(jù)庫(kù) Ru