嵌入式數據庫典型技術―SQLite和Berkeley

嵌入式數據庫典型技術―SQLite和Berkeley

摘要:與常見的數據庫相比，嵌入式數據庫具有體積小、功能齊備、可移植性、健壯性等特點，本文分析和比較了典型的嵌入式數據庫SQLite和BerkeleyDB。首先從體系結構、子系統(tǒng)間調用關系、任務執(zhí)行過程等角度對SQLite和BerkeleyDB進行了詳細分析，然后重點從數據類型、存儲方式、模式、數據庫引擎和錯誤處理及加密功能等方面討論了SQLite和BerkeleyDB的異同點，最后列舉了一個基于ARM—Linux的SQLite應用實例。關鍵詞:SQLite、BerkeleyDB、SQL、虛擬數據庫引擎（VDBE）引言隨著計算機技術與其它學科間的不斷交融、滲透，數據庫應用的范圍更加深入和具體。那些僅適用于PC機，體積龐大、延時較長的數據庫技術已不能滿足針對性較強的嵌入式系統(tǒng)開發(fā)的需求。SOLite和BerkeleyDB是目前應用較廣泛、技術較穩(wěn)定的兩種嵌入式數據庫。然而，國內對嵌入式數據庫的研究起步較晚，還沒能引起更多人的關注。更多人熟悉那些基于C/S或B/S結構的關系型數據庫來實現(xiàn)數據的存儲、檢索等功能。然而，在嵌入式系統(tǒng)中，由于軟硬件資源有限，不可能安裝龐大的數據庫服務器，而用戶的需求可能由一個簡單的基于磁盤文件的數據庫系統(tǒng)就能實現(xiàn)，這僅僅是利用了那些數據庫的基本特性。此時，對嵌入式數據庫的研究就顯得尤為重要了。1嵌入式數據庫嵌入式數據庫通常是與嵌入式操作系統(tǒng)及具體的應用集成在一起，無需獨立運行數據庫引擎，由程序直接調用相應的API就可實現(xiàn)對數據的存取操作。嵌入式系統(tǒng)的開發(fā)環(huán)境決定了其數據庫的特點：1、體積適當由于嵌入式系統(tǒng)自身的特點，對數據的存儲和程序的運行都有較強的空間限制，所以嵌入式數據庫首先應該保障的就是適當的體積。進一步來說就是占用盡量少的ROM、RAM及CPU的資源。2、功能齊備嵌入式系統(tǒng)開發(fā)中，用戶需求決定了需要一個大小適中、功能齊備的數據庫來實現(xiàn)數據管理，這就使得開發(fā)人員要采用一個能夠提供完備開發(fā)文檔且易于開發(fā)的數據庫技術。此外，國家863項目2002AA714023，研究生精品課程資助05531451在嵌入式設備中，數據庫的管理對用戶來說是透明的，這就要求此數據庫能夠自動完成啟動初始化、日志管理、數據壓縮、備份、數據恢復等功能；而且嵌入式設備經常有不可預料的硬復位，這就需要此數據庫有高度的健壯性。3、可移植性嵌入式系統(tǒng)的平臺種類繁多，因此嵌入式數據庫應有一定的可移植性，以適用于不同的軟硬件平臺。4、代碼開源開源的代碼在產品的開發(fā)過程中不僅可以減少開發(fā)成本，更重要的是為后期的維護完善和穩(wěn)定運行都提供了最為徹底的解決方法。2SQLiteSQLite是D.理查德.希普用一個小型的C庫開發(fā)的一種強有力的嵌入式關系數據庫管理體制。雖然功能較BerkeleyDB稍顯遜色，但它簡單易學、速度較快，同時提供了豐富的數據庫接口，提供了對SQL92的大多數支持：支持多表和索引、事務、視圖、觸發(fā)和一系列的用戶接口及驅動。SQLite的體系結構大體上可以分成八個主要的子系統(tǒng)，如圖1所示。對數據庫進行的各種操作都是按照此順序，逐一執(zhí)行的。頂層是標記處理器（tokenize）和分析器（parser）。SQLite有自己高度優(yōu)化的代碼生成器，可以快速、高效地生產出代碼。底部是經過優(yōu)化的B樹，這樣有助于運行在可調整的頁面緩沖上時，對磁盤的查找降低到最小。再往下是頁面高速緩存，它作用在OS的抽象層之上，這樣的體系結構使數據庫的可移植性變?yōu)榭赡堋Ｔ擉w系結構的核心是虛擬數據庫引擎（VDBE）。VDBE完成與數據操作相關的全部任務，并且是客戶和存儲之間信息交換的中間單元。從各個角度分析，它都是SQLite的核心。當SQL語句被分析后，VDBE便開始工作。代碼生成器將分析樹翻譯成一個袖珍程序，隨后這些袖珍程序又被組合成VDBE的虛擬機器語言表示的一系列指令。如此反復，VDBE執(zhí)行每條指令，最終完成SQL語句指定的查詢要求。SQLite有以下特性：支持ACID事務、零配置―無需安裝和管理配置、存儲在單一磁盤文件中的一個完整的數據庫、數據庫文件可以在不同字節(jié)順序的機器間自由共享、支持數據庫大小至2TB、足夠小、全部源碼大致3萬行C代碼，250KB、比目前流行的大多數據庫運行速度快，提供了對事務功能和并發(fā)處理的支持、應用Transaction既保證了數據的完整性，也會提高運行速度，因為多條語句一起提交給數據庫的速度會比逐一提交的方式更快、獨立、沒有額外依賴。3BerkeleyDBBerkeleyDB是由sleepycatsoftware開發(fā)的輕量級嵌入式數據庫，它不僅適用于嵌入式系統(tǒng)，而且可以直接連接到應用程序內部，和應用程序運行在同一地址空間。傳統(tǒng)的數據庫一般作為獨立服務器工作，而BerkeleyDB是軟件開發(fā)庫，開發(fā)者將它嵌入到應用程序中，應用程序本身就是一個服務器，而只是利用嵌入式數據庫開發(fā)來實現(xiàn)定制的數據庫邏輯，避免了與應用服務器進程間通信的開銷，因此BerkeleyDB具有較高的運行效率，適用于資源受限的嵌入式系統(tǒng)。一般而言，BerkeleyDB數據庫系統(tǒng)可以大致分為五個子系統(tǒng)，如圖2所示。1、存取管理子系統(tǒng)（AccessMethods）該子系統(tǒng)為創(chuàng)建和訪問數據庫文件提供基本的支持。在沒有事務管理的情況下，該子系統(tǒng)中的模塊可單獨使用，為應用程序提供快速高效的數據存取服務。2、內存池管理子系統(tǒng)（MemoryPool）該子系統(tǒng)就是BerkeleyDB所使用的通用共享內存緩沖區(qū)，該子系統(tǒng)可以被應用程序單獨使用。3、事務子系統(tǒng)（Transaction）該子系統(tǒng)為BerkekeyDB提供事務管理功能，保證操作的原則性、一致性和孤立性。事務子系統(tǒng)適用于對需要事務保證的數據進行修改的場合。4、鎖子系統(tǒng)（Locking）該子系統(tǒng)提供進程之間以及進程內部的并發(fā)管理機制，為系統(tǒng)提供多用戶讀取和單用戶修改同一對象的共享控制。該子系統(tǒng)可以被應用程序單獨使用。5、日志子系統(tǒng)（Logging）該子系統(tǒng)采用的是先寫日志的策略，支持事務子系統(tǒng)進行數據恢復，保證數據一致性。4、SQLite與BerkeleyDB的異同通過上面的一些介紹，也許會對SQLite和BerkeleyDB有了一定的了解。從目前的趨勢看，這兩款嵌入式數據庫有著旺盛的生命力，較好的應用領域及發(fā)展空間。筆者翻閱了大量的資料，從各個角度，對它們的異同進行了多方面，多層次的比較，如表1所示。是否為關系數據庫通過此表我們可以較為直觀地看到，SQLite和BerkeleyDB在數據庫類型、開發(fā)語言、存儲方式、模式等方面有著較大的差異。下面筆者就對其中某些重要方面進行相對詳細的論述：1、數據庫類型SQLite基于關系數據庫模式，支持絕大多數標準的SQL92語句，在很大程度上實現(xiàn)了ANSISQL92標準，特別是支持視圖、觸發(fā)器、事務，支持嵌套SQL。它通過SQL編譯器(SQLComplier)來實現(xiàn)SQL語言對數據庫進行操作，采用單文件存放數據庫。在操作語句上更類似關系型數據庫的產品使用，非常方便。這也就使得那些曾經有過PC機數據庫經驗的人，對SQLite的學習變得易如反掌。此外，SQLite也有API的概念，而且極其易于使用，只需要三個用來執(zhí)行SQL和獲得數據的函數。它還是可以擴展的，允許程序員自定義函數，然后以callback的形式集合進去。Ｃ語言API是腳本接口的基礎，如已經發(fā)布的(Tcl接口)。開放源碼團體已經擴展了眾多的客戶接口、適配器、驅動等，這就使得其他語言對SQLite的使用也成為可能。BerkeleyDB不是關系型的數據庫，不能應用標準的SQL語句對數據庫操作，對它的操作要調用專用的API實現(xiàn)。這些API提供了查詢、插入、刪除等功能。使用BerkeleyDB提供的函數來進行數據庫的訪問和管理并不復雜。在大多數場合下，只需按照統(tǒng)一的接口標準進行調用就可以完成最基本的操作。2、存儲方式及模式SQLite只提供了Btree存儲數據的模式。對二進制數據，SQLite不能直接保存；但可以先將二進制的數據轉換成ASCII編碼，然后再保存。Base64編碼機制是最常見的把二進制數據轉換成ASCII編碼的手段。在SQLite的C語言代碼encode.c中，提供了Base64編碼的功能。BerkeleyDB對任何存入的數據都是按原樣直接存儲到數據文件中去，無論其是二進制數據還是ASCII或Unicode等編碼的文本。BerkeleyDB提供了四種存儲數據的模式：Btree、Hash、Queue和Recno。在打開數據庫的時候，要指定一