MySQL源碼分析01代碼結(jié)構(gòu)與基本流程

MySQL源碼分析

——代碼結(jié)構(gòu)與根本流程彭立勛AlibabaDBATeamTopicsMySQL根本架構(gòu)源碼目錄結(jié)構(gòu)核心類庫與函數(shù)主要模塊數(shù)據(jù)流MySQL根本架構(gòu)MySQL目錄結(jié)構(gòu)(1)BUILD:內(nèi)含在各個平臺、各種編譯器下進(jìn)行編譯的腳本。如compile-pentium-debug表示在pentium架構(gòu)上進(jìn)行調(diào)試編譯的腳本。client:客戶端工具，如mysql,mysqladmin之類。cmd-line-utils:readline,libedit工具。config:給aclocal使用的配置文件。dbug:提供一些調(diào)試用的宏定義。Docs:MySQL在不同平臺下的參考手冊extra:提供innochecksum,resolveip等額外的小工具。include:包含的頭文件libmysql:庫文件，生產(chǎn)libmysqlclient.so。libmysql_r:線程平安的庫文件，生成libmysqlclient_r.so。libmysqld:嵌入式MySQLServer庫.libservices中新加的目錄，實(shí)現(xiàn)了打印功能。MySQL目錄結(jié)構(gòu)(2)man:適合man命令查看的幫助文件。mysql-test:mysqld的測試工具套件。mysys:為實(shí)現(xiàn)跨平臺，MySQL自己實(shí)現(xiàn)了一套常用的數(shù)據(jù)結(jié)構(gòu)和算法，如string,hash等。還包含一些底層函數(shù)的跨平臺封裝,一般以my_開頭。netware:在netware平臺上進(jìn)行編譯時需要的工具和庫。plugin:MySQL5.1開始支持一個插件式API接口,不需要重啟mysqld即可動態(tài)載入插件,FullText就是一個例子。pstack:GNU異步棧追蹤工具。regex:正那么表達(dá)式實(shí)現(xiàn)(來自多倫多大學(xué)HenrySpencer大牛的源碼)。scripts:提供腳本工具，如mysql_install_db/mysqld_safe等。server-tools:包含instance_manager子目錄,負(fù)責(zé)實(shí)例的本地和遠(yuǎn)程管理。MySQL目錄結(jié)構(gòu)(3)sql:MySQLServer主要代碼，將會生成mysqld文件。sql-bench:一些基準(zhǔn)測試代碼代碼,主要是Perl程序(雖然后綴是sh)。sql-common:存放局部效勞器端和客戶端都會用到的代碼,有些地方的同名文件是這里lin過去的。storage:存儲引擎所在目錄。strings:string庫,包含很多字符串處理的函數(shù)。support-files:myf例如配置文件及編譯所需的一些工具。tests:測試文件所在目錄。unittest:單元測試文件。vio:虛擬io系統(tǒng)，是對networkio的封裝,把不同的協(xié)議封裝成統(tǒng)一的IO函數(shù)。win:在windows平臺編譯所需的文件和一些說明。zlib:zlib算法庫(GNU)InnoDB目錄結(jié)構(gòu)(1)btr:B+樹的實(shí)現(xiàn)buf:緩沖池的實(shí)現(xiàn),包括LRU算法,Flush刷新算法等dict:InnoDB內(nèi)存數(shù)據(jù)字典的實(shí)現(xiàn)dyn:InnoDB動態(tài)數(shù)組的實(shí)現(xiàn)fil:InnoDB文件數(shù)據(jù)結(jié)構(gòu)以及對于文件的一些操作fsp:對InnoDB物理文件的管理,如頁/區(qū)/段等(即FileSpace)ha:哈希算法的實(shí)現(xiàn)handler:繼承與MySQL的handler,實(shí)現(xiàn)handlerAPI與Server交互ibuf:插入緩沖(InsertBuffer)的實(shí)現(xiàn)include:InnoDB所有頭文件都放在這個目錄,是查找結(jié)構(gòu)定義的最正確地點(diǎn)lock:InnoDB的鎖實(shí)現(xiàn)及三種鎖算法實(shí)現(xiàn)log:日志緩沖(LogBuffer)和重做日志組(RedoLog)的實(shí)現(xiàn)InnoDB目錄結(jié)構(gòu)(2)mem:輔助緩沖池(AdditionalMemoryPool)的實(shí)現(xiàn),用來申請一些內(nèi)部數(shù)據(jù)結(jié)構(gòu)的內(nèi)存mtr:事務(wù)的底層實(shí)現(xiàn)(日志,緩沖)os:封裝一些對于操作系統(tǒng)的操作page:頁的實(shí)現(xiàn),研究InnoDB文件結(jié)構(gòu),這個目錄至關(guān)重要pars:重載局部MySQL的SQLParser(有待商榷)que:Querygraph,根本上沒啥用read:讀取游標(biāo)的實(shí)現(xiàn)rem:行管理操作(比較操作,打印等)row:對于各種類型行數(shù)據(jù)操作的實(shí)現(xiàn)srv:InnoDB后臺線程,啟動效勞,MasterThread,SQL隊列等sync:InnoDB互斥變量(Mutex)的實(shí)現(xiàn),根本同步機(jī)制thr:InnoDB封裝的可移植線程庫InnoDB目錄結(jié)構(gòu)(3)trx:事務(wù)的實(shí)現(xiàn)usr:Session管理ut:各種通用小工具核心類庫THD:線程類Item:Item類(查詢條目,函數(shù),WHERE,ORDER,GROUP,ON子句等)TABLE:表描述符TABEL_LIST:JOIN操作描述符Field:列數(shù)據(jù)類型及屬性定義LEX:語法樹Protocol:通訊協(xié)議NET:網(wǎng)絡(luò)描述符handler:存儲引擎接口核心函數(shù)庫(1)內(nèi)存操作:init_alloc_root:內(nèi)存池初始化,生成內(nèi)存池根(MEM_ROOT)alloc_root:申請內(nèi)存池內(nèi)存,從mem_root制定的內(nèi)存池申請內(nèi)存塊free_root:釋放內(nèi)存池,通過MyFlags指定哪種內(nèi)存可以被釋放文件操作:my_open:翻開一個文件my_close:關(guān)閉一個文件my_b_flush_io_cache:講數(shù)據(jù)從內(nèi)存緩沖寫到物理磁盤end_io_cache:釋放一個IO_CACHE對象哈希操作:_hash_init:初始化HASH描述符hash_search:搜索哈希表,調(diào)用hash_firsthash_first:返回哈希表中找到的第一個行指針,否那么返回0核心函數(shù)庫(2)字符串操作:strappend:填充字符串strmov:移動字符串到新地址核心算法Bitmapsbitmap_init/bimap_free:創(chuàng)立與釋放一個位圖(8*n個位為單位)bitmap_set_bit/bitmap_fast_test_and_set:設(shè)置位圖的一個位bitmap_clear_all/bitmap_set_all:清空或全部設(shè)置一個位圖bitmap_cmp:對兩個位圖的特定位比較JoinBuffer如果存在條件過濾,那么第一次過濾完的記錄將放入JoinBuffer,防止第二次再判斷SortBuffer算法一:將排序字段和主鍵放入SortBuffer排序,按照結(jié)果用主鍵取出數(shù)據(jù)返回算法二:將整行數(shù)據(jù)放入SortBuffer,排序完成后直接從SortBuffer返回數(shù)據(jù)MySQL數(shù)據(jù)流MySQL啟動流程主要代碼在sql/mysqld.cc中，精簡后的代碼如下：intmain(intargc,char**argv)//標(biāo)準(zhǔn)入口函數(shù)MY_INIT(argv[0]);//調(diào)用mysys/My_init.c->my_init()，初始化mysql內(nèi)部的系統(tǒng)庫logger.init_base();//初始化日志功能init_common_variables(MYSQL_CONFIG_NAME,argc,argv,load_default_groups)//調(diào)用load_defaults(conf_file_name,groups,&argc,&argv)，讀取配置信息user_info=check_user(mysqld_user);//檢測啟動時的用戶選項set_user(mysqld_user,user_info);//設(shè)置以該用戶運(yùn)行init_server_components();//初始化內(nèi)部的一些組件，如table_cache,query_cache等。network_init();//初始化網(wǎng)絡(luò)模塊，創(chuàng)立socket監(jiān)聽start_signal_handler();//創(chuàng)立pid文件mysql_rm_tmp_tables()||acl_init(opt_noacl)//刪除tmp_table并初始化數(shù)據(jù)庫級別的權(quán)限。init_status_vars();//初始化mysql中的status變量start_handle_manager();//創(chuàng)立manager線程handle_connections_sockets();//主要處理函數(shù)，處理新的連接并創(chuàng)立新的線程處理MySQL監(jiān)聽連接主要代碼在sql/mysqld.cc中(handle_connections_sockets)，精簡后的代碼如下：pthread_handler_thandle_connections_sockets(void*arg__attribute__((unused))){FD_SET(unix_sock,&clientFDs);//unix_socket在network_init中被翻開while(!abort_loop){//abort_loop是全局變量，在某些情況下被置為1表示要退出。readFDs=clientFDs;//需要監(jiān)聽的socketselect((int)max_used_connection,&readFDs,0,0,0);//select異步(?科學(xué)家解釋下是同步還是異步)監(jiān)聽，當(dāng)接收到??以后返回。new_sock=accept(sock,my_reinterpret_cast(structsockaddr*)(&cAddr),&length);//接受請求thd=newTHD;//創(chuàng)立mysqld任務(wù)線程描述符，它封裝了一個客戶端連接請求的所有信息vio_tmp=vio_new(new_sock,VIO_TYPE_SOCKET,VIO_LOCALHOST);//網(wǎng)絡(luò)操作抽象層my_net_init(&thd->net,vio_tmp));//初始化任務(wù)線程描述符的網(wǎng)絡(luò)操作create_new_thread(thd);//創(chuàng)立任務(wù)線程}}MySQL創(chuàng)立連接(1)主要代碼在sql/mysqld.cc中(create_new_thread/create_thread_to_handle_connection)，精簡后的代碼如下：staticvoidcreate_new_thread(THD*thd){NET*net=&thd->net;if(connection_count>=max_connections+1||abort_loop){//看看當(dāng)前連接數(shù)是不是超過了系統(tǒng)配置允許的最大值，如果是就斷開連接。close_connection(thd,ER_CON_COUNT_ERROR,1);deletethd;}++connection_count;thread_scheduler.add_connection(thd);//將新連接參加到thread_scheduler的連接隊列中。}MySQL創(chuàng)立連接(2)而thread_scheduler轉(zhuǎn)而調(diào)用create_thread_to_handle_connection,精簡后的代碼如下：voidcreate_thread_to_handle_connection(THD*thd){if(cached_thread_count>wake_thread){//看當(dāng)前工作線程緩存(thread_cache)中有否空余的線程thread_cache.append(thd);pthread_cond_signal(&COND_thread_cache);//有的話那么喚醒一個線程來用}else{threads.append(thd);pthread_create(&thd->real_id,&connection_attrib,handle_one_connection,(void*)thd)));//沒有可用空閑線程那么創(chuàng)立一個新的線程}}MySQL創(chuàng)立連接(3)創(chuàng)立連接使用handle_one_connection函數(shù),精簡代碼如下:pthread_handler_thandle_one_connection(void*arg){thread_scheduler.init_new_connection_thread();//初始化線程預(yù)處理操作setup_connection_thread_globals(thd);//載入一些Session級變量for(;;){lex_start(thd);//初始化LEX詞法解析器login_connection(thd);//進(jìn)行連接身份驗證prepare_new_connection_state(thd);//初始化線程Status,即showstatus看到的do_command(thd);//處理命令end_connection(thd);//沒事做了關(guān)閉連接,丟入線程池}}MySQL執(zhí)行Query(1)do_command函數(shù)在sql/sql_parse.cc定義,代碼如下:booldo_command(THD*thd){NET*net=&thd->net;packet_length=my_net_read(net);packet=(char*)net->read_pos;command=(enumenum_server_command)(uchar)packet[0];//解析客戶端傳過來的命令類型

dispatch_command(command,thd,packet+1,(uint)(packet_length-1));}MySQL執(zhí)行Query(2)再看dispatch_command函數(shù)在sql/sql_parse.cc定義,精簡代碼如下:booldispatch_command(enumenum_server_commandcommand,THD*thd,char*packet,uintpacket_length){NET*net=&thd->net;thd->command=command;switch(command){//判斷命令類型caseCOM_INIT_DB:...;caseCOM_TABLE_DUMP:...;caseCOM_CHANGE_USER:...;...caseCOM_QUERY://如果是Queryalloc_query(thd,packet,packet_length);//從網(wǎng)絡(luò)數(shù)據(jù)包中讀取Query并存入thd->querymysql_parse(thd,thd->query,thd->query_length,&end_of_stmt);//送去解析}}MySQL執(zhí)行Query(3)mysql_parse函數(shù)負(fù)責(zé)解析SQL(sql/sql_parse.cc),精簡代碼如下:voidmysql_parse(THD*thd,constchar*inBuf,uintlength,constchar**found_semicolon){lex_start(thd);//初始化線程解析描述符if(query_cache_send_result_to_client(thd,(char*)inBuf,length)<=0){//看querycache中有否命中，有就直接返回結(jié)果，否那么進(jìn)行查找Parser_stateparser_state(thd,inBuf,length);parse_sql(thd,&parser_state,NULL);//解析SQL語句mysql_execute_command(thd);//執(zhí)行}}MySQL執(zhí)行Query(4)終于開始執(zhí)行鳥~mysql_execute_command接近3k行,非常精簡代碼如下:intmysql_execute_command(THD*thd){LEX*lex=thd->lex;//解析過后的SQL語句的語法結(jié)構(gòu)

TABLE_LIST*all_tables=lex->query_tables;//該語句要訪問的表的列表

switch(lex->sql_command){...caseSQLCOM_INSERT:insert_precheck(thd,all_tables);mysql_insert(thd,all_tables,lex->field_list,lex->many_values,lex->update_list,lex->value_list,lex->duplicates,lex->ignore);break;...caseSQLCOM_SELECT:check_table_access(thd,lex->exchange?SELECT_ACL|FILE_ACL:SELECT_ACL,all_tables,UINT_MAX,FALSE);//檢查用戶對數(shù)據(jù)表的訪問權(quán)限

execute_sqlcom_select(thd,all_tables);//執(zhí)行select語句

break;}}MySQL執(zhí)行Query(5)我們看一個例子,mysql_insert

(在sql/sql_insert.cc),精簡代碼如下:boolmysql_insert(THD*thd,TABLE_LIST*table_list,//該INSERT要用到的表