国产睡熟迷奷白丝护士系列精品,中文色字幕网站,免费h网站在线观看的,亚洲开心激情在线

      <sup id="hb9fh"></sup>
          1. 千鋒教育-做有情懷、有良心、有品質(zhì)的職業(yè)教育機(jī)構(gòu)

            手機(jī)站
            千鋒教育

            千鋒學(xué)習(xí)站 | 隨時(shí)隨地免費(fèi)學(xué)

            千鋒教育

            掃一掃進(jìn)入千鋒手機(jī)站

            領(lǐng)取全套視頻
            千鋒教育

            關(guān)注千鋒學(xué)習(xí)站小程序
            隨時(shí)隨地免費(fèi)學(xué)習(xí)課程

            當(dāng)前位置:首頁  >  應(yīng)聘面試  >  大數(shù)據(jù)面試題  > 大數(shù)據(jù)面試題:寫讀流程、數(shù)據(jù)flush、數(shù)據(jù)合并

            大數(shù)據(jù)面試題:寫讀流程、數(shù)據(jù)flush、數(shù)據(jù)合并

            來源:千鋒教育
            發(fā)布人:syq
            時(shí)間: 2022-08-09 14:40:18 1660027218

              1. 寫流程:

              1、client向hregionserver發(fā)送寫請求。

            寫讀流程、數(shù)據(jù)flush、數(shù)據(jù)合并

              2、hregionserver將數(shù)據(jù)寫到hlog(write ahead log)。為了數(shù)據(jù)的持久化和恢復(fù)。

              3、hregionserver將數(shù)據(jù)寫到內(nèi)存(memstore)

              4、反饋client寫成功。

              2. 數(shù)據(jù)flush:

              1)當(dāng)memstore數(shù)據(jù)達(dá)到閾值(默認(rèn)是128M)或region中所有Memstore的大小總和達(dá)到了上限(默認(rèn) 2*128 = 256MB)會(huì)觸發(fā)將將數(shù)據(jù)刷到硬盤,將內(nèi)存中的數(shù)據(jù)刪除,同時(shí)刪除Hlog中的歷史數(shù)據(jù)。

              2)并將數(shù)據(jù)存儲(chǔ)到hdfs中。

              3)在hlog中做標(biāo)記點(diǎn)。

              3. 數(shù)據(jù)compact(合并):

              將storefile 中的hfile 合并成大的hfile;

              在hbase中主要存在兩種類型的compaction合并

              minor compaction 小合并

              在將Store中多個(gè)HFile合并為一個(gè)HFile,對于超過了TTL的數(shù)據(jù)、刪除的數(shù)據(jù)僅僅只是做了標(biāo)記。

              major compaction 大合并

              合并Store中所有的HFile為一個(gè)HFile,清理三類無意義數(shù)據(jù):被刪除的數(shù)據(jù)、TTL過期數(shù)據(jù)、版本號(hào)超過設(shè)定版本號(hào)的數(shù)據(jù)。默認(rèn)7天執(zhí)行一次,并且性能消耗非常大。手動(dòng)觸發(fā):major_compact tableName

              4. 讀流程

              1、通過zookeeper和-ROOT- .META.表定位region

              2、hbase會(huì)首先在布隆過濾器中查詢(如果設(shè)置的話),然后MemStore,BlockCache(LRUCache存放最近讀取數(shù)據(jù)),磁盤的HFile,找到并存儲(chǔ)到BlockCache

              3、數(shù)據(jù)塊會(huì)緩存

              5. hregionserver的職責(zé)

              HRegion Server主要負(fù)責(zé)響應(yīng)用戶I/O請求,向HDFS文件系統(tǒng)中讀寫數(shù)據(jù),是HBASE中最核心的模塊。

              HRegion Server管理region。

              更多關(guān)于“大數(shù)據(jù)培訓(xùn)”的問題,歡迎咨詢千鋒教育在線名師。千鋒教育多年辦學(xué),課程大綱緊跟企業(yè)需求,更科學(xué)更嚴(yán)謹(jǐn),每年培養(yǎng)泛IT人才近2萬人。不論你是零基礎(chǔ)還是想提升,都可以找到適合的班型,千鋒教育隨時(shí)歡迎你來試聽。

            tags:
            聲明:本站稿件版權(quán)均屬千鋒教育所有,未經(jīng)許可不得擅自轉(zhuǎn)載。
            10年以上業(yè)內(nèi)強(qiáng)師集結(jié),手把手帶你蛻變精英
            請您保持通訊暢通,專屬學(xué)習(xí)老師24小時(shí)內(nèi)將與您1V1溝通
            免費(fèi)領(lǐng)取
            今日已有369人領(lǐng)取成功
            劉同學(xué) 138****2860 剛剛成功領(lǐng)取
            王同學(xué) 131****2015 剛剛成功領(lǐng)取
            張同學(xué) 133****4652 剛剛成功領(lǐng)取
            李同學(xué) 135****8607 剛剛成功領(lǐng)取
            楊同學(xué) 132****5667 剛剛成功領(lǐng)取
            岳同學(xué) 134****6652 剛剛成功領(lǐng)取
            梁同學(xué) 157****2950 剛剛成功領(lǐng)取
            劉同學(xué) 189****1015 剛剛成功領(lǐng)取
            張同學(xué) 155****4678 剛剛成功領(lǐng)取
            鄒同學(xué) 139****2907 剛剛成功領(lǐng)取
            董同學(xué) 138****2867 剛剛成功領(lǐng)取
            周同學(xué) 136****3602 剛剛成功領(lǐng)取
            相關(guān)推薦HOT
            內(nèi)部表和外部表(重點(diǎn))

            hive外部表是使用external關(guān)鍵字并指定一個(gè)hdfs目錄創(chuàng)建的表。hive內(nèi)部表在創(chuàng)建時(shí)會(huì)在對應(yīng)hive目錄下創(chuàng)建相應(yīng)的文件夾,外部表則以指定文件夾為...詳情>>

            2022-09-02 17:21:00
            Flink checkpoint和savepoint區(qū)別

            Checkpoint是為runtime準(zhǔn)備的,Savepoint 是為用戶準(zhǔn)備的。Checkpoint 機(jī)制的目標(biāo)在于保證Flink作業(yè)意外崩潰重啟不影響exactly once 準(zhǔn)確性,通...詳情>>

            2022-09-02 16:59:22
            Flink State?

            State:指一個(gè)具體的Task/Operator的狀態(tài)。State可以被記錄,在失敗的情況下數(shù)據(jù)還可以恢復(fù),F(xiàn)link中有兩種基本類型的State: Keyed State, Op...詳情>>

            2022-09-02 16:59:19
            Flink反壓機(jī)制?

            Flink 內(nèi)部是基于producer-consumer模型來進(jìn)行消息傳遞的,F(xiàn)link的反壓設(shè)計(jì)也是基于這個(gè)模型。Flink 使用了高效有界的分布式阻塞隊(duì)列,就像 Jav...詳情>>

            2022-09-02 16:59:16
            大數(shù)據(jù)面數(shù)據(jù):Flink Allowed Lateness & Side OutPut?

            雖說水位線(Watermark)表明早于它的事件不應(yīng)該再出現(xiàn),但是接收到水位線以前的的消息是不可避免的,這就是所謂的遲到事件。實(shí)際上遲到事件是亂...詳情>>

            2022-09-02 16:59:00
            快速通道