1. 數(shù)據(jù)傾斜

　　答案：避免熱點key設(shè)計，雙keyby設(shè)計

　　2. checkpoint優(yōu)化

　　答案：

　　1）降低Source的并發(fā)度、拉取頻率、拉取量

　　2）提高checkpoint發(fā)送頻率

　　3）提升同是處理線程數(shù)(實操)

　　4）提高checkpoint超時時間

　　3.如何保證數(shù)據(jù)質(zhì)量(數(shù)倉)？

　　答案：數(shù)據(jù)質(zhì)量：指我們數(shù)據(jù)加工、轉(zhuǎn)換、計算等整個流程中的數(shù)據(jù)正確性，主要體現(xiàn)在ODS層和ADS層急需要數(shù)據(jù)質(zhì)量，ODS主要判斷ODS中的數(shù)據(jù)和業(yè)務(wù)庫中的數(shù)據(jù)是否一致(條數(shù))，ADS層主要是看最終指標是否正確，也即入口和出口一定把質(zhì)量監(jiān)控好。

　　1）大公司就可以說是公司自研的數(shù)據(jù)質(zhì)量系統(tǒng)來保障數(shù)據(jù)質(zhì)量，保證ODS同步數(shù)據(jù)是否多少、可以配置ODS層數(shù)據(jù)量為上游數(shù)據(jù)的百分比、可以配置告警。如：業(yè)務(wù)庫訂單表今天3000萬條，但是采集到ODS層2000萬條，配置告警規(guī)則為業(yè)務(wù)庫orders/ods層orders=100%，這個時候肯定就要觸發(fā)告警，因為訂單涉及到錢，一條數(shù)據(jù)都不能丟。行為日志可以丟一些，自行根據(jù)需求設(shè)置即可。

　　2）小公司，就是將1步驟中的實現(xiàn)過程自己實現(xiàn)，比如第一個版本使用Shell腳本自己實現(xiàn)ODS層和ADS層數(shù)據(jù)質(zhì)量監(jiān)控的；第二版本自己寫的web項目來對數(shù)據(jù)質(zhì)量監(jiān)控，主要實現(xiàn)數(shù)據(jù)條數(shù)、同環(huán)比指標的一些監(jiān)控?；蛘呤褂瞄_源的框架：Griffin或DolphinScheduler 3.0就有數(shù)據(jù)質(zhì)量功能了。

　　4.女生學(xué)習(xí)大數(shù)據(jù)技術(shù)可以嗎，會不會受到歧視？

　　答案： 女生學(xué)習(xí)大數(shù)據(jù)技術(shù)可以嗎，會不會受到歧視? - 擁抱大數(shù)據(jù)的回答 - 知乎

　　5.更新大數(shù)據(jù)隨堂視頻(zookeeper-功能介紹)

　　答案：zookeepr-功能介紹 - 擁抱大數(shù)據(jù)的視頻 - 知乎

　　6.更新大數(shù)據(jù)隨堂視頻(zookeeper-集群搭建)

　　答案：zookeeper-集群搭建 - 擁抱大數(shù)據(jù)的視頻 - 知乎 

　　更多關(guān)于大數(shù)據(jù)培訓(xùn)的問題，歡迎咨詢千鋒教育在線名師。千鋒教育擁有多年IT培訓(xùn)服務(wù)經(jīng)驗，采用全程面授高品質(zhì)、高體驗培養(yǎng)模式，擁有國內(nèi)一體化教學(xué)管理及學(xué)員服務(wù)，助力更多學(xué)員實現(xiàn)高薪夢想。