本文與數(shù)據(jù)產(chǎn)品經(jīng)理Lao Cao和數(shù)據(jù)開發(fā)工程師Xiong進(jìn)行了交談，向您簡要介紹了如何處理數(shù)據(jù)治理？

本文與數(shù)據(jù)產(chǎn)品經(jīng)理Lao Cao和數(shù)據(jù)開發(fā)工程師Xiong進(jìn)行了交談，為您提供了如何處理數(shù)據(jù)治理的流行觀點(diǎn)？ 最近，前同事老曹跳槽到一家新的互聯(lián)網(wǎng)公司。 作為新公司的第一位數(shù)據(jù)產(chǎn)品經(jīng)理，他顯然對(duì)數(shù)據(jù)質(zhì)量感到前所未有的焦慮和心痛：

數(shù)據(jù)分析師崔華：

老曹，今天的數(shù)據(jù)沒有輸出，怎么回事？ 我還在忙著寫分析報(bào)告�。�！

老曹，今天的數(shù)據(jù)沒有輸出，怎么了？ 我還在忙著寫分析報(bào)告�。。�

數(shù)據(jù)產(chǎn)品經(jīng)理Cao：

er等待一分鐘。 我將與數(shù)據(jù)開發(fā)工程師熊一起看一看。

er請(qǐng)稍等。 我將與數(shù)據(jù)開發(fā)工程師熊一起看一看。

如此，曹匆匆向數(shù)據(jù)開發(fā)工程師忍受并喘著粗氣：“

熊，今天的數(shù)據(jù)管道又掛了嗎？”？

熊，今天的數(shù)據(jù)管道是否再次掛斷？

數(shù)據(jù)開發(fā)工程師Xiong困惑地看著曹，說道：“

”，我不知道，讓我手動(dòng)檢查一下。 “

“我不知道，讓我手動(dòng)檢查它�！�

數(shù)據(jù)的產(chǎn)品經(jīng)理Cao Cao有點(diǎn)脾氣暴躁。他臉上帶著問號(hào)說：

啟動(dòng)了

的全文 數(shù)據(jù)，沒有輸出或有問題。您不發(fā)出警報(bào)嗎？

數(shù)據(jù)沒有輸出或有問題。您不發(fā)出警報(bào)嗎？

數(shù)據(jù)開發(fā)工程師熊雄低下了頭，

老曹再也受不了了，他拖了畫板，開始教熊如何處理數(shù)據(jù)治理。數(shù)以千萬計(jì)的

產(chǎn)品是第一項(xiàng)數(shù)據(jù)，非標(biāo)準(zhǔn)構(gòu)造

，作為數(shù)據(jù)產(chǎn)品經(jīng)理，在大數(shù)據(jù)領(lǐng)域工作了多年，我認(rèn)為數(shù)據(jù)質(zhì)量在數(shù)據(jù)中尤為重要。 爆炸性增長，數(shù)據(jù)價(jià)值不斷增長，數(shù)據(jù)質(zhì)量問題變得越來越嚴(yán)重。 數(shù)據(jù)不僅不方便使用，而且還會(huì)誤導(dǎo)決策，甚至造成災(zāi)難性的結(jié)果。數(shù)據(jù)的質(zhì)量決定了數(shù)據(jù)是否能夠真正發(fā)揮其價(jià)值。 有數(shù)以千萬計(jì)的

產(chǎn)品，第一項(xiàng)數(shù)據(jù)，非標(biāo)準(zhǔn)構(gòu)造，以及兩行為公司留下的眼淚。

作為數(shù)據(jù)產(chǎn)品經(jīng)理，在大數(shù)據(jù)領(lǐng)域工作了多年，我認(rèn)為數(shù)據(jù)質(zhì)量在數(shù)據(jù)中尤為重要。 隨著業(yè)務(wù)的發(fā)展，數(shù)據(jù)量呈爆炸性增長，數(shù)據(jù)價(jià)值不斷增長，數(shù)據(jù)質(zhì)量問題越來越嚴(yán)重。 低質(zhì)量的數(shù)據(jù)不僅使用不便，還會(huì)誤導(dǎo)決策，甚至造成災(zāi)難性的結(jié)果。數(shù)據(jù)的質(zhì)量決定了數(shù)據(jù)是否能夠真正發(fā)揮其價(jià)值。

-

的數(shù)據(jù)開發(fā)工程師熊雄低下頭說：“

-

，我理解您的意思，但我始終覺得數(shù)據(jù)質(zhì)量有點(diǎn)空。我應(yīng)該怎么測量呢？ 我知道您所說的所有內(nèi)容，但我始終覺得數(shù)據(jù)質(zhì)量有點(diǎn)空，我應(yīng)該從中算出什么呢？曹繼續(xù)說：

是的，那么如何判斷水平 數(shù)據(jù)質(zhì)量？高質(zhì)量的數(shù)據(jù)是什么？

指的是美國著名質(zhì)量管理專家JM Juran博士的一句話：如果它們適合整合到運(yùn)營中，是否可以進(jìn)行運(yùn)營，決策和計(jì)劃 根據(jù)這些數(shù)據(jù)滿足先前的期望，則這些數(shù)據(jù)是高質(zhì)量的；從另一個(gè)角度來看，高質(zhì)量的數(shù)據(jù)可以真實(shí)地反映它們所代表的主題信息。

結(jié)合了大數(shù)據(jù)和業(yè)務(wù)經(jīng)驗(yàn)。 影響數(shù)據(jù)質(zhì)量的因素包括數(shù)據(jù)完整性，數(shù)據(jù)正確性，數(shù)據(jù)一致性 數(shù)據(jù)，數(shù)據(jù)可用性和數(shù)據(jù)及時(shí)性。 在

中，數(shù)據(jù)完整性是指業(yè)務(wù)中涉及的數(shù)據(jù)的完整性，以及可能對(duì)業(yè)務(wù)的使用產(chǎn)生重大影響的數(shù)據(jù)的完整性； 數(shù)據(jù)的準(zhǔn)確性應(yīng)滿足準(zhǔn)確性和準(zhǔn)確性，即如果數(shù)據(jù)是準(zhǔn)確的，則數(shù)據(jù)的準(zhǔn)確性應(yīng)滿足業(yè)務(wù)需求； 數(shù)據(jù)的一致性應(yīng)滿足同一指標(biāo)的要求，并且數(shù)據(jù)不應(yīng)模棱兩可； 數(shù)據(jù)的可用性是指在使用數(shù)據(jù)時(shí)，數(shù)據(jù)被有效地組織并且可以有效地獲得； 數(shù)據(jù)的及時(shí)性是指所使用的業(yè)務(wù)數(shù)據(jù)是最新的，而不是無效的過期數(shù)據(jù)。

是的，那么如何判斷數(shù)據(jù)質(zhì)量呢？ 什么樣的數(shù)據(jù)是高質(zhì)量的？

引用了美國著名質(zhì)量管理專家JM Juran的一句話：如果它們適合集成到運(yùn)營中，或者基于這些數(shù)據(jù)的運(yùn)營，決策和計(jì)劃符合先前的期望，則這些數(shù)據(jù)具有很高的價(jià)值。 質(zhì)量。 從另一個(gè)角度看，高質(zhì)量的數(shù)據(jù)可以真實(shí)地反映它們所代表的主題信息。

結(jié)合了大數(shù)據(jù)和業(yè)務(wù)經(jīng)驗(yàn)。 從定性的角度來看，影響數(shù)據(jù)質(zhì)量的因素包括數(shù)據(jù)完整性，數(shù)據(jù)正確性，數(shù)據(jù)一致性，數(shù)據(jù)可用性和數(shù)據(jù)及時(shí)性。 在

中，數(shù)據(jù)完整性是指業(yè)務(wù)中涉及的數(shù)據(jù)的完整性，以及可能對(duì)業(yè)務(wù)的使用產(chǎn)生重大影響的數(shù)據(jù)的完整性； 數(shù)據(jù)的準(zhǔn)確性應(yīng)滿足準(zhǔn)確性和準(zhǔn)確性，即如果數(shù)據(jù)是準(zhǔn)確的，則數(shù)據(jù)的準(zhǔn)確性應(yīng)滿足業(yè)務(wù)需求； 數(shù)據(jù)的一致性應(yīng)滿足同一指標(biāo)的要求，并且數(shù)據(jù)不應(yīng)模棱兩可； 數(shù)據(jù)的可用性是指在使用數(shù)據(jù)時(shí)，數(shù)據(jù)被有效地組織并且可以有效地獲得； 數(shù)據(jù)的及時(shí)性是指所使用的業(yè)務(wù)數(shù)據(jù)是最新的，而不是無效的過期數(shù)據(jù)。

數(shù)據(jù)開發(fā)工程師熊越來越感興趣。 他抬起頭說：

我們程序員更加關(guān)注體系結(jié)構(gòu)和特定的實(shí)現(xiàn)。 是否有任何架構(gòu)和解決方案可以共享？

我們的程序員更關(guān)心體系結(jié)構(gòu)和具體實(shí)現(xiàn)。 是否有任何架構(gòu)和解決方案可以共享？

數(shù)據(jù)產(chǎn)品經(jīng)理Lao Cao點(diǎn)點(diǎn)頭，認(rèn)為這會(huì)產(chǎn)生一定的效果。 快點(diǎn)對(duì)他說：

“有許多影響數(shù)據(jù)質(zhì)量的因素，包括數(shù)據(jù)掩埋點(diǎn)的質(zhì)量，數(shù)據(jù)傳輸過程中的問題以及數(shù)據(jù)口徑是否一致。因此，為了確保 在數(shù)據(jù)質(zhì)量上，有資源和精力的公司將建立自己的數(shù)據(jù)管理系統(tǒng)，這是數(shù)據(jù)管理中心的產(chǎn)品架構(gòu)，主要包括索引系統(tǒng)管理和全局?jǐn)?shù)據(jù)管理，元數(shù)據(jù)管理等。 數(shù)據(jù)安全性，也可以通過全局?jǐn)?shù)據(jù)接口導(dǎo)出高質(zhì)量數(shù)據(jù)�！�

”有很多因素會(huì)影響數(shù)據(jù)質(zhì)量，包括數(shù)據(jù)掩埋點(diǎn)的質(zhì)量，數(shù)據(jù)傳輸過程中的問題以及是否 數(shù)據(jù)口徑是一致的，因此，為了確保數(shù)據(jù)質(zhì)量，擁有資源和精力的公司將構(gòu)建自己的數(shù)據(jù)管理系統(tǒng)，這是該產(chǎn)品的體系結(jié)構(gòu)。 數(shù)據(jù)管理中心，主要包括索引系統(tǒng)管理和全局?jǐn)?shù)據(jù)管理，元數(shù)據(jù)管理等。另外，在數(shù)據(jù)安全的前提下，可以通過全局?jǐn)?shù)據(jù)接口輸出高質(zhì)量的數(shù)據(jù)。 “

表示曹操繪制了數(shù)據(jù)管理中心的產(chǎn)品架構(gòu)圖。然后我要告訴熊先生，

以數(shù)據(jù)管理系統(tǒng)為例，它著重于從兩個(gè)質(zhì)量方向確保數(shù)據(jù)的可讀性。 及時(shí)性和數(shù)據(jù)一致性。

首先，我們需要檢查數(shù)據(jù)倉庫的及時(shí)性。

定義每個(gè)級(jí)別和每個(gè)數(shù)據(jù)表的最早和最晚生成時(shí)間，查找影響表的數(shù)據(jù)生成延遲的數(shù)據(jù)表。 一天，并且可以通過數(shù)據(jù)管理系統(tǒng)回答以下問題：

什么時(shí)候生成MySQL表和hive表中的核心指標(biāo)？哪些表的生產(chǎn)時(shí)間比預(yù)期的要延遲？哪些表導(dǎo)致任務(wù)延遲？ 瓶頸？優(yōu)化哪些層？哪些表可以縮短核心指標(biāo)的生成時(shí)間？

以數(shù)據(jù)管理系統(tǒng)為例，其重點(diǎn)是從t數(shù)據(jù)的可讀性 及時(shí)性和數(shù)據(jù)一致性這兩個(gè)質(zhì)量方向。 首先，我們需要檢查數(shù)據(jù)倉庫的及時(shí)性。

定義每天每個(gè)級(jí)別和每個(gè)數(shù)據(jù)表的最早和最晚生成時(shí)間，查找影響當(dāng)天數(shù)據(jù)生成延遲的數(shù)據(jù)表，并可以通過數(shù)據(jù)管理系統(tǒng)回答以下問題：

核心指標(biāo)在MySQL表和Hive表中生成？ 哪些表的生產(chǎn)時(shí)間比預(yù)期的要晚？ 哪些表導(dǎo)致任務(wù)延遲？ 瓶頸在哪里？ 哪些層已優(yōu)化？ 哪些表格可以縮短核心指標(biāo)的生成時(shí)間？ 馬上問：這不是給我KPI，如果我的任務(wù)推遲了，你會(huì)給我減薪嗎？ 您想給我KPI嗎？ 如果我的工作推遲了，你會(huì)扣除我的薪水嗎？

的數(shù)據(jù)產(chǎn)品經(jīng)理Cao Cao很快補(bǔ)充道：“

您還需要更多，我將為您繪制此原型，您會(huì)知道LA的目的是了解任務(wù)的延遲，然后可以 用于以后的重放，而不要拉辮子！”！

您想要更多。 我將為您繪制此原型，您將知道LA的目的是了解任務(wù)的延遲，然后將其用于將來的重放，而不用拖尾線！

的數(shù)據(jù)產(chǎn)品經(jīng)理Cao Cao繼續(xù)說：

然后是檢查數(shù)據(jù)倉庫的數(shù)據(jù)一致性。 通過數(shù)據(jù)一致性檢查

，在數(shù)據(jù)質(zhì)量視圖中，我們可以快速了解具有依賴關(guān)系的數(shù)據(jù)表的維度數(shù)據(jù)的變化。 為了檢查數(shù)據(jù)的一致性，大數(shù)據(jù)管理系統(tǒng)項(xiàng)目需要執(zhí)行以下步驟：

第一步是建立數(shù)據(jù)依賴引擎并實(shí)現(xiàn)依賴圖。 依賴關(guān)系圖用于在數(shù)據(jù)倉庫表之間建立分層的依賴關(guān)系，然后存儲(chǔ)在MySQL表中以支持可視化表示。 第二步是計(jì)算數(shù)據(jù)準(zhǔn)備。 每個(gè)表和每個(gè)分區(qū)的數(shù)據(jù)準(zhǔn)備時(shí)間按天和小時(shí)進(jìn)行匯總。 根據(jù)配置單元倉庫的元信息，可以獲取配置單元表每個(gè)分區(qū)的創(chuàng)建時(shí)間，并可以根據(jù)創(chuàng)建時(shí)間確定數(shù)據(jù)的有效性，用于分析和顯示日，小時(shí)狀態(tài)和瓶頸 。 如果需要驗(yàn)證MySQL，則使用SQL語句的查詢方法獲取