<delect id="bf9zn"><video id="bf9zn"><meter id="bf9zn"></meter></video></delect><dl id="bf9zn"></dl><dl id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></dl><noframes id="bf9zn"><dl id="bf9zn"></dl><dl id="bf9zn"></dl><i id="bf9zn"><i id="bf9zn"><i id="bf9zn"></i></i></i>
<dl id="bf9zn"></dl><dl id="bf9zn"></dl>
<dl id="bf9zn"><i id="bf9zn"></i></dl> <video id="bf9zn"><dl id="bf9zn"></dl></video>
<dl id="bf9zn"><i id="bf9zn"></i></dl><dl id="bf9zn"><delect id="bf9zn"><font id="bf9zn"></font></delect></dl><video id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></video><dl id="bf9zn"><i id="bf9zn"></i></dl>
<dl id="bf9zn"><i id="bf9zn"><meter id="bf9zn"></meter></i></dl><dl id="bf9zn"></dl>
<video id="bf9zn"></video><video id="bf9zn"><delect id="bf9zn"><delect id="bf9zn"></delect></delect></video><dl id="bf9zn"></dl>
<i id="bf9zn"></i><video id="bf9zn"><i id="bf9zn"></i></video>
<video id="bf9zn"><i id="bf9zn"><font id="bf9zn"></font></i></video><dl id="bf9zn"></dl> <dl id="bf9zn"><i id="bf9zn"></i></dl><video id="bf9zn"><i id="bf9zn"></i></video><i id="bf9zn"></i><i id="bf9zn"><delect id="bf9zn"></delect></i><i id="bf9zn"></i><video id="bf9zn"><video id="bf9zn"></video></video>
<i id="bf9zn"></i>
<i id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></i><video id="bf9zn"><i id="bf9zn"></i></video><video id="bf9zn"><i id="bf9zn"><delect id="bf9zn"></delect></i></video><dl id="bf9zn"></dl><dl id="bf9zn"></dl><noframes id="bf9zn"><dl id="bf9zn"></dl>

數據治理--元數據

? ? ? 元數據是?對某個潛在信息性對象做出的陳述?。在瀏覽其他網頁的時候會看到元數據被稱之為 “數據的數據”。為了更好的描述元數據到底是什么東西,我以一本《Metadata》書作為例子進行說明?!禡etadata》第二頁記錄著該書的 CIP 信息、作者、出版社、書號、定價、印次、字數等信息,而這些信息都是用于描述《Metadata》這本書的元數據。

? ? ? 一條元數據記錄就是關于一個資源的主謂賓陳述集合。例如:達芬奇(賓語)是蒙娜麗莎(主語)的創作者(謂語)。

主數據、元數據與參考數據


元數據

? ? ? 元數據(meta-data)是描述企業數據的相關數據,指在IT系統建設過程中所產生的有關數據定義,目標定義,轉換規則等相關的關鍵數據,包括 對數據的業務、結構、定義、存儲、安全等各方面對數據的描述 。地市表這個實體的數據模型如何進行定義正是元數據所關心的范疇。

元數據可以說是企業的數據地圖,它直接反映了企業中有什么樣的數據,數據是如何存放的,例如,數據結構是什么樣子,數據與業務之間的關系是怎么樣,數據與數據之間的關系是怎么樣,數據有什么樣的安全需求,數據有什么樣的存儲需求。

主數據

? ? ? 主數據(main data)主要是指經實例化的企業?關鍵數據?。

? ? ? 我們在上面設計完成數據模型設計的“城市表”中填寫了相應的城市數據,例如,北京、上海、廣州、南寧等等。這些在城市表中?填充的數據?,正是組織中國地理協會的主數據,因為這些數據是中國地理協會這個組織的關鍵業務實體,?它為組織的業務開展提供關聯環境?,而且它可能在企業業務開展過程中?被反復引用?。針對這些核心關鍵數據,組織和企業無論從數據的質量、一致性、可用性、管理規范等方面都應該有著最嚴格的數據要求。

? ? ? 主數據就是企業被不同運營場合反復引用關鍵的狀態數據,它需要在企業范圍內保持高度一致。它可以隨著企業的經營活動而改變,例如,客戶的增加,組織架構的調整,產品下線等;但是,?主數據的變化頻率應該是較低的?。所以,企業運營 過程產生過程數據,如生產過程產生各種如訂購記錄、消費記錄等,一般不會納入主數據的范圍 。當然,在不同行業,不同企業對主數據有不同的看法和做法,正如我們與國內大型航空企業的實施相關數據項目時,也在為航班動態是不是主數據而糾結不已。

? ? ? 個人覺得 主數據具有跨行業也能存在能力,同時實例數據變更是低頻的。例如商品價格信息、會員信息是主數據,而訂單信息不是主數據,它具有高頻更新存在。因而怎么算高頻就是一個仁者見仁智者見智的情況了,需要結合自己所在的行業進行判斷。

參考數據——數據的字典

? ? ? 在本文引用的假設案例中,我們將會注意到剛才填寫的地市這類數據有些列,如省份、城市類型等。?如果沒有缺少上下文的環境,我們是無法理解其具體含義?,這時候我們往往引入參考數據(reference data)加以解釋和理解。

? ? ? 參考數據是增加數據可讀性、可維護性以及后續應用的重要數據。例如,你看到“性別”的這個字段,很可能是1代表男性、2代表女性。在許多企業中有這樣的約定俗成,而更多的參考數據可能記錄在開發人員和運營人員的大腦當中。但問題是一旦這些人離開,您系統里面的數據就成了一堆沒有注釋的天書。

? ? ? 大家可能覺得,這所謂參考數據不就是數據字典嗎?對,我們在很多系統里面都會有這樣和那樣的數據字典。但是正是由于這些數據字典僅局限于個別系統而沒有統一標準,從一個側面間接造就了大量的數據孤島。企業為了進行更有效率的數據整合、數據共享和數據分析應用,開始嘗試對參考數據進行企業或者部門層面的整合和管理,利用參考數據集記錄系統嘗試為范圍內的IT系統中的數據庫提供統一的參考數據。

小結

? ? ? 主數據則是真實的企業業務數據,是企業的關鍵業務數據。

? ? ? 參考數據則是對數據的解釋,針對一些數據范圍和取值的數據解釋,讓人們容易讀取相關的數據。

? ? ? 元數據是對數據的描述,用于描述企業數據的所有信息和數據,如結構、關系、安全需求等,除增加數據可讀性外,也是后續數據管理的基礎。

? ? ? 一般而言,企業中這三類數據與其它數據的數據量、質量需求,更新頻率、數據生命周期的關系大致如下圖:


中臺與元數據

? ? ? 中臺強調的是復用性,利用提高服務的重復使用,降低開發時間和提高工作效率。但現實生活中,大量的數據孤島和重復建設存在,從而存在大量的數據指標定義不同帶來的歧義問題。由于不同的項目 PM 管理風格迥異,存在有些必要信息沒有進行存檔,而是通過口口相傳的不靠譜形式,信息準確性大打折扣。

? ? ? 數據中臺建設中需要尋找共性數據,通過數據建模,將其進行抽取形成一張公共的數據大寬表。如何快速了解掌握數據關系,定位表與表之間的共性部分,往往需要對業務有一定的了解,但現實情況大量的開發人員只了解自己負責的那一個模塊內容,對于其他人或者項目的內容一無所知。

? ? ? 而元數據就是為了消除二義性,同時,對元數據的管理,形成結構化的權威數據,降低數據傳遞成本和提高準確性。

常見元數據分類

  • 元數據包括業務元數據、技術元數據和管理元數據。

  • 常見的業務元數據包括:業務定義、業務術語、業務規則、業務指標等。

  • 常見的技術元數據包括:存儲位置、數據模型、數據庫表、字段長度、字段類型、ETL腳本、SQL腳本、接口程序、數據關系等。

  • 常見的管理元數據包括:數據所有者、數據質量定責、數據安全等級等。

業務問題

? ? ? 在沒有元數據管理的情況下,從使用問題、管理問題、數據問題等三個方面進行說明:

使用問題

  • 查看表結構信息不方便(查看、檢索、表復用)

  • 表依賴關系不清楚(血緣)

  • 表信息缺少(表維護者,表狀態)

管理問題

  • 表權限管理

  • 數據管理

  • 數據質量監控

數據問題

  • 建表規則混亂,沒有統一標準

  • 表結構變更之后,信息不同步

如何設計元數據管理



數據治理

數倉構建

名詞說明

業務板塊

? ? ? 定義數據倉庫的名稱和業務空間,以企業內一個?相對獨立的業務?為分配單元。例如,如果業務涉及零售、文娛,且系統間?相對獨立?,則需要構建兩個業務板塊,即零售、文娛。如果業務僅涉及零售,且業務內的系統間隔離較少,則只需要構建一個業務板塊,即零售。

公共定義

? ? ? 定義企業構建數據所需的全局概念對象或參數,以?保證全局概念統一?。當定義完成后,系統內其他指標(例如派生指標)可以按需統一、通用化引用這些對象,例如統計周期,年、月、日、每周、每日。

項目管理

? ? ? 項目是一種?物理空間上?的劃分。項目管理,即用戶在數據中臺建設過程中,對物理資源及開發人員進行隔離化管理。?一個業務板塊可以包含多個項目?,每個系統成員可以加入多個不同的項目。

維度

? ? ? 維度即?進行統計的對象?。通常情況下,維度是?實際存在?、不因事件發生就存在的實體。創建維度,即從頂層規范業務中的實體(主數據),并保證實體的唯一性。例如訂單、商品。

業務過程

? ? ? 業務過程即業務活動中的?所有事件?(它是一個事件集合)。創建業務過程,即從頂層規范業務中事務內容的類型及唯一性。因此業務過程是一個不可拆分的行為事件。例如下單、支付、退款都是業務過程。

指標

? ? ? 指標分為原子指標和派生指標。

? ? ? 原子指標:對指標統計口徑(即計算邏輯)、具體算法的一個抽象,是業務定義中不可再拆分的指標,例如支付金額。一般都為數值(統計)。原子指標=業務過程(動作)+度量, 如支付(事件)金額(度量)。

? ? ? 派生指標:業務中常用的統計指標。派生指標=原子指標+業務限定+統計周期+統計粒度。例如,自然周、會員、采用優惠券支付的訂單。

統計粒度

? ? ? 統計的最小顆粒度,數據唯一性的保證,統計分析的對象或視角,定義數據需要匯總的程度,可以理解為聚合運算時的分組條件(類似于SQL中group by的對象)。?粒度是維度的一個組合,指明您的統計范圍?。例如,某個指標是某個賣家在某個省份的成交額,則粒度就是賣家、省份這兩個維度的組合。

? ? ? 這里需要注意粒度與維度的關系,通過一個或多個維度構建粒度。

流程


  • 維度構建 DIM 維度模型。

  • 數據域與項目是相互獨立的不同統計指標,但同屬于同一個業務板塊下面。

  • 以源表和維表構建得到事實明細表。

  • 以原子指標、業務限定、統計周期、統計粒度構建得到派生指標,結合統計粒度構建 DWS 匯總表


示例



© Copyright www.mikifactory.com 遼寧同云科技有限公司 版權所有 遼ICP備19007444號

春色校园激情综合在线
<delect id="bf9zn"><video id="bf9zn"><meter id="bf9zn"></meter></video></delect><dl id="bf9zn"></dl><dl id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></dl><noframes id="bf9zn"><dl id="bf9zn"></dl><dl id="bf9zn"></dl><i id="bf9zn"><i id="bf9zn"><i id="bf9zn"></i></i></i>
<dl id="bf9zn"></dl><dl id="bf9zn"></dl>
<dl id="bf9zn"><i id="bf9zn"></i></dl> <video id="bf9zn"><dl id="bf9zn"></dl></video>
<dl id="bf9zn"><i id="bf9zn"></i></dl><dl id="bf9zn"><delect id="bf9zn"><font id="bf9zn"></font></delect></dl><video id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></video><dl id="bf9zn"><i id="bf9zn"></i></dl>
<dl id="bf9zn"><i id="bf9zn"><meter id="bf9zn"></meter></i></dl><dl id="bf9zn"></dl>
<video id="bf9zn"></video><video id="bf9zn"><delect id="bf9zn"><delect id="bf9zn"></delect></delect></video><dl id="bf9zn"></dl>
<i id="bf9zn"></i><video id="bf9zn"><i id="bf9zn"></i></video>
<video id="bf9zn"><i id="bf9zn"><font id="bf9zn"></font></i></video><dl id="bf9zn"></dl> <dl id="bf9zn"><i id="bf9zn"></i></dl><video id="bf9zn"><i id="bf9zn"></i></video><i id="bf9zn"></i><i id="bf9zn"><delect id="bf9zn"></delect></i><i id="bf9zn"></i><video id="bf9zn"><video id="bf9zn"></video></video>
<i id="bf9zn"></i>
<i id="bf9zn"><dl id="bf9zn"><delect id="bf9zn"></delect></dl></i><video id="bf9zn"><i id="bf9zn"></i></video><video id="bf9zn"><i id="bf9zn"><delect id="bf9zn"></delect></i></video><dl id="bf9zn"></dl><dl id="bf9zn"></dl><noframes id="bf9zn"><dl id="bf9zn"></dl>