數(shù)據(jù)中臺概述
SOA團隊 2020-03-16
數(shù)據(jù)中臺是一套可持續(xù)的讓企業(yè)的數(shù)據(jù)用起來的機制，是一種戰(zhàn)略選擇和組織形式，是依據(jù)企業(yè)特有的業(yè)務模式和組織架構，通過有形的產品和實施方法論支撐，構建的一套持續(xù)不斷的把數(shù)據(jù)變成資產并服務于業(yè)務的機制。數(shù)據(jù)來源于業(yè)務并反哺業(yè)務，不斷的迭代循環(huán)，實現(xiàn)數(shù)據(jù)可見，可用和可運營。
這里面最核心的就是將數(shù)據(jù)變化為資產并服務于業(yè)務的機制，數(shù)據(jù)來源于業(yè)務并反哺業(yè)務。我們基于這個核心內容可以進一步抽象下數(shù)據(jù)中臺對核心的定義，我個人理解和定義如下：
數(shù)據(jù)中臺本質是一個能夠實現(xiàn)跨域數(shù)據(jù)融合，并在數(shù)據(jù)融合后對數(shù)據(jù)進行整合加工和分析，提供增值的數(shù)據(jù)服務能力給業(yè)務使用的一個平臺。在我這個概念里面多強調了兩點，一個是實現(xiàn)跨域數(shù)據(jù)融合，一個是提供增值的數(shù)據(jù)API服務能力給業(yè)務使用。
書籍里面提到了書籍中臺四個方面的關鍵能力：
書籍中臺需要具備數(shù)據(jù)匯聚整合，數(shù)據(jù)加工提純，數(shù)據(jù)服務可視化，數(shù)據(jù)價值變現(xiàn)4個核心能力，讓企業(yè)員工，客戶，伙伴能夠方便的應用數(shù)據(jù)。而這個里面的數(shù)據(jù)提純加工對應的是數(shù)據(jù)資產管理的核心內容，即數(shù)據(jù)中臺必須通過連通全域數(shù)據(jù)，通過統(tǒng)一的數(shù)據(jù)標準和質量體系，建設提純加工后的標準數(shù)據(jù)資產體系，以滿足企業(yè)業(yè)務對數(shù)據(jù)的需求。
對于數(shù)據(jù)中臺必須要理清楚的一些關鍵概念差異
數(shù)據(jù)中臺和業(yè)務中臺的關系
我們先看下書里面的一些解釋，即業(yè)務中臺更加偏向于業(yè)務流程管控，將業(yè)務流程中的共性服務能力抽象出來，形成通用服務能力。而數(shù)據(jù)中臺則是抽象數(shù)據(jù)能力的共性，形成統(tǒng)一的數(shù)據(jù)服務能力。
對于上面這個解釋不足夠準確，為什么呢？因為業(yè)務中臺本書也回抽象數(shù)據(jù)共性提供數(shù)據(jù)服務能力，類似業(yè)務中臺的供應商中心，客戶中心本身也提供數(shù)據(jù)服務能力。那么時間最大的差異點在哪里呢？
即我們前面提到的，數(shù)據(jù)中臺是實現(xiàn)業(yè)務中臺核心共享數(shù)據(jù)的跨域整合，再通過加工后提供整合后的數(shù)據(jù)服務能力。這里面有兩個重點，即第一數(shù)據(jù)要跨域整合，第二數(shù)據(jù)要加工處理后再提供增值服務能力，這個加工可能簡單的匯總表，也可能是復制的底層數(shù)據(jù)模型和智能分析算法。
業(yè)務中臺重點是業(yè)務數(shù)據(jù)化，而數(shù)據(jù)中臺重點是數(shù)據(jù)業(yè)務化，數(shù)據(jù)來源于業(yè)務又反哺業(yè)務。就建設和支撐層面來說我原來也總結過，即業(yè)務中臺是基礎業(yè)務能力支撐，必須要有，數(shù)據(jù)中臺是增值能力支撐，剛開始沒有也不會影響到業(yè)務本身的運作。
再簡單來說，以電商平臺來舉例，業(yè)務中臺關鍵功能缺失導致的是業(yè)務流程走不下去，在業(yè)務協(xié)同上出現(xiàn)問題。而數(shù)據(jù)中臺能力缺失導致的是沒能夠為用戶提供增值服務，讓用戶順帶多買點東西。
兩者的聯(lián)系，書里面有一句總結還是比較準確，即數(shù)據(jù)中臺和業(yè)務中臺本身是相輔相成的，業(yè)務中臺中沉淀的業(yè)務數(shù)據(jù)進入到數(shù)據(jù)中臺進行體系化加工，再以服務化的方式支撐業(yè)務中臺上的應用，而這些應用產生的新數(shù)據(jù)又流轉到數(shù)據(jù)中臺，形成循環(huán)不息的數(shù)據(jù)閉環(huán)。
數(shù)據(jù)中臺和數(shù)據(jù)倉庫和大數(shù)據(jù)平臺
對于數(shù)據(jù)中臺和數(shù)據(jù)倉庫的區(qū)別，書里面的總結比較到位。即數(shù)據(jù)倉庫的主要場景是支持管理決策和業(yè)務分析，而數(shù)據(jù)中臺則是將數(shù)據(jù)服務化之后提供給業(yè)務系統(tǒng)，目標是數(shù)據(jù)能力滲透到各個業(yè)務環(huán)節(jié)，不限于決策分析類應用場景。數(shù)據(jù)中臺持續(xù)不斷的將數(shù)據(jù)進行資產化，價值化并應用到業(yè)務，而且關注數(shù)據(jù)價值的運營。
這里面的關鍵區(qū)別就在于數(shù)據(jù)中臺能力要服務于業(yè)務系統(tǒng)準實時協(xié)同需要。
為了準實時，一方面你會看到數(shù)據(jù)中臺架構上實際上是包括了大數(shù)據(jù)平臺的核心架構和分布式存儲內容，同時還包括了大數(shù)據(jù)平臺中的實時計算和流處理能力。其次，為了將能力提供給業(yè)務系統(tǒng)，往往數(shù)據(jù)中臺整體架構上一定會體現(xiàn)一個統(tǒng)一的數(shù)據(jù)服務能力開放層，這個在傳統(tǒng)的數(shù)據(jù)倉庫或大數(shù)據(jù)平臺上是沒有的。
數(shù)據(jù)中臺和BI數(shù)據(jù)倉庫有重合，也有交集。相同的就是整個數(shù)據(jù)采集集成，數(shù)據(jù)存儲，數(shù)據(jù)模型構建，數(shù)據(jù)開發(fā)和分析，這些都需要。差異點在于數(shù)據(jù)中臺需要有統(tǒng)一的數(shù)據(jù)服務能力開放層，提供給業(yè)務使用，而弱化了傳統(tǒng)BI里面的數(shù)據(jù)分析和報表展現(xiàn)層。
所以我們首先搞清楚數(shù)據(jù)中臺是為增值業(yè)務需求服務，BI平臺為管理經營決策服務。這使得兩者在數(shù)據(jù)模型構建，數(shù)據(jù)開放和提供策略上有差異，但是核心的技術平臺能力則是相同的。即你可以基于Hadoop整個技術框架體系來構建數(shù)據(jù)中臺，也可以用來構建BI數(shù)據(jù)倉庫。
數(shù)據(jù)中臺的業(yè)務賦能
簡單總結就是：業(yè)務數(shù)據(jù)化，數(shù)據(jù)資產化，資產服務化，服務業(yè)務化，業(yè)務智能化持續(xù)賦能業(yè)務閉環(huán)。
數(shù)據(jù)中臺作為整個企業(yè)各個業(yè)務所需數(shù)據(jù)服務的提供方，通過自身的平臺能力和業(yè)務對數(shù)據(jù)的不斷滋養(yǎng)（業(yè)務數(shù)據(jù)化），會形成一套高效可靠的數(shù)據(jù)資產體系和數(shù)據(jù)服務能力（數(shù)據(jù)資產化和資產服務化）。這樣當面對市場變化，需要構建新的前臺應用的時候，數(shù)據(jù)中臺能夠迅速的提供數(shù)據(jù)服務能力。
數(shù)據(jù)中臺要求整個企業(yè)共用一個數(shù)據(jù)技術平臺，共建數(shù)據(jù)體系，共享數(shù)據(jù)服務能力。數(shù)據(jù)中臺的目標是實現(xiàn)企業(yè)經營的數(shù)據(jù)化，精細化，智能化，本質是建立一套可持續(xù)讓企業(yè)數(shù)據(jù)用起來的機制。
數(shù)據(jù)中臺的建設
對于數(shù)據(jù)中臺的建設，實際上我們要看到兩個方面的內容，第一就是單純的數(shù)據(jù)技術平臺的建設，第二就是數(shù)據(jù)內容的建設。我剛才說了單純的數(shù)據(jù)技術平臺還可以用于BI分析，技術平臺能力本身就是相通的。對于技術平臺我們要考慮就是數(shù)據(jù)采集集成，數(shù)據(jù)存儲，數(shù)據(jù)處理加工和計算，數(shù)據(jù)分析各個層面的技術工具和組件。
對于數(shù)據(jù)內容的建設，實際上包括了四個方面的內容，書里面總結如下：
1. 技術體系（包括大數(shù)據(jù)存儲計算技術和數(shù)據(jù)中臺工具技術組件）
2. 數(shù)據(jù)體系（圍繞數(shù)據(jù)模型為核心，并圍繞數(shù)據(jù)資產全生命周期展開）
3. 服務體系（通過數(shù)據(jù)中臺的服務組件能力，將數(shù)據(jù)變?yōu)榉眨?/p>
4. 運營體系（將數(shù)據(jù)服務做為可運營的商品一樣，來構建一套運營服務和管理體系）
數(shù)據(jù)中臺的架構
對于數(shù)據(jù)中臺架構后面還要單獨寫文章詳細描述，從書里面給出的架構圖我們可以看到基本模式都是一樣的，即最底層事數(shù)據(jù)基礎設施和數(shù)據(jù)技術平臺。再往上分別是數(shù)據(jù)匯集，數(shù)據(jù)開發(fā)，數(shù)據(jù)體系，數(shù)據(jù)資產管理，數(shù)據(jù)服務幾個大模塊的內容。
所以我們先看下整個數(shù)據(jù)中臺架構里面大模塊分法上的一些思路。
數(shù)據(jù)匯聚和數(shù)據(jù)開發(fā)
這個分開為兩個大模塊是合理的，即數(shù)據(jù)匯聚僅僅只復制數(shù)據(jù)集成的事情，比如我們常說的數(shù)據(jù)采集，ETL方面的事情。而數(shù)據(jù)開發(fā)即是數(shù)據(jù)采集過來后還需要對數(shù)據(jù)進行加工處理，比如形成寬表或匯總表，基于數(shù)據(jù)分析算法進行數(shù)據(jù)匯聚計算形成新的數(shù)據(jù)結果等。
數(shù)據(jù)資產管理和數(shù)據(jù)體系
首先我們可以看到數(shù)據(jù)資產管理即我們常說的數(shù)據(jù)全生命周期管理，類似我們原來談MDM主數(shù)據(jù)管理經常談到的元數(shù)據(jù)管理，數(shù)據(jù)標準，數(shù)據(jù)質量管理，數(shù)據(jù)安全，數(shù)據(jù)創(chuàng)建變更全生命周期流程管理等都在該模塊能夠看到。
對于數(shù)據(jù)體系是否理解為不同的數(shù)據(jù)應用域，書里面提到的數(shù)據(jù)體系包括了貼源數(shù)據(jù)，統(tǒng)一數(shù)倉，標簽數(shù)據(jù)和應用數(shù)據(jù)?？梢钥吹綌?shù)據(jù)本身分層，數(shù)據(jù)也可以分數(shù)據(jù)域。
從全生命周期如何看數(shù)據(jù)？
如果從數(shù)據(jù)全生命周期來看，實際上我們可以看到可以分為數(shù)據(jù)的入庫過程，數(shù)據(jù)的存儲和模型構建，數(shù)據(jù)的對外能力提供過程。對于數(shù)據(jù)的入庫包括了數(shù)據(jù)匯聚，數(shù)據(jù)開發(fā)；對于數(shù)據(jù)的存儲包括了數(shù)據(jù)模型和數(shù)據(jù)體系，對于數(shù)據(jù)對外能力提供包括了數(shù)據(jù)服務層構建。
而實際的數(shù)據(jù)全生命周期管理剛好應該是貫通前面幾個階段的一個完整管理和管控流程。
遠行科技
遠行云商
