導(dǎo)語(yǔ):
隨著越來(lái)越多的企業(yè)認(rèn)識(shí)到數(shù)據(jù)作為生產(chǎn)要素的價(jià)值,加快了企業(yè)數(shù)字化轉(zhuǎn)型,把完善企業(yè)級(jí)的數(shù)據(jù)治理體系作為企業(yè)數(shù)字化轉(zhuǎn)型的一個(gè)目標(biāo)。長(zhǎng)亮科技在大數(shù)據(jù)領(lǐng)域始終保持足夠的技術(shù)敏銳度,并積累了豐富的經(jīng)驗(yàn)與資產(chǎn)。為此,我們組織了一個(gè)系列專(zhuān)文,分期發(fā)表,與您一起探索更適合當(dāng)下行業(yè)發(fā)展的數(shù)據(jù)觀,歡迎大家持續(xù)關(guān)注。
作者|長(zhǎng)亮科技大數(shù)據(jù)研究院
內(nèi)容|本篇共4013字,預(yù)計(jì)閱讀時(shí)間15分鐘
許多企業(yè)積累了海量數(shù)據(jù),在支持日常業(yè)務(wù)運(yùn)營(yíng)與管理中發(fā)揮了作用。但數(shù)據(jù)資產(chǎn)快速膨脹,導(dǎo)致存儲(chǔ)和計(jì)算資源以及維護(hù)成本急劇增加,管理者感受到了壓力,漸漸意識(shí)到數(shù)據(jù)資產(chǎn)的擴(kuò)張是盲目無(wú)序的,認(rèn)識(shí)到消耗了大量資源加工的很多數(shù)據(jù)資產(chǎn)是不可靠的,存在大量冗余與僵尸數(shù)據(jù),沒(méi)有任何使用價(jià)值的資產(chǎn)應(yīng)該被核銷(xiāo)做減值處理。
一些銀行盤(pán)點(diǎn)了數(shù)百套業(yè)務(wù)系統(tǒng),數(shù)百萬(wàn)數(shù)據(jù)項(xiàng),形成了包含數(shù)十萬(wàn)數(shù)據(jù)項(xiàng)的數(shù)據(jù)字典,企業(yè)級(jí)數(shù)據(jù)模型包含了數(shù)萬(wàn)數(shù)據(jù)項(xiàng),作為歷年來(lái)業(yè)務(wù)與數(shù)據(jù)系統(tǒng)建設(shè)的成績(jī)。清醒的專(zhuān)業(yè)人員可能會(huì)認(rèn)識(shí)到如此龐大的數(shù)據(jù)字典不便使用,難以發(fā)揮價(jià)值,正是過(guò)去數(shù)據(jù)管理工作中的問(wèn)題產(chǎn)生了如此龐大的、難以管理的數(shù)據(jù)字典與數(shù)據(jù)資產(chǎn)。
DAMA-DMBOK2.0數(shù)據(jù)管理的定義是:在數(shù)據(jù)和信息資產(chǎn)生命周期內(nèi),對(duì)交付、控制、保護(hù)和提高數(shù)據(jù)和信息資產(chǎn)的價(jià)值的規(guī)劃、政策、項(xiàng)目和實(shí)踐的開(kāi)發(fā)、執(zhí)行和監(jiān)督。DAMA認(rèn)為數(shù)據(jù)管理與信息管理、企業(yè)信息管理、企業(yè)數(shù)據(jù)管理、數(shù)據(jù)資源管理、信息資源管理、信息資產(chǎn)管理是同義詞。傳統(tǒng)數(shù)據(jù)管理以數(shù)據(jù)為中心,專(zhuān)注于技術(shù)數(shù)據(jù)管理,以便數(shù)據(jù)能夠更好地支持業(yè)務(wù),現(xiàn)在環(huán)境下,外延已大大擴(kuò)展。
數(shù)據(jù)問(wèn)題是業(yè)務(wù)問(wèn)題的癥狀表現(xiàn),數(shù)據(jù)資產(chǎn)管理能達(dá)到的目標(biāo)由所處的生態(tài)系統(tǒng)條件決定,數(shù)據(jù)質(zhì)量的狀況往往比大多數(shù)管理者意識(shí)到的要糟糕得多。數(shù)據(jù)資產(chǎn)的特征決定了其管理更復(fù)雜,企業(yè)需要主動(dòng)將數(shù)據(jù)作為資產(chǎn)進(jìn)行專(zhuān)業(yè)化、精細(xì)化、精準(zhǔn)化管理,并持續(xù)監(jiān)控,從中獲得持續(xù)的價(jià)值。
01
與管理其他類(lèi)型資產(chǎn)(如庫(kù)存、信貸資產(chǎn)、現(xiàn)金和設(shè)備等)一樣,需要建立通用的數(shù)據(jù)資產(chǎn)管理原則,以安全、一致和有效的方式管理數(shù)據(jù),確保實(shí)現(xiàn)數(shù)據(jù)管理的目標(biāo),包括:了解并支持企業(yè)及其利益相關(guān)者(包括客戶(hù)、員工和業(yè)務(wù)合作伙伴)的信息需求,獲取、存儲(chǔ)、保護(hù)并確保數(shù)據(jù)資產(chǎn)的完整性,確保數(shù)據(jù)和信息的質(zhì)量。
對(duì)所有數(shù)據(jù)實(shí)行全生命周期管理。不僅要管理既有數(shù)據(jù),還要管理未來(lái)產(chǎn)生的數(shù)據(jù),不能重復(fù)過(guò)去先污染后治理的老路,從數(shù)據(jù)的產(chǎn)生源頭開(kāi)始管理,在數(shù)據(jù)的需求與設(shè)計(jì)階段盡早介入,及時(shí)發(fā)現(xiàn)問(wèn)題,把問(wèn)題消滅在萌芽狀態(tài),避免問(wèn)題的產(chǎn)生與發(fā)散,降低風(fēng)險(xiǎn),減少未來(lái)的預(yù)期糾錯(cuò)費(fèi)用。通過(guò)治理優(yōu)化,降低數(shù)據(jù)資產(chǎn)管理運(yùn)營(yíng)的短期成本,同時(shí)著眼于長(zhǎng)期投資回報(bào)。
管理數(shù)據(jù)資產(chǎn)的內(nèi)在質(zhì)量屬性。信貸資產(chǎn)等傳統(tǒng)資產(chǎn)的質(zhì)量管理有成熟通行的標(biāo)準(zhǔn)(如風(fēng)險(xiǎn)等級(jí))、方法與管理考核制度,數(shù)據(jù)資產(chǎn)的質(zhì)量?jī)?nèi)涵要復(fù)雜得多,雖有成熟的評(píng)價(jià)與管理方法、流程,但沒(méi)有得到系統(tǒng)的執(zhí)行與監(jiān)控,沒(méi)有形成解決根本原因的閉環(huán)。應(yīng)集成與整合散落的各種數(shù)據(jù),提升數(shù)據(jù)內(nèi)在固有價(jià)值,確保為用戶(hù)提供可靠、準(zhǔn)確和最新的高質(zhì)量數(shù)據(jù)資產(chǎn),同時(shí)要防止錯(cuò)誤數(shù)據(jù)整合與加工產(chǎn)生不良資產(chǎn),減少可能造成的影響。
管理數(shù)據(jù)資產(chǎn)相關(guān)的風(fēng)險(xiǎn)。銀行風(fēng)險(xiǎn)部門(mén)管理財(cái)務(wù)資產(chǎn)的質(zhì)量,數(shù)據(jù)資產(chǎn)的質(zhì)量與風(fēng)險(xiǎn)是兩個(gè)維度。低質(zhì)量數(shù)據(jù)代表風(fēng)險(xiǎn),數(shù)據(jù)風(fēng)險(xiǎn)還包括數(shù)據(jù)丟失、被盜、誤解、誤用、濫用等。企業(yè)應(yīng)識(shí)別和分類(lèi)敏感數(shù)據(jù)資產(chǎn),定位敏感數(shù)據(jù),評(píng)估外部威脅和內(nèi)部風(fēng)險(xiǎn),采取主動(dòng)風(fēng)險(xiǎn)預(yù)防與緩解措施,防止未經(jīng)授權(quán)或不當(dāng)訪問(wèn)、操縱或使用數(shù)據(jù)資產(chǎn),避免監(jiān)管合規(guī)的風(fēng)險(xiǎn)和處罰,防止因資產(chǎn)市場(chǎng)化變現(xiàn)可能產(chǎn)生的風(fēng)險(xiǎn)。
數(shù)據(jù)只有被使用才會(huì)發(fā)揮價(jià)值。在財(cái)務(wù)方面衡量資金使用效率的主要指標(biāo)是周轉(zhuǎn)率,有形資產(chǎn)的價(jià)值通常會(huì)隨著使用的增加而下降或貶值折舊。數(shù)據(jù)的價(jià)值隨著使用的增加而遞增,應(yīng)挖掘數(shù)據(jù)資產(chǎn)的用途,使其價(jià)值最大化。數(shù)據(jù)如果沒(méi)有被使用,預(yù)期的費(fèi)用持續(xù)存在(管理維護(hù)需要投入),沉沒(méi)成本在增加。
數(shù)據(jù)資產(chǎn)管理需要跨職能專(zhuān)業(yè)知識(shí)與技能。數(shù)據(jù)資產(chǎn)管理是專(zhuān)業(yè)人力資源密集型工作,數(shù)據(jù)在企業(yè)內(nèi)甚至企業(yè)間流動(dòng),數(shù)據(jù)的創(chuàng)建和使用方式以及數(shù)據(jù)使用者都在發(fā)展與變化中,有效管理數(shù)據(jù)資產(chǎn)涉及一系列復(fù)雜的過(guò)程,需要跨部門(mén)(業(yè)務(wù)部門(mén)、科技部門(mén)、數(shù)據(jù)部門(mén)等)、跨企業(yè)協(xié)作,需要廣泛的跨崗位職能的一系列專(zhuān)業(yè)知識(shí)和技能。數(shù)據(jù)密集型企業(yè),應(yīng)該全員參與數(shù)據(jù)資產(chǎn)管理,除了承擔(dān)領(lǐng)導(dǎo)責(zé)任的管理人員應(yīng)具備基本的數(shù)據(jù)素養(yǎng)外,每個(gè)數(shù)據(jù)管理干系人應(yīng)具備必要的專(zhuān)業(yè)技能,從企業(yè)全局多視角出發(fā),實(shí)現(xiàn)對(duì)企業(yè)數(shù)據(jù)資產(chǎn)管理的承諾。
02
歷史上各種遺留系統(tǒng)的技術(shù)復(fù)雜性和管理不善造成了混亂,數(shù)據(jù)量太大以及數(shù)據(jù)復(fù)雜性,迫使管理者必須首先關(guān)注最重要的問(wèn)題。不同數(shù)據(jù)資產(chǎn)并不同等重要,存在不同用途、質(zhì)量與價(jià)值差異,管理要求不一樣,價(jià)值提升方法也不一樣。管理數(shù)據(jù)資產(chǎn)首先從對(duì)所管理的對(duì)象進(jìn)行分類(lèi)開(kāi)始,精細(xì)化管理數(shù)據(jù)資產(chǎn),許多數(shù)據(jù)管理工具大都集中在分類(lèi)和控制方面。
從邏輯上把數(shù)據(jù)分為主數(shù)據(jù)、參考數(shù)據(jù)、交易數(shù)據(jù)以及衍生匯總數(shù)據(jù)。主數(shù)據(jù)與參考數(shù)據(jù)通常是構(gòu)成業(yè)務(wù)數(shù)據(jù)的基礎(chǔ),主數(shù)據(jù)包括跨業(yè)務(wù)領(lǐng)域、流程和系統(tǒng)穿透企業(yè)各類(lèi)數(shù)據(jù)的公共主數(shù)據(jù)以及業(yè)務(wù)領(lǐng)域主數(shù)據(jù),要確保主數(shù)據(jù)每個(gè)實(shí)例只有唯一的識(shí)別編號(hào)。不良的架構(gòu)以及業(yè)務(wù)系統(tǒng)設(shè)計(jì)常常埋下許多陷阱,導(dǎo)致系統(tǒng)之間的數(shù)據(jù)結(jié)構(gòu)和數(shù)據(jù)值不一致,他們甚至可能為現(xiàn)實(shí)中的實(shí)體制造不同的概念,給識(shí)別主數(shù)據(jù)及其之間關(guān)系帶來(lái)困難,許多企業(yè)維護(hù)了多套客戶(hù)、機(jī)構(gòu)、員工、產(chǎn)品主數(shù)據(jù),增加了成本和風(fēng)險(xiǎn)。
數(shù)據(jù)還分為結(jié)構(gòu)化數(shù)據(jù)與非結(jié)構(gòu)化數(shù)據(jù),一般來(lái)說(shuō),傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)的價(jià)值密度遠(yuǎn)比非結(jié)構(gòu)化數(shù)據(jù)高,沒(méi)有上下文背景的日志類(lèi)數(shù)據(jù)以及非結(jié)構(gòu)化數(shù)據(jù)的價(jià)值來(lái)源于能否與企業(yè)現(xiàn)有的主數(shù)據(jù)建立關(guān)系,許多企業(yè)尚沒(méi)有對(duì)結(jié)構(gòu)化數(shù)據(jù)進(jìn)行有效管理,如果追求熱點(diǎn)投入大量資源于非結(jié)構(gòu)化數(shù)據(jù),試圖從中挖掘出價(jià)值,往往得不償失。
客戶(hù)數(shù)據(jù)是核心戰(zhàn)略資產(chǎn)。客戶(hù)數(shù)據(jù)是企業(yè)敏感數(shù)據(jù)資產(chǎn),在確保客戶(hù)數(shù)據(jù)的隱私性和機(jī)密性前提下,可以用于直接(被法律允許的交易或收購(gòu)兼并)或間接(對(duì)客戶(hù)屬性數(shù)據(jù)與行為數(shù)據(jù)加工,結(jié)合其他公開(kāi)的或?qū)S械臄?shù)據(jù),創(chuàng)建新的數(shù)據(jù)產(chǎn)品或服務(wù)以銷(xiāo)售)產(chǎn)生貨幣價(jià)值。低質(zhì)量的客戶(hù)信息影響業(yè)務(wù)運(yùn)營(yíng),增加了數(shù)據(jù)使用的成本與風(fēng)險(xiǎn)。企業(yè)應(yīng)建立客戶(hù)統(tǒng)一視圖,向客戶(hù)提供個(gè)性化的產(chǎn)品或服務(wù)來(lái)提升戰(zhàn)略資產(chǎn)價(jià)值。
企業(yè)不同業(yè)務(wù)系統(tǒng)的重要性以及質(zhì)量差異懸殊。銀行信貸系統(tǒng)、核心系統(tǒng)、信用卡系統(tǒng)、ECIF系統(tǒng)中都有客戶(hù)信息,信貸系統(tǒng)中的客戶(hù)數(shù)據(jù)比核心系統(tǒng)在某些屬性值方面更完整、更新鮮。信貸系統(tǒng)貸款借據(jù)的質(zhì)量遠(yuǎn)比核心貸款賬戶(hù)差,如果業(yè)務(wù)需求基于信貸借據(jù)統(tǒng)計(jì)分析余額、利息、費(fèi)用,顯然是選擇了錯(cuò)誤的數(shù)據(jù)源。一般來(lái)說(shuō)關(guān)鍵的應(yīng)用系統(tǒng),數(shù)據(jù)質(zhì)量相對(duì)更高。應(yīng)及早識(shí)別關(guān)鍵應(yīng)用、關(guān)鍵數(shù)據(jù),梳理出權(quán)威數(shù)據(jù)的分布,推動(dòng)使用權(quán)威數(shù)據(jù)資產(chǎn),阻止不良數(shù)據(jù)資產(chǎn)的使用以及影響的蔓延。
企業(yè)不應(yīng)該投入均等的資源于不同的數(shù)據(jù)資產(chǎn)上,需要對(duì)企業(yè)數(shù)據(jù)進(jìn)行價(jià)值分類(lèi),分配估值,關(guān)注重要數(shù)據(jù),提升產(chǎn)出投入比,精細(xì)化管理。
03
數(shù)據(jù)資產(chǎn)管理強(qiáng)調(diào)把數(shù)據(jù)當(dāng)作資產(chǎn)來(lái)管理,使企業(yè)能夠從數(shù)據(jù)資產(chǎn)中獲取價(jià)值,就像對(duì)財(cái)務(wù)和實(shí)物資產(chǎn)的有效管理使企業(yè)能夠從這些資產(chǎn)中獲取價(jià)值一樣。數(shù)據(jù)資產(chǎn)是有助于生產(chǎn)未來(lái)現(xiàn)金流入或減少未來(lái)現(xiàn)金流出的經(jīng)濟(jì)資源,增加收益的方法,除了開(kāi)源外,還有節(jié)流,精準(zhǔn)的數(shù)據(jù)資產(chǎn)管理活動(dòng)可以減少未來(lái)大量預(yù)期費(fèi)用支出。數(shù)據(jù)相關(guān)的成本與具體企業(yè)相關(guān),每個(gè)企業(yè)的數(shù)據(jù)都是其自身唯一的,不同企業(yè)的人力資源成本、設(shè)備成本、軟件成本等,沒(méi)有一個(gè)統(tǒng)一的衡量標(biāo)準(zhǔn),可以根據(jù)企業(yè)自身的歷史數(shù)據(jù)與現(xiàn)狀做客觀的粗略評(píng)估,對(duì)數(shù)據(jù)管理活動(dòng)的評(píng)估從建立企業(yè)內(nèi)部一致的常規(guī)成本和收益類(lèi)別開(kāi)始。
數(shù)據(jù)生命周期相關(guān)的成本包括:
l 數(shù)據(jù)從方案規(guī)劃、需求分析、設(shè)計(jì)開(kāi)發(fā)、創(chuàng)建、采集、存儲(chǔ)、處理、使用、維護(hù)、歸檔等全生命周期成本;
l 數(shù)據(jù)質(zhì)量問(wèn)題造成的不良影響及修正、改進(jìn)成本,失去的業(yè)務(wù)機(jī)會(huì)等;
l 風(fēng)險(xiǎn)防范的成本包括丟失數(shù)據(jù)時(shí)替換或重建數(shù)據(jù)的成本,敏感數(shù)據(jù)泄密等對(duì)企業(yè)的影響(包括商譽(yù)、社會(huì)影響等),提升系統(tǒng)可靠性,加強(qiáng)信息安全與隱私防范的成本等。
與之相對(duì)應(yīng),對(duì)數(shù)據(jù)與數(shù)據(jù)活動(dòng)進(jìn)行有效管理,得到的收益包括:
l 因數(shù)據(jù)架構(gòu)、應(yīng)用架構(gòu)和技術(shù)架構(gòu)等優(yōu)化帶來(lái)的準(zhǔn)確性、一致性、時(shí)效性等提升的收益,滿足更多的需求、支持?jǐn)?shù)據(jù)創(chuàng)新使用的預(yù)期價(jià)值,以及系統(tǒng)、設(shè)備、人員、管理等投入成本的減少;
l 高數(shù)據(jù)質(zhì)量帶來(lái)的收益,不但更可靠、更廣泛的支持業(yè)務(wù)應(yīng)用,提升了數(shù)據(jù)內(nèi)在價(jià)值,使數(shù)據(jù)資產(chǎn)出售有了可能,而且減少了垃圾數(shù)據(jù)的存儲(chǔ)與管理等成本;
l 因監(jiān)管合規(guī)等風(fēng)險(xiǎn)降低帶來(lái)的收益,如減少了監(jiān)管部門(mén)的罰款,增加了社會(huì)信任等。
因管理與優(yōu)化帶來(lái)的成本減少可以與優(yōu)化之前的成本比較,雖然因優(yōu)化工作會(huì)階段性增加成本,但是減少未來(lái)投入而獲得的收益是長(zhǎng)期的。
04
數(shù)據(jù)資產(chǎn)管理是將數(shù)據(jù)作為有價(jià)值的業(yè)務(wù)資產(chǎn)進(jìn)行管理、組織和優(yōu)化的過(guò)程,數(shù)據(jù)管理專(zhuān)業(yè)人員應(yīng)了解自己工作的財(cái)務(wù)含義,衡量數(shù)據(jù)和數(shù)據(jù)管理活動(dòng)的貨幣化價(jià)值,并一致地嵌入應(yīng)用到日常數(shù)據(jù)管理中。雖然數(shù)據(jù)設(shè)計(jì)、生產(chǎn)人員沒(méi)有生產(chǎn)垃圾數(shù)據(jù)的主觀意圖,但他們應(yīng)該認(rèn)識(shí)到數(shù)據(jù)管理生命周期中的每一步工作都涉及成本,或多或少影響資產(chǎn)負(fù)債表,可能因?yàn)樽约旱募寄苋毕莼虼中漠a(chǎn)生的數(shù)據(jù)質(zhì)量差,不能滿足業(yè)務(wù)需求,沒(méi)有相應(yīng)的價(jià)值產(chǎn)出,不能轉(zhuǎn)換為數(shù)據(jù)產(chǎn)品的資產(chǎn)價(jià)值,需要繼續(xù)更多的投入來(lái)糾錯(cuò),這些投入都被轉(zhuǎn)換為沉沒(méi)成本。如,我們常見(jiàn)到某些業(yè)務(wù)系統(tǒng)設(shè)計(jì)缺乏對(duì)業(yè)務(wù)主鍵的管理,設(shè)計(jì)師甚至沒(méi)有業(yè)務(wù)主鍵概念,也就是說(shuō)沒(méi)有業(yè)務(wù)邏輯設(shè)計(jì),產(chǎn)生了大量數(shù)據(jù)質(zhì)量問(wèn)題,導(dǎo)致下游加工、維護(hù)成本指數(shù)級(jí)增長(zhǎng),解決問(wèn)題的時(shí)間越晚,沉沒(méi)成本越高。
熱力學(xué)第二定律告訴我們,不可能把熱量從低溫物體傳遞到高溫物體而不產(chǎn)生其他影響,所有封閉系統(tǒng)從一定的價(jià)值與結(jié)構(gòu)開(kāi)始,最終都不可挽回趨向混亂度最大的狀態(tài),除非外部注入能量。數(shù)據(jù)管理也是如此,如果置之不理,它會(huì)不斷惡化到無(wú)序狀態(tài),直到推倒重建。數(shù)據(jù)資產(chǎn)管理是一項(xiàng)沒(méi)有終點(diǎn)的工作,企業(yè)應(yīng)該以最具成本效益的方式(包括所有成本、風(fēng)險(xiǎn)和性能屬性)開(kāi)發(fā)、運(yùn)營(yíng)、維護(hù)、升級(jí)和處置資產(chǎn),需要持續(xù)注入能量,持久化管理數(shù)據(jù)資產(chǎn),持續(xù)監(jiān)控執(zhí)行情況,帶來(lái)整體資產(chǎn)價(jià)值的長(zhǎng)期提升。