引言
在數(shù)智化浪潮席卷各行各業(yè)的當下,數(shù)據(jù)已成為企業(yè)的核心生產(chǎn)要素,如何挖掘、釋放企業(yè)數(shù)據(jù)價值,讓企業(yè)數(shù)據(jù)從 “沉睡的資源” 真正成為 “增長的動力”。 「洞見數(shù)據(jù)」專題將持續(xù)聚焦企業(yè)的數(shù)據(jù)需求,為您介紹數(shù)據(jù)價值釋放的技術(shù)、能力、場景、價值等。
用友BIP企業(yè)級數(shù)據(jù)開發(fā)與應用全場景方案,聚焦企業(yè)的數(shù)據(jù)能力和需求,提供了不同形式的數(shù)據(jù)服務方案,幫助企業(yè)連接、處理數(shù)據(jù),最終以看板和報表的方式實現(xiàn)豐富多樣的數(shù)據(jù)可視化效果,或者以DataAgent(數(shù)據(jù)智能體)的自然語言交互方式進行智能問數(shù)。
方案1:基于業(yè)務數(shù)據(jù),開發(fā)看板和報表
方案2:基于數(shù)倉的關(guān)系建模方式進行自助分析
方案3:基于數(shù)倉的維度建模方式進行商業(yè)分析
本文我們聚焦第二種方案——基于數(shù)倉的關(guān)系建模方式進行自助分析。針對數(shù)據(jù)量不大的情況,企業(yè)可通過“關(guān)系建模+自助ETL+智能分析”的組合能力,解決數(shù)據(jù)采集、建模、加工整理,以及分析展示的需求。
1
企業(yè)需求:基于數(shù)倉的批量化
數(shù)據(jù)處理、自助分析
快速發(fā)展、成長的中大型企業(yè),對數(shù)據(jù)價值挖掘的需求已不僅僅是建立從業(yè)務系統(tǒng)到數(shù)據(jù)看板的簡單銜接,面對日益增長的業(yè)務數(shù)據(jù)量,需要基于數(shù)倉進行批量化、規(guī)范化的數(shù)據(jù)采集、開發(fā)、建模,在數(shù)據(jù)標準化的基礎(chǔ)上實現(xiàn)多樣化的數(shù)據(jù)分析、展現(xiàn)。
在數(shù)據(jù)處理層面,面對多來源數(shù)據(jù),需要打通連接豐富的數(shù)據(jù)源,將分散在各系統(tǒng)的數(shù)據(jù)高效、準確地匯聚至數(shù)倉,基于數(shù)據(jù)倉庫技術(shù)進行數(shù)據(jù)整理和標準化;由于數(shù)據(jù)量不大,建議數(shù)據(jù)倉庫后,可通過自助式ETL進行數(shù)據(jù)的建模與加工處理,支撐后續(xù)的數(shù)據(jù)分析、決策與業(yè)務應用。
在數(shù)據(jù)展現(xiàn)層面,經(jīng)過數(shù)據(jù)建模、加工后,企業(yè)需要基于BI工具進行數(shù)據(jù)分析展現(xiàn),形成各類豐富形式的分析圖表、大屏展現(xiàn)。面對多樣化的數(shù)據(jù)分析需求,往往需要將報表、BI工具產(chǎn)品實現(xiàn)平民化、自助化,能夠支持業(yè)務人員可以進行自助的數(shù)據(jù)分析、數(shù)據(jù)探索,形成簡單高效的人人看板場景能力。
2
產(chǎn)品匹配:
數(shù)據(jù)開發(fā)平臺+智能分析
針對大中型企業(yè)的這一需求,用友BIP提供了“基于數(shù)倉的關(guān)系建模方式進行自助分析”這一解決方案,其核心產(chǎn)品組合是依靠數(shù)據(jù)開發(fā)平臺的數(shù)據(jù)采集、關(guān)系建模、自助ETL,以及智能分析平臺的數(shù)據(jù)分析產(chǎn)品。
用友BIP開發(fā)平臺為企業(yè)提供了全鏈路數(shù)據(jù)開發(fā)服務,包括:多源異構(gòu)數(shù)據(jù)采集(如數(shù)據(jù)庫、日志、API等)、數(shù)據(jù)倉庫分層規(guī)范化建模方式,可視化ETL流程配置實現(xiàn)數(shù)據(jù)清洗、轉(zhuǎn)換與加載,同時提供SQL/Python雙模式開發(fā)環(huán)境。通過標準化數(shù)據(jù)管道降低開發(fā)復雜度,提升數(shù)據(jù)交付效率,降低維護成本。
數(shù)據(jù)開發(fā)平臺首先通過數(shù)據(jù)數(shù)據(jù)同步,建立 “業(yè)務數(shù)據(jù)源” 與 “數(shù)倉分析層” 的連接紐帶,進而通過創(chuàng)建關(guān)系模型,實現(xiàn)數(shù)據(jù)開發(fā)的基礎(chǔ)模型設計和物化;自助ETL則為企業(yè)提供畫布式開發(fā)界面,可拖拽的方式,可視化地實現(xiàn)數(shù)據(jù)清洗、加工和轉(zhuǎn)換,更加高效便捷。
經(jīng)過采集、清洗和加工后的數(shù)據(jù)流轉(zhuǎn)到智能分析平臺。智能分析是基于全新微服務架構(gòu)的新一代分析平臺,它基于數(shù)據(jù)湖技術(shù),為企業(yè)提供了數(shù)據(jù)分析和展現(xiàn)能力,同時能夠便捷的被業(yè)務應用集成,實現(xiàn)數(shù)據(jù)驅(qū)動的業(yè)務改進,實現(xiàn)場景化、嵌入式、沉浸式的全新體驗。
3
五個步驟,建立從數(shù)據(jù)采集、
開發(fā)到分析的完整能力
借助數(shù)據(jù)開發(fā)和智能分析平臺,企業(yè)通過以下五個步驟建立從數(shù)據(jù)采集、開發(fā)到分析展現(xiàn)的完整能力。
步驟1:數(shù)據(jù)采集——實現(xiàn)數(shù)據(jù)從源頭到目標數(shù)據(jù)庫的同步
數(shù)據(jù)采集主要實現(xiàn)數(shù)據(jù)從源頭到目標數(shù)據(jù)庫的同步,包含同步任務、錯誤中心、數(shù)據(jù)對比三個關(guān)鍵能力。
? 海量數(shù)據(jù)批量同步:數(shù)據(jù)移動提供高并發(fā)、高吞吐量的數(shù)據(jù)同步能力,讓企業(yè)輕松處理海量數(shù)據(jù),加速企業(yè)各類業(yè)務的數(shù)據(jù)流轉(zhuǎn);
? 數(shù)據(jù)庫類型多:支持20余種結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)庫的異構(gòu)同步,覆蓋國產(chǎn)類數(shù)據(jù)庫,如達夢等,從而打破數(shù)據(jù)孤島,盤活企業(yè)數(shù)據(jù)資源;
? 業(yè)務數(shù)據(jù)實時同步:支持實時讀取、清洗轉(zhuǎn)換和寫入的全量、增量數(shù)據(jù)處理能力,提高數(shù)據(jù)時效性,滿足企業(yè)快速決策。
步驟2:關(guān)系建?!獙崿F(xiàn)數(shù)據(jù)開發(fā)的基礎(chǔ)模型設計和物化
關(guān)系模型可實現(xiàn)邏輯模型的管理、邏輯模型的物化,并支持引用標準創(chuàng)建模型,使模型更加規(guī)范,是數(shù)據(jù)治理、數(shù)據(jù)標準建設的重要應用場景之一,為后續(xù)建設跨物理引擎、標準化的數(shù)據(jù)模型,打破數(shù)據(jù)交換瓶頸,提高數(shù)據(jù)開發(fā)效率提供基礎(chǔ)保障。
? 貫通業(yè)務與治理:支持多種字段來源方式,包括業(yè)務對象、定版數(shù)據(jù)標準、表字段元數(shù)據(jù)、關(guān)系模型;
? 支持維度建模:支持將關(guān)系模型進行數(shù)據(jù)預處理并注冊為維度表或事實表,充當維度又充當事實表進行統(tǒng)計,有效減少數(shù)據(jù)量;
? 支持物理模型管理:可增刪改物理表,支持配置索引,提升查詢效率;
? 模型即任務:支持取數(shù)規(guī)則和刪除規(guī)則,可進行多表連接后并行寫入目標表,支持主子表物理刪除,可按生成規(guī)則定義的或自定義的自助ETL任務。
步驟3:自助ETL——可視化地實現(xiàn)數(shù)據(jù)清洗、加工和轉(zhuǎn)換
企業(yè)在數(shù)智化轉(zhuǎn)型過程中,關(guān)鍵要有干凈的數(shù)據(jù),需要進行數(shù)據(jù)的清洗和轉(zhuǎn)換,用友BIP自助 ETL 作為數(shù)據(jù)開發(fā)、數(shù)據(jù)加工的可視化數(shù)據(jù)處理工具,提供 20 多種異構(gòu)數(shù)據(jù)源的連接、抽取、加工、清洗轉(zhuǎn)換、加載的能力。
企業(yè)可通過畫布式拖拉拽即可完成數(shù)據(jù)裝載、清洗轉(zhuǎn)換過程,大大降低數(shù)據(jù)開發(fā)任務的工作量,各組件還可配置與智能分析產(chǎn)品組合,幫忙企業(yè)快速完成數(shù)據(jù)處理。
步驟4:語義模型——實現(xiàn) “技術(shù)數(shù)據(jù)業(yè)務化”
基于語義模型,智能分析平臺能夠?qū)⒓夹g(shù)層面的數(shù)據(jù)庫表、字段轉(zhuǎn)化為業(yè)務人員可理解的模型,實現(xiàn) “技術(shù)數(shù)據(jù)業(yè)務化”, 便于用戶進行各類數(shù)據(jù)可視化展現(xiàn)、業(yè)務報表的統(tǒng)計分析等,目前平臺已累計預置語義模型1100多個,大幅降低企業(yè)建模門檻。
步驟5:數(shù)據(jù)分析——可視化與報表設計,滿足多元需求
用友BIP智能分析平臺提供可視化拖拽式的配置界面,讓用戶便捷設置報表的樣式、交互和布局,快速生成專業(yè)且炫酷的數(shù)據(jù)看板;同時,支持實時查詢、動態(tài)報表生成及即時分析,適用于業(yè)務分析、自助分析及嵌入式分析等場景。
上文我們已經(jīng)介紹了儀表板、數(shù)字大屏、自由報表、移動分析、智能報告等多種形式的數(shù)據(jù)分析方案。除此以外,為了降低分析產(chǎn)品的學習與使用門檻,讓人人都可擁有和配置自己的看板,用友BIP還面向非技術(shù)人員提供了自助分析平臺,讓各個崗位的業(yè)務人員通過簡單、高效的交互,搭建符合自己需求的的數(shù)據(jù)分析場景。
用友BIP“基于數(shù)倉的關(guān)系建模方式進行自助分析”這一解決方案為大中型企業(yè)建立了從數(shù)據(jù)采集、開發(fā)到分析展現(xiàn)的完整能力,其核心是基于關(guān)系建模建立“企業(yè)級數(shù)據(jù)整合的骨架”,基于一致性、規(guī)范性的數(shù)據(jù)支撐靈活的數(shù)據(jù)分析需求。
伴隨企業(yè)的不斷發(fā)展,業(yè)務數(shù)據(jù)量的擴展,關(guān)系建模作為企業(yè)數(shù)據(jù)倉庫的底層基礎(chǔ)模型,未來可在此基礎(chǔ)上進行維度建模,滿足大數(shù)據(jù)量下多維度的復雜數(shù)據(jù)查詢分析需求。
關(guān)于維度建模的方式,我們將在后續(xù)的內(nèi)容中進行介紹,請持續(xù)關(guān)注「洞見數(shù)據(jù)」專題。
洞見數(shù)據(jù)
洞見數(shù)據(jù)| 如何基于業(yè)務數(shù)據(jù),快速搭建企業(yè)級報表和分析平臺
電子書下載