大(dà)數據
業務痛點及需求
 數據采集
數據采集是數據倉庫建設中(zhōng)最基礎的工(gōng)作，負責将散落在各個數據孤島的數據整合到統一(yī)數據倉庫平台中(zhōng)。數據采集不隻需要能夠從多種不同類型的數據系統采集數據，還要考慮數據采集的效率，通過全量和增量采集相結合的手段完成采集工(gōng)作。在采集的過程中(zhōng)，還不能對在線系統産生(shēng)影響。
|
 數據生(shēng)産鏈路監控
就像工(gōng)業流水線一(yī)樣，數據倉庫的數據加工(gōng)過程是一(yī)個數據生(shēng)産的有向無環圖。如何讓數據有序的按照數據模型設計的邏輯一(yī)步一(yī)步被加工(gōng)出來，保障數據上下(xià)遊依賴的正确性，在發現問題時能夠提醒開發人員及時處理，是一(yī)個艱苦而細緻的工(gōng)作，也是數據倉庫建設過程中(zhōng)最主要的工(gōng)作。
|
 數據質量管理
數據質量是數據倉庫的生(shēng)命線，是數據倉庫建設中(zhōng)的重中(zhōng)之重。在數據生(shēng)産的整個鏈條中(zhōng)，需要能夠根據數據特征制定不同的數據質量監控規則，随時監控數據的産出質量，并制定出相應的控制手段，保障不讓有質量問題的數據影響業務的決策。
|
業務痛點及需求
|
數據采集
數據采集是數據倉庫建設中(zhōng)最基礎的工(gōng)作，負責将散落在各個數據孤島的數據整合到統一(yī)數據倉庫平台中(zhōng)。數據采集不隻需要能夠從多種不同類型的數據系統采集數據，還要考慮數據采集的效率，通過全量和增量采集相結合的手段完成采集工(gōng)作。在采集的過程中(zhōng)，還不能對在線系統産生(shēng)影響。
|
數據生(shēng)産鏈路監控
就像工(gōng)業流水線一(yī)樣，數據倉庫的數據加工(gōng)過程是一(yī)個數據生(shēng)産的有向無環圖。如何讓數據有序的按照數據模型設計的邏輯一(yī)步一(yī)步被加工(gōng)出來，保障數據上下(xià)遊依賴的正确性，在發現問題時能夠提醒開發人員及時處理，是一(yī)個艱苦而細緻的工(gōng)作，也是數據倉庫建設過程中(zhōng)最主要的工(gōng)作。
|
數據質量管理
數據質量是數據倉庫的生(shēng)命線，是數據倉庫建設中(zhōng)的重中(zhōng)之重。在數據生(shēng)産的整個鏈條中(zhōng)，需要能夠根據數據特征制定不同的數據質量監控規則，随時監控數據的産出質量，并制定出相應的控制手段，保障不讓有質量問題的數據影響業務的決策。
|
應用系列産品
在數據倉庫的建設中(zhōng)需要從各種源頭業務系統中(zhōng)把數據統一(yī)采集到數據倉庫中(zhōng)，在統一(yī)的基礎平台上對數據進行加工(gōng)。在數
據生(shēng)産的鏈條中(zhōng)，保障數據産出的穩定性和數據産出的質量是數據倉庫建設中(zhōng)的重要内容。
據生(shēng)産的鏈條中(zhōng)，保障數據産出的穩定性和數據産出的質量是數據倉庫建設中(zhōng)的重要内容。
大(dà)數據集成
通過穩定高效、彈性伸縮的大(dà)數據集成服務，将分(fēn)散在不同物(wù)理環境下(xià) 的數據統一(yī)采集到大(dà)數據計算服務中(zhōng)。可以實時、增量或全量的方式進行數據同步。
大(dà)數據計算服務
在大(dà)數據計算服務中(zhōng)，存儲采集到的業務數據，利用服務提供的多種經典分(fēn)布式計算模型，按照數據倉庫設計的數據模型，對數據進行實際加工(gōng)計算。
大(dà)數據開發
在大(dà)數據計算服務中(zhōng)，存儲采集到的業務數據，利用服務提供的多種經典分(fēn)布式計算模型，按照數據倉庫設計的數據模型，對數據進行實際加工(gōng)計算。
大(dà)數據管理
通過大(dà)數據管理工(gōng)具，進行數據資産管理、數據生(shēng)命周期管理、元數據查詢和管理、數據血緣查詢等工(gōng)作。并可以制定數據質量報警規則。
