當(dāng)下，大數(shù)據(jù)在企業(yè)經(jīng)營管理中的廣度和深度不斷拓展，企業(yè)都在積極探索數(shù)據(jù)背后的價值。在復(fù)雜的商業(yè)環(huán)境下，順勢而為、“提升數(shù)據(jù)價值，發(fā)展數(shù)據(jù)智能”成為企業(yè)重新塑造自我信心的重要一環(huán)。企業(yè)的敏捷性，來源于其數(shù)據(jù)的高效利用率和靈活部署能力，而后者又可以適應(yīng)這不斷變化的商業(yè)契機(jī)，抓住機(jī)遇，助力企業(yè)戰(zhàn)略轉(zhuǎn)型。
“數(shù)字化轉(zhuǎn)型”概念的提出顛覆了企業(yè)組織流程、內(nèi)部層次架構(gòu)和業(yè)務(wù)流轉(zhuǎn)的固有模式，企業(yè)在運(yùn)營和生產(chǎn)過程中，涌現(xiàn)出越來越多的實(shí)時決策場景，數(shù)據(jù)驅(qū)動的業(yè)務(wù)和決策應(yīng)用也開始逐漸滲透到企業(yè)的各個業(yè)務(wù)線和部門。在此背景下，數(shù)據(jù)平臺從IOE時代逐步演進(jìn)到大數(shù)據(jù)湖倉一體架構(gòu)，不難看出企業(yè)在這一趨勢下一路向前，從被動接受到主動迎接，從業(yè)務(wù)層面到戰(zhàn)略轉(zhuǎn)型，它無疑成了推動技術(shù)進(jìn)步的重要因素。
滴普科技深耕以機(jī)器學(xué)習(xí)+湖倉一體的新一代數(shù)據(jù)智能基礎(chǔ)設(shè)施建設(shè)，明確“云上優(yōu)先”戰(zhàn)略，從戰(zhàn)略到產(chǎn)品，進(jìn)行了一輪全新的能力聚焦與升級，經(jīng)歷超過上百PB級數(shù)據(jù)的綜合測試與商業(yè)實(shí)踐，完成了核心產(chǎn)品FastData實(shí)時湖倉平臺的重大迭代升級。
FastData 2.0重新定義湖倉
滴普科技FastData 2.0基于現(xiàn)代數(shù)據(jù)技術(shù)棧實(shí)踐思路，打通從了數(shù)據(jù)源集成、數(shù)據(jù)分析，再到數(shù)據(jù)價值實(shí)現(xiàn)的完整鏈路；以云原生、實(shí)時高處理性能、低運(yùn)維成本、操作和體驗(yàn)更優(yōu)的產(chǎn)品特性，幫助企業(yè)建立統(tǒng)一治理、流批一體、湖倉一體的云原生數(shù)據(jù)智能平臺，實(shí)現(xiàn)海量數(shù)據(jù)實(shí)時分析，致力于成為支撐企業(yè)數(shù)字化轉(zhuǎn)型的核心基礎(chǔ)軟件設(shè)施。
批流融合及全鏈路CDC需要同時滿足實(shí)時和批量的數(shù)據(jù)處理能力，降低企業(yè)維護(hù)的成本和復(fù)雜性，擴(kuò)大最佳的資源使用效能；需要滿足全鏈路CDC，端到端實(shí)現(xiàn)從數(shù)據(jù)源到湖倉數(shù)據(jù)的增量分析，兼?zhèn)鋵?shí)時數(shù)據(jù)分析的全面性和準(zhǔn)確性。
事務(wù)ACID一致性需要提供ACID保證數(shù)據(jù)寫入一致性；提供快照保證讀寫的并發(fā)；提供upsert/merge into能力極大地縮小數(shù)據(jù)庫入庫延遲。對象存儲不支持文件原地更新，新的記錄以 append 的方式寫入新文件，即使對文件中的一行記錄進(jìn)行更改，也要重寫整個文件，并且多線程并發(fā)讀寫也可能造成數(shù)據(jù)不一致。湖倉一體通過多版本的方式保證事務(wù)讀寫并發(fā)不沖突，通過將修改記錄在 change file 中通過合并 base 文件的方式提升記錄更改效率。
DataOps提供數(shù)據(jù)統(tǒng)一服務(wù)、數(shù)據(jù)沙箱、數(shù)據(jù)開發(fā)、代碼版本管理、CI/CD、工程化運(yùn)維的流程化和自動化。
統(tǒng)一元數(shù)據(jù)管理支持異構(gòu)數(shù)據(jù)的統(tǒng)一元數(shù)據(jù)管理，實(shí)現(xiàn)端到端的數(shù)據(jù)鏈路的自動化元數(shù)據(jù)采集，支持全鏈路血緣，一鍵式分析技術(shù)、業(yè)務(wù)、操作元數(shù)據(jù)詳情，為數(shù)據(jù)標(biāo)準(zhǔn)建設(shè)和數(shù)據(jù)質(zhì)量提供重要支撐。湖倉一體中的 Catalog 是統(tǒng)一的元數(shù)據(jù)目錄，它可以幫助我們讓數(shù)據(jù)發(fā)現(xiàn)變的更簡單，更加快速的查找到你想要的數(shù)據(jù)，同時提供面向多引擎（Hive Spark flinktrino 等）的公共元數(shù)據(jù)存儲和統(tǒng)一元數(shù)據(jù)服務(wù)。
基于云原生架構(gòu)，與主流云廠商深度連接，提供基于多云架構(gòu)的統(tǒng)一數(shù)據(jù)平臺，幫助企業(yè)以最優(yōu)成本、最敏捷的方式搭建數(shù)據(jù)資產(chǎn)和數(shù)據(jù)分析的全鏈路，更加精細(xì)化實(shí)現(xiàn)數(shù)據(jù)價值。FastData 2.0面向企業(yè)高密度數(shù)據(jù)應(yīng)用場景，立足數(shù)據(jù)驅(qū)動業(yè)務(wù)，圍繞提升客戶業(yè)務(wù)價值的核心目標(biāo)，將湖倉一體作為產(chǎn)品升級迭代的核心架構(gòu)，同時全面整合了從數(shù)據(jù)源、數(shù)據(jù)分析到數(shù)據(jù)價值實(shí)現(xiàn)的完整鏈路，對產(chǎn)品能力進(jìn)行了全面深入的升級優(yōu)化。
從產(chǎn)品形態(tài)與服務(wù)上來看，產(chǎn)品可實(shí)主流公有云環(huán)境的靈活部署，包括AWS、Azure、華為云、阿里云等云上環(huán)境；提供實(shí)時湖倉引擎，將結(jié)構(gòu)化、非/半結(jié)構(gòu)化源數(shù)據(jù)存儲到數(shù)據(jù)湖中，調(diào)動分析引擎進(jìn)行數(shù)據(jù)計算，最終將計算數(shù)據(jù)存儲到湖倉的表引擎中；此外，F(xiàn)astData還重點(diǎn)拓展了支持機(jī)器學(xué)習(xí)的數(shù)據(jù)智能開發(fā)能力，并將湖倉中的數(shù)據(jù)通過可視化技術(shù)將業(yè)務(wù)運(yùn)維要求實(shí)時反映出來，真正幫助企業(yè)用好數(shù)據(jù)，高效釋放數(shù)據(jù)價值，驅(qū)動企業(yè)業(yè)務(wù)的發(fā)展。
FastData 2.0產(chǎn)品線全面升級
升級后的FastData2.0，從底層的實(shí)時湖倉引擎DLink，到中間Dataops的數(shù)據(jù)智能開發(fā)平臺DataFacts，再到上層面向商業(yè)應(yīng)用及數(shù)據(jù)應(yīng)用的數(shù)據(jù)分析平臺DataSense，已形成完整的湖倉體系。
解決數(shù)據(jù)存儲、處理及分析效率——實(shí)時湖倉引擎FastDataDLink
搭建企業(yè)級流批一體、湖倉一體分布式數(shù)據(jù)庫，提供多種數(shù)據(jù)類型的統(tǒng)一存儲能力，支持流批一體數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)科學(xué)等多工作負(fù)載。采用存算分離架構(gòu)，彈性擴(kuò)展、高并發(fā)、低延時，支持EB級多模數(shù)據(jù)存儲與處理，無縫連接大數(shù)據(jù)生態(tài)，提供一站式數(shù)據(jù)探索與數(shù)據(jù)開發(fā)能力。
解決數(shù)據(jù)開發(fā)效率及數(shù)據(jù)管理問題——數(shù)據(jù)智能開發(fā)平臺FastDataDataFacts
降低企業(yè)數(shù)字化轉(zhuǎn)型實(shí)施門檻，實(shí)現(xiàn)數(shù)據(jù)價值可持續(xù)釋放，為數(shù)據(jù)工程師提供數(shù)據(jù)集成、數(shù)據(jù)建模、數(shù)據(jù)開發(fā)、數(shù)據(jù)服務(wù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全等開箱即用的服務(wù)能力，降低企業(yè)數(shù)字化轉(zhuǎn)型實(shí)施門檻，提升數(shù)據(jù)智能平臺構(gòu)建效率，賦能企業(yè)數(shù)據(jù)資產(chǎn)持續(xù)沉淀，從而實(shí)現(xiàn)數(shù)據(jù)價值可持續(xù)釋放。
解決“數(shù)據(jù)最后一公里”——數(shù)據(jù)分析平臺FastDataDataSense
用數(shù)據(jù)透視業(yè)務(wù)，助力精準(zhǔn)決策。DataSense是基于統(tǒng)一業(yè)務(wù)語義的數(shù)據(jù)分析平臺，通過無代碼開發(fā)的數(shù)據(jù)工廠Metric Store提升資產(chǎn)開發(fā)效率，為企業(yè)各類業(yè)務(wù)應(yīng)用提供組裝式的數(shù)據(jù)分析服務(wù)能力。
致力于打造更加堅(jiān)實(shí)靈活的湖倉一體，存算分離數(shù)據(jù)平臺底座，是FastData 2.0的全線產(chǎn)品升級的目標(biāo)。支持同時滿足實(shí)時和批量的數(shù)據(jù)處理能力，實(shí)現(xiàn)數(shù)據(jù)智能開發(fā)與可視化增強(qiáng)分析，幫助企業(yè)以最優(yōu)成本、最敏捷的方式搭建數(shù)據(jù)資產(chǎn)和數(shù)據(jù)分析的全鏈路，更加精細(xì)化實(shí)現(xiàn)數(shù)據(jù)價值。滴普科技產(chǎn)品線總裁楊磊表示：“客戶的核心邏輯都是基于業(yè)務(wù)考慮，在這個過程中，如何打通數(shù)據(jù)鏈路，持續(xù)優(yōu)化企業(yè)內(nèi)部的運(yùn)營效率，是核心關(guān)注點(diǎn)”。
（本內(nèi)容屬于網(wǎng)絡(luò)轉(zhuǎn)載，文中涉及圖片等內(nèi)容如有侵權(quán)，請聯(lián)系編輯刪除。市場有風(fēng)險，選擇需謹(jǐn)慎！此文僅供參考，不作買賣及投資依據(jù)。）
原創(chuàng)文章，作者：陳晨，如若轉(zhuǎn)載，請注明出處：http://m.2079x.cn/article/560220.html
