萬物之始，大道至簡。
過去的數(shù)據(jù)基礎(chǔ)設(shè)施，搭建流程長且復(fù)雜，耗費人力、資金甚巨，也是拖慢企業(yè)數(shù)字化轉(zhuǎn)型過程的重要原因之一。
近日，衡石科技與云器科技合作發(fā)布的云原生一體化分析解決方案，遵循數(shù)字化領(lǐng)域的“極簡”之道——通過數(shù)據(jù)的全流程一體化，旨在為用戶簡化數(shù)據(jù)基礎(chǔ)的搭建、維護過程、快速穩(wěn)定地建立BI端應(yīng)用。
從數(shù)據(jù)存儲、數(shù)據(jù)加工到數(shù)據(jù)分析及BI呈現(xiàn)，用戶可獲得全量實時的數(shù)據(jù)分析體驗。這項創(chuàng)新依托于BI分析與一體化平臺的全棧整合。
這一解決方案意味著，衡石這一業(yè)界獨樹一幟的 BI PaaS，進一步搭載了云器以Single-Engine為核心技術(shù)的數(shù)據(jù)引擎，共同驅(qū)動大數(shù)據(jù)分析走向一體化時代。
新的解決方案希望為企業(yè)帶來全新的數(shù)據(jù)體驗——無需擔(dān)憂復(fù)雜、多源的數(shù)據(jù)及架構(gòu)，僅需一個簡單易用的平臺，企業(yè)就能從自身的數(shù)據(jù)金礦中不斷獲取價值、快速成長。
BI PaaS + 云器 Lakehouse 帶來全量實時的智能分析體驗
通過統(tǒng)一數(shù)據(jù)、存儲、語言，衡石科技與云器科技聯(lián)合解決方案突破了過去離線分析或者離線實時Lambda架構(gòu)的桎梏，能夠提供全鏈路一體實時BI分析，讓BI分析師能夠更整合、更便利、更全面地分析實時和離線數(shù)據(jù)。同時，在數(shù)據(jù)架構(gòu)上極致簡化，避免實時離線多條數(shù)據(jù)煙囪和復(fù)雜的架構(gòu)帶來的指標(biāo)口徑不一致等問題。
“這是行業(yè)內(nèi)第一次，能通過一套方案實現(xiàn)實時和離線的數(shù)據(jù)處理及分析，并且覆蓋全域，對數(shù)據(jù)時間有更好地把控、顯著降低成本、不受數(shù)據(jù)量限制，解決了企業(yè)客戶的重要痛點?！焙馐萍紕?chuàng)始人及CEO劉誠忠表示。
“衡石BI一直以來關(guān)注用戶的極致數(shù)據(jù)分析體驗，通過和云器Lakehouse融合的解決方案，幫助企業(yè)更好把控數(shù)據(jù)，不再受數(shù)據(jù)離線或?qū)崟r的限制使用和分析數(shù)據(jù)；真正做到將數(shù)據(jù)分析的全面性和便利性結(jié)合，給客戶一個簡單且統(tǒng)一的BI分析方案?！?/p>
這也意味著在面對高頻數(shù)據(jù)時，用戶能夠根據(jù)需求獲得實時結(jié)果；而業(yè)務(wù)需求減緩時則可以切換為離線。這樣的變化都是基于同一套數(shù)據(jù)、指標(biāo)及同樣的鏈路處理方式，大大減少了搭建多套數(shù)據(jù)產(chǎn)品組合方案的成本，以及多個產(chǎn)品的運維成本，讓智能分析變得更加統(tǒng)一、自由、高效。
在某跨境服務(wù)企業(yè)的實際體驗中，過去其數(shù)據(jù)平臺類似“組裝式”架構(gòu)，包含離線計算鏈路、實時計算鏈路和數(shù)據(jù)湖等，導(dǎo)致了產(chǎn)品組件多、運維成本高、計算復(fù)雜等三大問題——一方面是鏈路割裂、數(shù)據(jù)在統(tǒng)一上容易出問題；另一方面，多組件維護也產(chǎn)生了高昂的運維成本；在未來的數(shù)據(jù)要求增長時，組裝式架構(gòu)也在性能瓶頸、靈活性方面有著難以解決的局限性。
使用Lakehouse前：
使用Lakehouse后：
通過接入這一解決方案，該企業(yè)做到了全鏈路實時同步、數(shù)據(jù)架構(gòu)進化，打破了組裝式架構(gòu)的種種局限性。從最終效果上來看，降低了5.2倍數(shù)據(jù)資源消耗、2.1倍CPU成本，性能提升。
具體而言，其數(shù)據(jù)平臺的突破包括：
· 實現(xiàn)全鏈路實時同步
過去的數(shù)據(jù)平臺，每天需要花費4~5個小時將所有業(yè)務(wù)表的數(shù)據(jù)拉到計算平臺中，數(shù)據(jù)更新的頻率有限，無法實現(xiàn)實時入庫。通過這一解決方案，公司的數(shù)據(jù)處理方式發(fā)生了質(zhì)的變化，從過去的批處理模式轉(zhuǎn)變?yōu)閷崟r同步模式，做到全量數(shù)據(jù)實時同步，提升業(yè)務(wù)效率和數(shù)據(jù)新鮮度，并隨著實時數(shù)據(jù)的變化不斷獲得新的BI數(shù)據(jù)洞察。
· 降低資源消耗、提升性能
如上文提到，其CPU的成本及任務(wù)資源消耗雙雙降低，大大降低平臺計算資源，還提高了客戶平臺上產(chǎn)品數(shù)據(jù)獲取和查詢的性能，使得數(shù)據(jù)處理和查詢更加高效。
· 擴展性強、滿足客戶不斷增加的業(yè)務(wù)需求
而該解決方案的強大之處，也反映在其擴展性上：針對客戶的巨大實時數(shù)據(jù)計算需求，平臺從過去的無法承載，變?yōu)榭梢詽M足客戶的所有訴求與需求，通過統(tǒng)一管理及全域數(shù)據(jù)治理，一個平臺支持BI、AI多種負載，大大提升服務(wù)的可能性與客戶滿意度。
比如跨境商戶在商品品類統(tǒng)計分析時，可以將數(shù)據(jù)湖中的圖片及對象存儲路徑進行l(wèi)ocation定義，在數(shù)據(jù)平臺界面直接調(diào)用AI模型接口，完成商品圖片品類識別，并將輸出的結(jié)構(gòu)化數(shù)據(jù)存儲在數(shù)倉中，后續(xù)可以與訂單表、商品維度表等數(shù)據(jù)進行關(guān)聯(lián)統(tǒng)計分析。
能夠通過一個平臺賦予企業(yè)這樣的數(shù)據(jù)能力，來自于兩方的數(shù)年研發(fā)投入、對業(yè)務(wù)需求的深刻洞察與優(yōu)秀配合。
云器作為一體化湖倉平臺，為這一解決方案打造了優(yōu)秀的數(shù)據(jù)基礎(chǔ)：通過快速創(chuàng)建虛擬計算環(huán)境、湖倉一體數(shù)據(jù)集成以及針對實時場景的創(chuàng)新技術(shù)設(shè)計，僅用一套SQL代碼、單引擎（Single Engine）、同一份數(shù)據(jù)，實現(xiàn)全鏈路的實時化數(shù)據(jù)處理。且性能成本比表現(xiàn)優(yōu)異，在分鐘級及以上實時場景性能下，可以達到數(shù)倍的成本節(jié)省。
而衡石則在過去數(shù)年中，獨家推出了 BI PaaS 的產(chǎn)品形態(tài)，自研更適合數(shù)據(jù)分析的語義層、完成了端到端的數(shù)據(jù)分析架構(gòu)創(chuàng)新（包括湖倉一體的開放式架構(gòu)以及ELT + Embed的分析管道架構(gòu)）、在云原生架構(gòu)上支持多租戶適配、API 服務(wù)能力和彈性擴展。
本次合作中，結(jié)合云器的數(shù)據(jù)平臺，衡石科技通過獨特的指標(biāo)中臺、BI分析、數(shù)據(jù)服務(wù)等一站式數(shù)據(jù)能力，使數(shù)據(jù)真正在企業(yè)端發(fā)揮價值。
衡石科技指標(biāo)平臺
解決百倍突發(fā)、降低50%費用，新型平臺展現(xiàn)強大彈性
在未來的大數(shù)據(jù)時代，除了更實時、更簡明的數(shù)據(jù)服務(wù)外，數(shù)據(jù)系統(tǒng)的彈性也將成為評估其效果的重要指標(biāo)，主要包括兩點：
· 在峰值需求時的承壓能力及未來擴展能力
· 在需求下降時的自動節(jié)省資源能力
本次衡石與云器共同發(fā)布的方案，展現(xiàn)了一個全新數(shù)據(jù)解決方案的強大彈性——伸縮自如，隨需而動。
根據(jù)云器介紹，其自適應(yīng)的虛擬集群模塊（Virtual Cluster） 可以很好地解決業(yè)務(wù)負載波動問題，在其架構(gòu)中，只需創(chuàng)建一個新的 virtual cluster 并配置其擴展的最小和最大值，系統(tǒng)就可以自動地根據(jù)C端用戶請求的并發(fā)數(shù)波動進行自適應(yīng)擴容，并感知業(yè)務(wù)的負載。而在系統(tǒng)探測到負載下降后，會自動銷毀 virtual cluster 副本，“水位下降”。
自創(chuàng)立以來，衡石開發(fā)了更加靈活的 ELT + Embed 的管道架構(gòu)，將計算后置，做到指標(biāo)的中心化管理，高效沉淀和復(fù)用指標(biāo)體系，減少數(shù)據(jù)重復(fù)加工，但是這樣追求業(yè)務(wù)靈活的架構(gòu)對計算平臺的性能和算力同樣有著極高要求。
而云器作為承接衡石的計算平臺，擁有強大的算力及性能，這一高性能的湖倉平臺+衡石ELT架構(gòu)意味著二者合作后，可以在性能、彈性和分析靈活度上做到最佳的 trade-off，真正實現(xiàn)了云端數(shù)據(jù)分析上的最佳實踐。
在未來業(yè)務(wù)需求增長時，系統(tǒng)也能做到自動擴容，持續(xù)支撐從最初企業(yè)小體量數(shù)據(jù)到快速發(fā)展后巨量數(shù)據(jù)的算力需求。
在客戶的真實體驗中，在并發(fā)增長至10倍乃至百倍時，C端用戶的查詢響應(yīng)體驗始終保持在穩(wěn)定的區(qū)間中，這正是因為基于并發(fā)數(shù)量增長，系統(tǒng)副本數(shù)做的自適應(yīng)擴展，潤物細無聲地為客戶在需求暴漲時提供有力的支撐。
而在需求穩(wěn)定下降后，系統(tǒng)同樣會檢測負載狀態(tài)，做到定時自動停止、銷毀副本，按量付費、停止使用時0花費，避免資源浪費、降低費用高達50%。
AI+BI 的未來：無縫、簡單、普惠
隨著ChatGPT引起的再一次全球AI熱，AI+BI結(jié)合將逐步成為各行各業(yè)的標(biāo)配，而它們也將重塑許多數(shù)據(jù)及業(yè)務(wù)場景。
一方面，從Data4AI的角度看，如果說BI更多是分析“過去”和“現(xiàn)在”的已知數(shù)據(jù)，解決已知的問題；AI加入后，將可以幫助企業(yè)探索未知，包括預(yù)測和判斷，探索分析企業(yè)沉淀的數(shù)據(jù)寶藏——半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。
隨著AI成為數(shù)據(jù)的“一等公民，僅能做結(jié)構(gòu)化數(shù)據(jù)分析的傳統(tǒng)數(shù)倉將逐漸走向衰敗，未來由湖倉架構(gòu)加持的AI時代BI分析工具，將具備如下特點：
· 首先，支持多種類型的數(shù)據(jù)存儲，且所有的數(shù)據(jù)存儲在一個存儲體系內(nèi)；
· 其次，有統(tǒng)一數(shù)據(jù)管理能力，能覆蓋半結(jié)構(gòu)化/非結(jié)構(gòu)化數(shù)據(jù)；
· 最后，開放數(shù)據(jù)設(shè)計，可支持上層已有的數(shù)個不同計算引擎，同時還能面向新的計算引擎完成擴展。
因此，開放式湖倉架構(gòu)上的BI分析工具，將是AI發(fā)揮價值的最佳選擇。
另一方面，從AI4Data的角度看，AI可以優(yōu)化數(shù)據(jù)的處理鏈路和資源編排，讓數(shù)據(jù)處理更加高效且節(jié)省成本——AI將通過強大的自學(xué)習(xí)和自加強能力，幫助企業(yè)優(yōu)化數(shù)據(jù)的處理鏈路，基于日常使用習(xí)慣來進行資源編排。在某SaaS行業(yè)的客戶實際使用案例中，初步測試帶來了35%的資源消耗節(jié)省。
隨著AI+BI 的逐步落地，新一代一體化的湖倉架構(gòu)將會成為未來整個計算平臺架構(gòu)的迭代發(fā)展的趨勢。
過去，衡石科技作為數(shù)據(jù)分析及BI PaaS，曾與各個垂直領(lǐng)域的頂尖SaaS廠商和軟件廠商結(jié)合。本次衡石與云器合作推出的云原生一體化數(shù)據(jù)解決方案，將帶來企業(yè)級一站式的數(shù)據(jù)體驗，按量付費、數(shù)據(jù)架構(gòu)靈活，幫助企業(yè)進行應(yīng)用AI的能力及數(shù)字化轉(zhuǎn)型。
未來的 AI+BI 可能會有這樣的趨勢：
· 更加走入業(yè)務(wù)場景：不斷提升交互方式、降低門檻、在各個行業(yè)及工種的普及速度大大增加
· 更“輕量嵌入”：更加容易地整合進現(xiàn)有系統(tǒng)，無縫進入業(yè)務(wù)流程
· 更“實時”：Copilot的模式會成為工作的標(biāo)準配置，智能助手的加持讓業(yè)務(wù)運營崗位的效能大大提升，可以做到數(shù)據(jù)驅(qū)動的精細化運營
在這個不那么遙遠的未來里，我們也許能看見，隨著這樣簡明數(shù)據(jù)基礎(chǔ)設(shè)施的誕生，數(shù)據(jù)能力隨著業(yè)務(wù)流程自由地在企業(yè)各個部門、職能中流轉(zhuǎn)，時而化為決策的依據(jù)，時而指導(dǎo)人們尋找業(yè)務(wù)的疏漏，需要它時它源源而來，使用完畢后它馬上偃旗息鼓、靜待下一次召喚。真正的一體化云原生大數(shù)據(jù)時代，也許就此開啟。
原創(chuàng)文章，作者：陳晨，如若轉(zhuǎn)載，請注明出處：http://m.2079x.cn/article/577044.html
