11月5日，在2022云棲大會(huì)一體化大數(shù)據(jù)智能峰會(huì)上，由開放原子開源基金會(huì)、X-lab開放實(shí)驗(yàn)室和阿里巴巴開源委員會(huì)聯(lián)合出品的《2022年開源大數(shù)據(jù)熱力報(bào)告》重磅發(fā)布。其中，阿里巴巴推動(dòng)的Apache Flink在流處理領(lǐng)域熱力值排名第一，DataX、Flink CDC、Apache Celeborn入圍熱力榜單。
據(jù)悉，報(bào)告基于公開數(shù)據(jù)研究最活躍的102個(gè)開源大數(shù)據(jù)項(xiàng)目，探尋出開源大數(shù)據(jù)技術(shù)發(fā)展背后的“摩爾定律”，每隔40個(gè)月，開源項(xiàng)目熱力值就會(huì)翻一倍，技術(shù)完成一輪更新迭代。開放原子開源基金會(huì)副秘書長劉京娟表示，在過去8年里，發(fā)生了5次較大規(guī)模的技術(shù)熱力躍遷，多元化、一體化、云原生成為當(dāng)前開源大數(shù)據(jù)發(fā)展趨勢的最顯著特征。
早在2009年，阿里巴巴就開始大規(guī)模使用Hadoop等開源大數(shù)據(jù)技術(shù)，在經(jīng)歷雙11等內(nèi)部核心業(yè)務(wù)錘煉之后，于2015年啟動(dòng)開源大數(shù)據(jù)技術(shù)實(shí)時(shí)化，并實(shí)現(xiàn)全面上云，以開源大數(shù)據(jù)平臺E-MapReduce和實(shí)時(shí)計(jì)算Flink版來對外提供公共云服務(wù)。阿里巴巴也積極參與開源社區(qū)以及合作伙伴的開源共建，貢獻(xiàn)了開源數(shù)據(jù)Shuffle服務(wù)Celeborn到Apache孵化器，推動(dòng)Flink成為實(shí)時(shí)計(jì)算領(lǐng)域的事實(shí)標(biāo)準(zhǔn)，最終形成了開放、多元、現(xiàn)代、智能的開源大數(shù)據(jù)技術(shù)生態(tài)。
阿里巴巴一直本著開放、創(chuàng)新、貢獻(xiàn)的初心積極推動(dòng)開源大數(shù)據(jù)技術(shù)的演進(jìn)，截止到今年，貢獻(xiàn)了10余個(gè)頂級開源項(xiàng)目，培養(yǎng)50余位頂級開源項(xiàng)目Committer、PMC，代碼貢獻(xiàn)量超過150萬，開源文化氛圍濃厚，構(gòu)建了圍繞數(shù)據(jù)集成Flink CDC、數(shù)據(jù)分析Flink SQL、機(jī)器學(xué)習(xí)Flink ML、規(guī)則引擎Flink CEP、動(dòng)態(tài)表存儲Flink Table Store的Apache Flink生態(tài)項(xiàng)目群，推動(dòng)Flink茁壯成長為Apache的頭部項(xiàng)目之一。同時(shí)，生長于阿里巴巴的 Celeborn 項(xiàng)目-大數(shù)據(jù)計(jì)算引擎通用Shuffle服務(wù)成功進(jìn)入Apache孵化器，為開源大數(shù)據(jù)技術(shù)更添一份力量。
從共建到引領(lǐng)，阿里云開源大數(shù)據(jù)產(chǎn)品矩陣升級
云棲大會(huì)上，阿里云開源大數(shù)據(jù)產(chǎn)品矩陣再次升級，開源大數(shù)據(jù)平臺E-MapReduce將技術(shù)引領(lǐng)優(yōu)勢轉(zhuǎn)化為云上產(chǎn)品服務(wù)能力，重磅發(fā)布E-MapReduce 2.0，面向未來構(gòu)建下一代開源大數(shù)據(jù)基礎(chǔ)設(shè)施，彈性優(yōu)化能力提升3倍，伸縮規(guī)模達(dá)千臺，3分鐘即可創(chuàng)建100節(jié)點(diǎn)的數(shù)據(jù)湖集群。
依托于EMR、OSS、DataWorks產(chǎn)品組合的數(shù)據(jù)湖，滿分通過了信通院云原生數(shù)據(jù)湖評測，全面兼容HDFS，湖權(quán)限和生命周期管理能力升級。實(shí)時(shí)計(jì)算Flink增強(qiáng)了復(fù)雜事件處理功能，可應(yīng)用于實(shí)時(shí)風(fēng)控、實(shí)時(shí)營銷場景，分鐘級作業(yè)診斷，幫助用戶資源效率提升30%。
阿里云還聯(lián)合 Elastic 公司推出云原生 Serverless Elasticsearch，為用戶帶來SaaS化產(chǎn)品體驗(yàn)，同時(shí)，使用成本下降53%。與Cloudera公司戰(zhàn)略合作的數(shù)據(jù)混合云 Cloudera CDP公共云正式商用，為CDP用戶帶來統(tǒng)一的云上云下使用體驗(yàn)。
（圖說：阿里云開源大數(shù)據(jù)負(fù)責(zé)人王峰）
阿里巴巴開源委員會(huì)大數(shù)據(jù)領(lǐng)域副主席、阿里云開源大數(shù)據(jù)負(fù)責(zé)人王峰在會(huì)上表示，開源大數(shù)據(jù)技術(shù)已經(jīng)進(jìn)入了全面云原生的時(shí)代，依托全面云原生架構(gòu)，為用戶提供極致彈性伸縮，按需使用的服務(wù)；同時(shí)，在實(shí)時(shí)計(jì)算技術(shù)領(lǐng)域持續(xù)創(chuàng)新，提出Flink SQL + Table Store的使用方式，實(shí)現(xiàn)端到端的數(shù)倉鏈路實(shí)時(shí)流動(dòng)，提供全增量數(shù)據(jù)鏈路一致性體驗(yàn)；構(gòu)建統(tǒng)一架構(gòu)的云原生數(shù)據(jù)湖，架構(gòu)從存算一體到存算分離，融合多元化計(jì)算模式，實(shí)現(xiàn)智能安全的數(shù)據(jù)湖管理。在此基礎(chǔ)之上，持續(xù)優(yōu)化“智能運(yùn)維大腦”，推出如Flink作業(yè)自動(dòng)調(diào)優(yōu)，EMR Doctor智能運(yùn)維診斷系統(tǒng)等，全面加深開源大數(shù)據(jù)平臺的增值能力，幫助用戶更高效地使用。
（本內(nèi)容屬于網(wǎng)絡(luò)轉(zhuǎn)載，文中涉及圖片等內(nèi)容如有侵權(quán)，請聯(lián)系編輯刪除。市場有風(fēng)險(xiǎn)，選擇需謹(jǐn)慎！此文僅供參考，不作買賣及投資依據(jù)。）
原創(chuàng)文章，作者：陳晨，如若轉(zhuǎn)載，請注明出處：http://m.2079x.cn/article/563848.html
