未來十年將會是基礎軟件發(fā)展的黃金十年,也將是基礎軟件逐漸支撐起行業(yè)數(shù)字化轉(zhuǎn)型的關(guān)鍵十年。與此同時,基礎軟件的研發(fā)周期長、研發(fā)難度大、應用廣泛,是組織、企業(yè)、團隊技術(shù)力量的重要象征。
但由于國內(nèi)在數(shù)據(jù)庫行業(yè)的發(fā)展起步較晚,過半的市場份額長期被 Oracle、微軟等美國巨頭占據(jù)著,尤其在俄烏沖突中Oracle向俄羅斯祭出“極致限制”后,國內(nèi)數(shù)據(jù)庫企業(yè)和技術(shù)專家們對基礎軟件國產(chǎn)化的緊迫感和篤定感達到了前所未有的高度。
如今國產(chǎn)數(shù)據(jù)庫已逐步形成了百花齊放的格局,據(jù)中國信通院發(fā)布的《2021年數(shù)據(jù)庫發(fā)展研究報告》顯示,2021年,國產(chǎn)數(shù)據(jù)庫產(chǎn)品供應商已逾百家。在競爭如此激烈的國產(chǎn)數(shù)據(jù)庫市場中,一款數(shù)據(jù)庫要想存活下去需要具備哪些特征?作為基礎軟件之一的數(shù)據(jù)庫是否只有開源才能走得更遠?帶著這些問題,我們采訪了偶數(shù)科技的CEO常雷先生,請他來和我們一起探討一下關(guān)于國產(chǎn)數(shù)據(jù)庫的發(fā)展問題。
偶數(shù)科技的創(chuàng)始人常雷博士,畢業(yè)于北大計算機系,2016 年創(chuàng)立偶數(shù)科技,專注于云原生數(shù)據(jù)庫方向。他是Apache HAWQ 頂級數(shù)據(jù)庫項目的創(chuàng)始人和程序管理委員會主席,前 EMC研發(fā)部總監(jiān),HAWQ 產(chǎn)品及研發(fā)部門負責人,曾創(chuàng)建 Greenplum 數(shù)據(jù)庫高級研究與開發(fā)中國團隊。
偶數(shù)科技核心產(chǎn)品OushuDB是新一代云原生數(shù)據(jù)庫。成立至今,偶數(shù)已經(jīng)獲得世界頂級投資機構(gòu)紅杉中國、騰訊、紅點中國與金山云的四輪投資。
有了足夠的積累,創(chuàng)業(yè)也可以一片坦途
記者:能跟我們聊聊您創(chuàng)業(yè)的初衷嗎?為什么會選擇數(shù)據(jù)庫賽道?
常雷:我與數(shù)據(jù)庫的初次結(jié)緣是在學校里,那時我博士研究的專業(yè)是數(shù)據(jù)庫和數(shù)據(jù)挖掘。2008年,博士畢業(yè)后,我進入了EMC做數(shù)據(jù)庫的研發(fā)工作。在此期間,EMC收購了數(shù)據(jù)庫廠商Greenplum,當時兩個創(chuàng)始人想來中國組建研發(fā)團隊,恰巧那時我在EMC做一些數(shù)據(jù)庫前沿技術(shù)的研究工作,也就是后面被大家所知道的HAWQ的開源項目。我與兩位創(chuàng)始人交流了HAWQ項目后,得到了他們的認可被邀請在中國組建一個數(shù)據(jù)庫的研發(fā)團隊,我在EMC一待就是八年。由于我對數(shù)據(jù)庫極致熱愛,希望能在這個領域有所建樹,所以在有了一定積累后,決定自己創(chuàng)業(yè),就這樣創(chuàng)立了偶數(shù)科技。
InfoQ:創(chuàng)業(yè)并不是件容易事,這一路走來,遇到過哪些坎坷?有想過放棄嗎?
常雷:因為有了足夠的積累,整個創(chuàng)業(yè)過程相對來說還是比較順利的。我在創(chuàng)業(yè)早期就拿到了一些風險投資,隨著新產(chǎn)品的迭代和發(fā)布,已經(jīng)積累了各個行業(yè)的頭部客戶,這些客戶涉及金融、運營商、能源等等,所以回過頭來看算是很幸運了。
記者:創(chuàng)業(yè)之前您在EMC待了八年,也是一段不短的時光了,那個時候的國產(chǎn)數(shù)據(jù)庫賽道是什么樣子?
常雷:2016年前后,國產(chǎn)數(shù)據(jù)庫賽道還是一片荒蕪,沒什么著名的玩家,國外產(chǎn)品還是主流。盡管國產(chǎn)數(shù)據(jù)庫已經(jīng)做了很多年了,但那時候基本上不會被人提起,國產(chǎn)數(shù)據(jù)庫還處于相對非常落后的時期。
記者:您決定創(chuàng)業(yè),除了對數(shù)據(jù)庫技術(shù)的極致熱愛外,是不是當時也看到了基礎軟件發(fā)展的利好苗頭?
常雷:是的,當時2016年前后這種苗頭已經(jīng)出現(xiàn)了,中國在技術(shù)方面做了很多的沉淀和積累,加上數(shù)據(jù)的爆炸式增長,數(shù)據(jù)的產(chǎn)生、使用和分析方式和以前大不相同,需求越來越旺盛,推動著數(shù)據(jù)庫變革和升級,再加之一些地緣政治因素的影響,這一切將數(shù)據(jù)庫重新“燃起來了”。
記者:在您看來,什么樣的數(shù)據(jù)庫系統(tǒng)算是合格的數(shù)據(jù)庫系統(tǒng)?
常雷:無論是新一代的分析型云數(shù)據(jù)庫(OLAP)或者是交易型數(shù)據(jù)庫(OLTP),未來都要滿足幾大特點,根據(jù)偶數(shù)客戶實踐我們總結(jié)出ANCHOR,ANCHOR 中文譯為錨點,將成為新一階段云原生及湖倉一體浪潮下的定海神針。
ANCHOR 具有六大特性,其 6 個字母分別代表:All Data Types(支持多類型數(shù)據(jù))、Native on Cloud(云原生)、Consistency(數(shù)據(jù)一致性)、High Concurrency(超高并發(fā))、One Copy of Data(一份數(shù)據(jù))、Real-Time(實時T+0)。
記者:在數(shù)字化轉(zhuǎn)型的大背景下,數(shù)據(jù)庫作為非常重要基礎軟件,在設計時需要與其他的操作系統(tǒng)、中間件做哪些適配工作?
常雷:做任何一款數(shù)據(jù)庫,它對硬件、操作系統(tǒng)和中間件這些都要做適配工作。拿偶數(shù)自己的數(shù)據(jù)庫OushuDB來講,我們已經(jīng)適配了包括鯤鵬、飛騰,海光芯片等,操作系統(tǒng)也適配了麒麟、統(tǒng)信等。在和上層應用和中間件做適配工作時,我們只需提供標準接口即可。
國產(chǎn)化軟件最大的發(fā)展瓶頸是什么?
記者:偶數(shù)科技的核心產(chǎn)品是OushuDB,就是新一代云原生數(shù)據(jù)庫,它的發(fā)展經(jīng)歷了哪些迭代?在這個過程中,迭到過什么棘手的技術(shù)難題,最終又是怎么解決的?
常雷:從開發(fā)歷史來看,OushuDB最早期的代碼是基于這我們之前在EMC做的開源項目HAWQ,而HAWQ最早期代碼則是基于Greenplum這樣一個分析型MPP數(shù)據(jù)庫。MPP基本上采用無共享的架構(gòu),存儲和計算耦合,在同一個節(jié)點上,相當于每個節(jié)點既存儲又計算。后面在架構(gòu)演進的時候我們就做了HAWQ,HAWQ最早的定位是SQL-on-Hadoop引擎,存儲用的是HDFS或其他存儲,上面計算層可以獨立,這樣可以實現(xiàn)一些彈性,HAWQ已經(jīng)初步實現(xiàn)了存算分離。后面OushuDB基于HAWQ做了云原生架構(gòu),不同于以前的SQL-on-Hadoop引擎,OushuDB實現(xiàn)了完全的存算分離,也就是存儲和計算可以獨立在不同物理機器上部署。通過多個小的物理計算集群,多活主節(jié)點,實現(xiàn)了超大規(guī)模的云原生數(shù)據(jù)庫。計算、存儲可以無限擴展,滿足了許多用戶的擴展需求。當然,在架構(gòu)演進的過程中遇到很多技術(shù)難題,其中超大規(guī)模集群就是一個大難題,因為它要求你的計算能力、并發(fā)能力要超級強大,這都是很難跨越的技術(shù)挑戰(zhàn),最終我們通過幾年的技術(shù)攻關(guān)形成的新一代架構(gòu)解決了這些技術(shù)難點。
記者:新一代的架構(gòu)還有哪些優(yōu)勢?需要與其他軟件進行適配嗎?
常雷:從適配軟件角度來看,OushuDB云原生架構(gòu)在實際部署中就更簡單了,無論從應用開發(fā)者角度還是最終用戶角度。以前可能要管理十幾個數(shù)據(jù)庫,而現(xiàn)在只需要管理一個數(shù)據(jù)庫就夠了;以前數(shù)據(jù)庫的處理能力不夠,就要來回“倒騰”數(shù)據(jù),現(xiàn)在只需要在一個數(shù)據(jù)庫中操作就可以了,數(shù)據(jù)不再冗余了;而且還可以支持更高的并發(fā),具有更高的性能,還可以做實時數(shù)據(jù)處理,這樣OushuDB就解決了很多傳統(tǒng)的數(shù)據(jù)庫做不到的事情,與上面的應用開發(fā)的適配也要簡單很多。
記者:數(shù)據(jù)庫作為非常重要的基礎軟件,它的國產(chǎn)化并沒有那么簡單,您覺得目前我們數(shù)據(jù)庫國產(chǎn)化的瓶頸是什么?
常雷:數(shù)據(jù)庫的國產(chǎn)化在技術(shù)方面并不存在太大的問題,現(xiàn)在有些國內(nèi)數(shù)據(jù)庫產(chǎn)品在技術(shù)上不遜于國外數(shù)據(jù)庫,甚至領先于國外產(chǎn)品。但是我覺得國產(chǎn)化比較大的難點在于用戶的使用習慣,許多用戶之前非常習慣使用一些傳統(tǒng)的國外軟件,這些軟件已經(jīng)在用戶的IT系統(tǒng)里穩(wěn)定運行了很多年,沒有遷移的必要,加之還會擔憂國產(chǎn)數(shù)據(jù)庫的穩(wěn)定性、遷移后的運維以及遷移耗費的工作量等等,這些因素都會讓用戶望而卻步。想要改變用戶對國產(chǎn)數(shù)據(jù)庫的認知以及使用習慣,尚需花費一段時間。
記者:在您看來,這個觀念需要花多久的時間才能轉(zhuǎn)變過來?
常雷:我覺得至少還需要幾年的時間才能轉(zhuǎn)變過來吧,用戶對于國產(chǎn)數(shù)據(jù)庫的信心、信任是需要時間培育的。如果市場上國產(chǎn)化軟件已經(jīng)占據(jù)了50%的市場了,那我相信剩下那50%也就很自然地接受了,目前國產(chǎn)化比例還比較低,大家還存有一定的擔憂,尤其用在核心業(yè)務系統(tǒng)上會更加謹慎。
“開源不是國產(chǎn)軟件的必經(jīng)之路”
記者:業(yè)內(nèi)很多專家認為基礎軟件想要取得長足發(fā)展,就要走開源的路線,您認為我們做國產(chǎn)數(shù)據(jù)庫必須要開源嗎?
常雷:我認為開源很好,但并不意味著開源一定能成功。很多國產(chǎn)的或者國外的數(shù)據(jù)庫產(chǎn)品,他們的成功依賴于開源,但不代表閉源就不能成功。從過去幾十年來看,以市場份額作為參考標準,閉源軟件占了絕大部分,像Oracle、微軟、亞馬遜等全球市場排名靠前的數(shù)據(jù)庫產(chǎn)品,都是閉源的;一些新興的創(chuàng)業(yè)公司產(chǎn)品,比如Snowflake也是閉源的,Databricks的Spark云上版本也是閉源的,這兩個公司取得了很大的成功。所以,開源和閉源都能成功,產(chǎn)品本身的水平,如穩(wěn)定性、背后支持它的公司、為用戶帶來的價值等才是成功的關(guān)鍵。此外,使用開源軟件對用戶也有一定的使用門檻,所以我認為不能說開源是國產(chǎn)軟件的必經(jīng)之路。
用戶需求是推進數(shù)據(jù)庫變革的原動力
記者:作為數(shù)據(jù)庫領域的多年“老兵”,您認為推動數(shù)據(jù)庫進入下一場變革的動力是什么?
常雷:無論是國內(nèi)還是國外,數(shù)據(jù)庫每五十年就要經(jīng)歷一次更新迭代,數(shù)據(jù)庫發(fā)展至今,這個賽道已經(jīng)非常大了,而本質(zhì)上推動數(shù)據(jù)庫變革的因素是用戶的需求。最早期,企業(yè)剛開始做電子化的時候,數(shù)據(jù)體量比較小,產(chǎn)生了早期的交易型數(shù)據(jù)庫,后面對數(shù)據(jù)的分析、處理能力提出了更高要求,逐步出現(xiàn)了分析型數(shù)據(jù)庫,最近數(shù)據(jù)庫又都在云原生化,這些都是用戶的需求推動著數(shù)據(jù)庫的變革。另一方面,其他領域的一些技術(shù)變革可能會帶來數(shù)據(jù)庫的變革,比如硬件的發(fā)展也可能會帶來數(shù)據(jù)庫的變革。
記者:近年來我們看到分布式、云原生這些技術(shù)融入到了數(shù)據(jù)庫領域,未來數(shù)據(jù)庫的發(fā)展該如何與時俱進?
常雷:我認為未來任何一款數(shù)據(jù)庫都一定要是云原生和分布式的,否則它就會被淘汰掉??梢钥吹剑罱鼛啄陙?,新興的數(shù)據(jù)庫基本全都是分布式+云原生的,新的產(chǎn)品會采用新的架構(gòu)形式,逐步淘汰老的產(chǎn)品,這是一個必然選擇。
記者:我了解到其實很多企業(yè)在做超融合數(shù)據(jù)庫,一套數(shù)據(jù)架構(gòu)解決了很多問題,您認為超融合架構(gòu)會是未來數(shù)據(jù)庫的發(fā)展方向嗎?
常雷:我覺得超融合已經(jīng)不是一個新概念了,比如早期的Oracle什么都能做,能做交易型、分析型、結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)、圖數(shù)據(jù)等等,其實Oracle就是一個超融合數(shù)據(jù)庫。數(shù)據(jù)庫一般會隨著用戶的需求添加更多的功能支持,站在數(shù)據(jù)庫開發(fā)者的角度,大家其實一直都在做這個事情。
(本內(nèi)容屬于網(wǎng)絡轉(zhuǎn)載,文中涉及圖片等內(nèi)容如有侵權(quán),請聯(lián)系編輯刪除。市場有風險,選擇需謹慎!此文僅供參考,不作買賣及投資依據(jù)。)
原創(chuàng)文章,作者:陳晨,如若轉(zhuǎn)載,請注明出處:http://m.2079x.cn/article/561045.html