6月13日消息，騰訊云數(shù)據(jù)庫TDSQL和中國人民大學(xué)合作的2篇論文成功入選行業(yè)頂級會議SIGMOD，被SIGMOD 2024 Research Full Paper（研究類長文）收錄。
SIGMOD（Special Interest Group on Management Of Data）作為數(shù)據(jù)庫領(lǐng)域的“風(fēng)向標(biāo)”，擁有40余年發(fā)展歷史，每年為數(shù)據(jù)庫領(lǐng)域提供大量高質(zhì)量的研究論文和研究成果，具有重要的學(xué)術(shù)價值和行業(yè)引導(dǎo)意義，與VLDB、ICDE并稱數(shù)據(jù)庫三大頂級會議。
本次收錄的研究成果中，同態(tài)壓縮理論和SALI學(xué)習(xí)索引框架均屬于業(yè)界首次提出，表明騰訊云數(shù)據(jù)庫在存儲、壓縮以及學(xué)習(xí)索引等方面的前沿創(chuàng)新獲得國際權(quán)威認可。
面對現(xiàn)代社會數(shù)據(jù)量的爆發(fā)式增長，行業(yè)普遍使用數(shù)據(jù)壓縮來減少存儲空間和提升傳輸效率。
但目前，多數(shù)壓縮方案專注于只讀文本處理任務(wù)，涉及文本修改操作必須將文本進行解壓后再執(zhí)行，這會對數(shù)據(jù)處理的性能和存儲空間帶來負面影響。
在騰訊云和人大合作入選SIGMOD會議的論文《Homomorphic Compression: Making Text Processing on Compression Unlimited》中，研究團隊創(chuàng)新性提出了同態(tài)壓縮理論，并在此基礎(chǔ)上開發(fā)了高效文本數(shù)據(jù)管理引擎HOCO。HOCO引擎結(jié)合了三種代表性壓縮方案，通過數(shù)據(jù)結(jié)構(gòu)和算法設(shè)計實現(xiàn)對不同數(shù)據(jù)集語法規(guī)則的解析，實現(xiàn)了在壓縮文本上直接進行多種處理任務(wù)。
實驗表明，在不影響壓縮效果的情況下， HOCO可以實現(xiàn)9.18倍的吞吐量提升，文本分析任務(wù)的延遲縮短7.16倍。
另一篇入選論文《SALI: A Scalable Adaptive Learned Index based on Probability Models》提出了基于概率模型的可擴展自適應(yīng)學(xué)習(xí)索引框架。
在數(shù)據(jù)庫中，索引是提高數(shù)據(jù)庫查詢性能的重要方式。為了提高索引的性能和效率，業(yè)內(nèi)引進了學(xué)習(xí)索引，通過學(xué)習(xí)模型來預(yù)測數(shù)據(jù)存儲位置，進一步提高查找效率。但傳統(tǒng)學(xué)習(xí)索引存在技術(shù)局限，一旦數(shù)據(jù)集發(fā)生頻繁查詢更新等工作負載變化，學(xué)習(xí)索引也會頻繁調(diào)整，多線程高并發(fā)情況下會面臨阻塞。SALI 通過概率模型感知工作負載的變化，使學(xué)習(xí)索引可動態(tài)“進化”局部結(jié)構(gòu)以適應(yīng)新的負載。此方法在盡可能減少結(jié)構(gòu)變化對性能的影響的同時，大幅降低線程間阻塞問題，從而實現(xiàn)高可擴展性、提高效率并增強學(xué)習(xí)索引的魯棒性。
實驗數(shù)據(jù)顯示，SALI在64個線程下提高了2.04倍的插入吞吐量。
作為國產(chǎn)數(shù)據(jù)庫行業(yè)的開拓者，騰訊云在數(shù)據(jù)庫領(lǐng)域已深耕十余年，服務(wù)超過50萬客戶。而中國人民大學(xué)作為數(shù)據(jù)庫研究的搖籃，為數(shù)據(jù)庫技術(shù)在中國的持續(xù)發(fā)展奠定了堅實基礎(chǔ)。2020年，騰訊與中國人民大學(xué)共同建立中國人民大學(xué)-騰訊協(xié)同創(chuàng)新實驗室，聚焦數(shù)據(jù)庫前沿技術(shù)探索和突破。據(jù)悉，合作至今，雙方在科研方面研發(fā)超過10項前沿技術(shù)原型系統(tǒng)、申請數(shù)十項專利、多篇論文入選SIGMOD、VLDB、ICDE、TKDE等國際頂會頂刊。未來，騰訊將持續(xù)發(fā)揮其多年的技術(shù)研發(fā)創(chuàng)新成果和產(chǎn)業(yè)應(yīng)用經(jīng)驗，聯(lián)合人大一起推動國產(chǎn)數(shù)據(jù)庫的學(xué)術(shù)進步和技術(shù)成果轉(zhuǎn)化。
本文轉(zhuǎn)載自：，不代表科技訊之立場。原文鏈接：http://v.mrkbao.com/news/111202406131503237464176006.html
