【資料圖】

在大數(shù)據(jù)時(shí)代下，隨著互聯(lián)網(wǎng)、云存儲(chǔ)等技術(shù)的高速發(fā)展，實(shí)際分析處理中遇到的數(shù)據(jù)規(guī)模越來(lái)越大。盡管大規(guī)模函數(shù)型數(shù)據(jù)可以給我們帶來(lái)海量信息，但是其對(duì)計(jì)算資源有著更高的需求，所需的計(jì)算時(shí)間更長(zhǎng)，這也極大地提升了計(jì)算成本，影響數(shù)據(jù)分析的時(shí)效性、可操作性。因此如何解決大規(guī)模函數(shù)型數(shù)據(jù)分析時(shí)，遇到的存儲(chǔ)空間和計(jì)算效率等方面的難題是大數(shù)據(jù)時(shí)代下函數(shù)型數(shù)據(jù)分析的一個(gè)重要問(wèn)題。

近日，針對(duì)上述問(wèn)題，西安交通大學(xué)經(jīng)濟(jì)與金融學(xué)院青年教師劉華博士、上海財(cái)經(jīng)大學(xué)統(tǒng)計(jì)與管理學(xué)院教授尤進(jìn)紅博士和加拿大西蒙弗雷澤大學(xué)教授Jiguo Cao博士進(jìn)行了深入的研究。他們首次把子抽樣思想應(yīng)用到函數(shù)型數(shù)據(jù)分析，開發(fā)出適應(yīng)于函數(shù)型廣義回歸模型的最優(yōu)抽樣方法Functional L-Optimality Subsampling（FLoS），以此來(lái)實(shí)現(xiàn)減少計(jì)算時(shí)間、克服內(nèi)存不足等問(wèn)題的目標(biāo)。除此之外，作者還通過(guò)理論和一系列的數(shù)值模擬來(lái)說(shuō)明了該抽樣方法的準(zhǔn)確性和有效性。

科研人員把提出的最優(yōu)抽樣方法FLoS用于分析器官移植數(shù)據(jù)案例，該數(shù)據(jù)收集了幾十萬(wàn)名腎臟器官移植接受者在接受器官移植手術(shù)時(shí)的信息，并記錄了這些移植手術(shù)接受者在術(shù)后每次隨訪的信息，因此其是一個(gè)數(shù)據(jù)量非常龐大的且包含函數(shù)型數(shù)據(jù)的數(shù)據(jù)集。他們想要用接受者術(shù)后的腎小球過(guò)濾率曲線來(lái)判斷移植手術(shù)能否成功并且預(yù)估他們?cè)谛g(shù)后的大致壽命。通過(guò)分析與對(duì)比，他們發(fā)現(xiàn)基于FLoS方法抽取到的最優(yōu)子樣本得到的抽樣估計(jì)和全樣本下的估計(jì)幾乎完全一致，進(jìn)一步驗(yàn)證了該最優(yōu)抽樣方法的準(zhǔn)確性和有效性。

研究成果發(fā)表在JMLR.（圖源JMLR網(wǎng)站）

近日，上述研究成果以《大規(guī)模函數(shù)型廣義回歸模型下的最優(yōu)抽樣方法FLoS》為題發(fā)表在機(jī)器學(xué)習(xí)和人工智能領(lǐng)域國(guó)際頂級(jí)期刊Journal of Machine Learning Research（簡(jiǎn)稱JMLR）上。劉華是第一作者，西安交通大學(xué)經(jīng)濟(jì)與金融學(xué)院是第一署名單位。JMLR由麻省理工學(xué)院出版社出版，依托于麻省理工學(xué)院的計(jì)算機(jī)科學(xué)與人工智能實(shí)驗(yàn)室，是國(guó)際上公認(rèn)的計(jì)算機(jī)領(lǐng)域頂級(jí)期刊之一。

關(guān)鍵詞：