一種基于Actor模型的彈性可伸縮的流處理框架

摘要： 流處理是一種重要的大數(shù)據(jù)應(yīng)用模式,在金融、廣告、物聯(lián)網(wǎng)、社交網(wǎng)絡(luò)等眾多領(lǐng)域得到了廣泛應(yīng)用.在流處理場(chǎng)景中,流數(shù)據(jù)的產(chǎn)生速度往往變化劇烈且不容易預(yù)測(cè).這時(shí),如果數(shù)據(jù)流量峰值超過(guò)處理系統(tǒng)的承載能力,可能使得系統(tǒng)運(yùn)行緩慢甚至崩潰,導(dǎo)致處理作業(yè)失效;如果為了應(yīng)對(duì)數(shù)據(jù)流量峰值而過(guò)度配置資源,則可能在系統(tǒng)輕載時(shí)產(chǎn)生不必要的浪費(fèi).為了解決流處理中負(fù)載和資源的匹配問(wèn)題,流處理系統(tǒng)應(yīng)該具有彈性可伸縮的能力,一方面以高效的方式組織運(yùn)算資源;另一方面能根據(jù)數(shù)據(jù)流量的實(shí)時(shí)變化自動(dòng)地調(diào)整資源使用量.然而,現(xiàn)有的流處理框架對(duì)于彈性可伸縮的支持尚很初步.介紹了一種基于Actor模型的彈性可伸縮的流處理框架eSault.eSault首先基于Actor模型將批量的處理單元進(jìn)行分層管理,通過(guò)2層路由機(jī)制實(shí)現(xiàn)了對(duì)伸縮性的支持;在此基礎(chǔ)上,設(shè)計(jì)一個(gè)基于數(shù)據(jù)處理延遲的過(guò)載判斷算法和基于數(shù)據(jù)處理速度的輕載判斷算法來(lái)指導(dǎo)系統(tǒng)對(duì)資源的有效使用,進(jìn)而實(shí)現(xiàn)彈性可伸縮的流處理.實(shí)驗(yàn)結(jié)果表明:eSault具有較好的性能,而且能夠很好地實(shí)現(xiàn)彈性可伸縮. （共11頁(yè)）