亞馬遜11月發(fā)布的數(shù)據(jù)流服務(wù) Kinesis 終于向公眾開(kāi)放了。
眼下隨著越來(lái)越多的公司從傳統(tǒng)批處理轉(zhuǎn)移到更加智能的云計(jì)算,數(shù)據(jù)流服務(wù)也開(kāi)始變得越來(lái)越流行。和傳統(tǒng)服務(wù)相比,數(shù)據(jù)流服務(wù)更快速,更便捷。它可以實(shí)時(shí)處理數(shù)據(jù),而不是向過(guò)去一樣花幾分鐘甚至幾小時(shí)來(lái)等待批量處理程序收集和處理全部?jī)?nèi)容。
過(guò)去 Storm 是處理此數(shù)據(jù)流任務(wù)的上佳工具。2011 年收購(gòu) Backtype 時(shí),Twitter “順便”將 Storm 創(chuàng)始人南森·馬茨(Nathan Marz)收入麾下。Storm 可以讓 Twitter 時(shí)間線保持實(shí)時(shí)更新,另外還能讓用戶(hù)追蹤突發(fā)事件。但它在完成長(zhǎng)期趨勢(shì)分析以及訓(xùn)練搜索引擎模塊時(shí),卻需要依賴(lài)其它工具。
與 Storm 一樣,Kinesis 也可以在把數(shù)據(jù)傳遞到另一數(shù)據(jù)庫(kù)之前,完成對(duì)這些內(nèi)容的實(shí)時(shí)處理。但不同的是,Kinesis 可以通過(guò)軟件套件處理超過(guò) 24 小時(shí)的數(shù)據(jù),每小時(shí)自動(dòng)分析的數(shù)據(jù)量高達(dá)幾百 TB。此外,Kinesis 還加入了針對(duì) Storm 的數(shù)據(jù)移植接口,AWS 數(shù)據(jù)科學(xué)部門(mén)總經(jīng)理馬特·伍德(Matt Wood)解釋說(shuō),此步設(shè)置是為了兼顧部分用戶(hù)在使用 Kinesis 收集數(shù)據(jù)時(shí),希望能繼續(xù)使用 Storm 來(lái)處理數(shù)據(jù)的要求。
SDK 是 Kinesis 的主要內(nèi)容,畢竟歸根結(jié)底,Kinesis 是用來(lái)“打開(kāi)創(chuàng)建更多敏捷性應(yīng)用的機(jī)會(huì)”。首批接入 Kinesis 數(shù)據(jù)流服務(wù)的用戶(hù)包括移動(dòng)游戲開(kāi)發(fā)商 Supercell 和營(yíng)銷(xiāo)服務(wù)平臺(tái) Bizo。前者主要通過(guò) Kinesis 生成具有實(shí)時(shí)數(shù)據(jù)流的主控板,后者主要用 Kinesis 接管此前需要大量人工服務(wù)的數(shù)據(jù)管道管理工作。
迄今為止,AWS 是唯一提供類(lèi)似服務(wù)的提供商。其它云計(jì)算服務(wù)商想要阻止用戶(hù)繼續(xù)選擇 AWS 的話,顯然需要拿出更加豐富的內(nèi)容,而不僅僅是 Hadoop 服務(wù)。