北京軟開發(fā)公司IT行業(yè)日新月異的發(fā)展有目共睹,然而有一個(gè)市場卻一直保持著穩(wěn)定而緩慢的發(fā)展腳步——存儲。相對于其他產(chǎn)品,存儲的技術(shù)門檻更高,無論是數(shù)據(jù)安全性、可恢復(fù)性、高可用性以及管理性,都要比其它的IT產(chǎn)品復(fù)雜的多。
然而隨著近幾年互聯(lián)網(wǎng)的不斷壯大,特別是云計(jì)算、大數(shù)據(jù)等技術(shù)的沖擊下,存儲領(lǐng)域也開始發(fā)生顛覆性變革,那就是介質(zhì)的變化。業(yè)務(wù)互聯(lián)網(wǎng)化、云化的需求越來越明顯,企業(yè)對于存儲的要求不再局限于處理的速度、容量和可靠性,而是能為數(shù)據(jù)中心帶來較優(yōu)效率、靈活性、規(guī)模、成本和數(shù)據(jù)保護(hù)的存儲解決方案。這些都使傳統(tǒng)存儲越來越無力招架,企業(yè)開始將希望寄于軟件定義技術(shù)。2015 年年中,傳統(tǒng)存儲行業(yè)老大EMC 被服務(wù)器廠商 DELL 收購為這場技術(shù)變革奠定重要的里程碑。
與此同時(shí),傳統(tǒng)虛擬化廠家 VMware 也推出 VSAN 來替代昂貴且過時(shí)的集中式存儲設(shè)備。以可彈性擴(kuò)展、更易用的存儲解決方案,降低數(shù)據(jù)中心的整體擁有成本。但VSAN的本質(zhì)是SAN存儲,提供的是“塊”接口的數(shù)據(jù)存儲功能,不提供NFS服務(wù)。為了滿足虛擬機(jī)中需要文件共享的需求,大多數(shù)情況下需要在單個(gè)虛擬機(jī)中部署NFS服務(wù),這種集中式的部署方式無法充分利用VSAN的橫向擴(kuò)展性能。
為了豐富VSAN存儲方案,VMware與以軟件定義存儲技術(shù)見長的達(dá)沃時(shí)代合作,由其開發(fā)VNAS提供并行文件服務(wù)。在接受51CTO記者采訪時(shí),達(dá)沃時(shí)代副總裁、CTO雷迎春博士介紹了VNAS與VSAN的協(xié)作方式,剖析了分布式文件系統(tǒng)的開發(fā)難度何在,同時(shí)也展望了他眼中的軟件定義技術(shù)發(fā)展趨勢。
VNAS:軟件定義的分布式并行NAS
VNAS是運(yùn)行在VMware虛擬中的一種NAS虛擬化服務(wù),它的部署非常簡單,利用VSAN虛擬出來的硬盤,通過VMware的vSphere一鍵操作即可完成部署。其核心是達(dá)沃自主研發(fā)的分布式文件系統(tǒng)YeeFS,對外提供標(biāo)準(zhǔn)的NFS/CIFS接口,以及集群式NAS服務(wù)。由于它與VSAN運(yùn)行在同一個(gè)宿主機(jī)上,即使VMs遷移了,還是可以實(shí)現(xiàn)對StorgeVM的就近訪問,與VMs位置無關(guān)。另外,通過創(chuàng)新數(shù)據(jù)調(diào)度等技術(shù),VNAS提供全活集群的保障機(jī)制,因此當(dāng)本地StorgeVM故障時(shí),VMs仍可以通過其他Host上的StorgeVM繼續(xù)訪問相關(guān)數(shù)據(jù)。當(dāng)然,VNAS對故障的判斷,需要VSAN提供相應(yīng)的物理資源信息。
除標(biāo)準(zhǔn)的NFS/CIFS接口外,VNAS也為客戶提供私有協(xié)議支持,為應(yīng)用提供符合工業(yè)標(biāo)準(zhǔn)的Posix接口。運(yùn)行在Windows、Linux操作系統(tǒng)之上的應(yīng)用軟件都不需要更改即可訪問。通過選擇私有協(xié)議的方式,避免不必要的協(xié)議處理,提升系統(tǒng)的可用性和可靠性。
為了使大家進(jìn)一步明確VNAS對VSAN性能的補(bǔ)充,雷迎春以具體應(yīng)用實(shí)例來加以說明。比如,雖然VSAN本身有Hadoop解決方案,但Hadoop的底層是HDFS文件接口,VNAS允許新增HDFS接口,從而更好地支持Hadoop應(yīng)用在VSAN環(huán)境下的運(yùn)行。
分布式存儲的核心在于共享
國內(nèi)提供分布式存儲服務(wù)的廠商并不少見,達(dá)沃作為一家成立只有五年的初創(chuàng)型公司,究竟憑借什么獲得VMware的青睞呢?雷迎春認(rèn)為,除了利于VMware在中國本土環(huán)境下的業(yè)務(wù)擴(kuò)展,更重要的是達(dá)沃在存儲領(lǐng)域,特別是分布式文件系統(tǒng)研發(fā)方面有較為領(lǐng)先的技術(shù)優(yōu)勢。
雷迎春談到,國內(nèi)存儲廠商中提供“塊”存儲服務(wù)的居多,真正自主研發(fā)分布文件系統(tǒng)的服務(wù)商還是很少見的。市場上見到的一些分布式文件存儲產(chǎn)品,也基本是基于GlusterFS、CephFS等開源系統(tǒng)。但對于企業(yè)存儲來說,可靠性永遠(yuǎn)是第一位的,因此在缺少足夠技術(shù)維護(hù)人員的情況下,開源存儲系統(tǒng)較難投入到企業(yè)真正的生產(chǎn)環(huán)境當(dāng)中。
雷迎春進(jìn)一步分析到,分布式文件系統(tǒng)的研發(fā)難度較大。很多應(yīng)用都依賴于文件系統(tǒng)提供的原子語義,這就要求分布式文件系統(tǒng)在保證性能的前提下,還需要使許多文件操作具有原子語義。例如,創(chuàng)建文件這個(gè)簡單操作就需要原子完成,要么成功,要么失敗,不允許中間過程,否則,系統(tǒng)就不一致,或者存在垃圾資源。
在云計(jì)算帶來的變革下,未來應(yīng)用部署的主流形式將主要集中在Docker和虛擬機(jī)中。“塊”存儲技術(shù)解決了盤陣的問題,但應(yīng)用上云后,應(yīng)用和應(yīng)用間共享數(shù)據(jù)時(shí),文件是一種常用的方式。對名字空間進(jìn)行虛擬化和統(tǒng)一,完成對海量數(shù)據(jù)的統(tǒng)一管理和共享。
應(yīng)用定義存儲是重要的趨勢之一
采訪較后雷迎春談到,存儲和應(yīng)用的耦合效力、耦合的好壞,會直接影響應(yīng)用的使用和效能。另一方面,不同的應(yīng)用對于存儲有不同的需求。例如,在傳統(tǒng)的三層架構(gòu)下,應(yīng)用與存儲間是分離的,它們之間一般通過iSCSI或NFS標(biāo)準(zhǔn)協(xié)議溝通。而在超融合架構(gòu)下,VSAN通過嵌入到vSphere框架實(shí)現(xiàn)應(yīng)用和存儲的直接溝通,獲得較好的性能和可靠性。應(yīng)用定義的存儲應(yīng)該是存儲發(fā)展的一個(gè)重要趨勢。
現(xiàn)在大家都在談?wù)摂?shù)據(jù)智能化,雷迎春認(rèn)為數(shù)據(jù)分析是其中重要的一方面,還有一個(gè)可以嘗試的方面是對數(shù)據(jù)語義的理解,挖掘數(shù)據(jù)之間的關(guān)系,進(jìn)而影響數(shù)據(jù)在物理介質(zhì)上的部署方式,改善存儲性能。當(dāng)然,做好這個(gè)工作的前提之一是需要對應(yīng)用有一定的理解。未來達(dá)沃將專注于解決存儲和應(yīng)用的結(jié)合問題,通過應(yīng)用超強(qiáng)的可調(diào)整性與存儲進(jìn)行良好的耦合,存儲努力地配合應(yīng)用的需求,使應(yīng)用開發(fā)者可以不用過多地關(guān)注存儲層面而把更多的精力放在業(yè)務(wù)層面。