新聞中心
當(dāng)前位置:網(wǎng)站首頁(yè) > 新聞中心
根治Kubernetes“存儲(chǔ)頭痛癥”的方法
如果您已經(jīng)在使用Kubernetes了,則可能有一個(gè)簡(jiǎn)單的原因:它使您的生活更輕松。畢竟,這是基于容器編排的整個(gè)前提。它讓基礎(chǔ)設(shè)施變得可支配,在需要時(shí)將其旋轉(zhuǎn),完成后將其丟棄,因此您不必考慮太多。至少,這就是應(yīng)該起作用的方式。
如你所知,如果你已經(jīng)建立起一個(gè)依賴于持久性數(shù)據(jù)的工作,你會(huì)馬上遇到一個(gè)大問(wèn)題——存儲(chǔ)。
盡管Kubernetes完全抽象了計(jì)算和網(wǎng)絡(luò)基礎(chǔ)架構(gòu),但是當(dāng)您的應(yīng)用程序是有狀態(tài)的并且數(shù)據(jù)是持久的時(shí),它需要合適的方式進(jìn)行存儲(chǔ)。您仍必須了解底層存儲(chǔ)基礎(chǔ)架構(gòu)的全部知識(shí),才能找到所需數(shù)據(jù)的方式。
不僅是數(shù)據(jù)的位置,還有其他類型的存儲(chǔ)基礎(chǔ)結(jié)構(gòu)附帶的所有其他細(xì)粒度的考慮因素(性能,保護(hù),彈性,數(shù)據(jù)治理和成本),大多數(shù)數(shù)據(jù)科學(xué)家都不想考慮。
為什么在云原生世界中,我們已經(jīng)自動(dòng)化了對(duì)這么多底層硬件復(fù)雜性的管理,所以存儲(chǔ)仍然如此痛苦?原因是兩個(gè)詞:數(shù)據(jù)孤島。
只要我們繼續(xù)通過(guò)其賴以生存的不同基礎(chǔ)架構(gòu)來(lái)管理數(shù)據(jù),而不是只關(guān)注數(shù)據(jù)本身,我們將不可避免地最終要花費(fèi)大量的存儲(chǔ)孤島。幸運(yùn)的是,這不是一個(gè)棘手的問(wèn)題。通過(guò)將我們對(duì)數(shù)據(jù)管理的思考方式從以基礎(chǔ)架構(gòu)為中心的方法轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心的方法,我們可以使用Kubernetes首先給我們提供承諾:制作存儲(chǔ)SEP(Someone Else‘s Problem)。
當(dāng)您需要的數(shù)據(jù)散布在不同的存儲(chǔ)孤島上時(shí),每個(gè)存儲(chǔ)孤島都有自己的獨(dú)特屬性(“或”或“云”,“本地”,“對(duì)象”,“高性能”等),根本無(wú)法抽象出基礎(chǔ)架構(gòu)注意事項(xiàng)。仍然有人必須回答所有有關(guān)性能,成本和數(shù)據(jù)治理的問(wèn)題,才能建立您的管道。(如果該人是您要尋求幫助的IT管理員,您可以打賭他們每次在您的名字上出現(xiàn)您的名字時(shí)都會(huì)畏縮。因?yàn)樗麄冎浪麄儗⒒ㄙM(fèi)大量時(shí)間在神秘的基礎(chǔ)結(jié)構(gòu)接口上來(lái)破壞您的數(shù)據(jù)跨所有不同的副本和數(shù)據(jù)存儲(chǔ),而且他們根本無(wú)法在午餐前完成任務(wù)。
擺脫這種頭痛的唯一方法-真正實(shí)現(xiàn)Kubernetes應(yīng)該為您提供的速度和簡(jiǎn)便性的唯一方法-是虛擬化數(shù)據(jù)?;旧?,您需要在數(shù)據(jù)和所有各種存儲(chǔ)基礎(chǔ)架構(gòu)之間建立一個(gè)智能抽象層。該抽象層應(yīng)該使您可以在任何地方查看和訪問(wèn)數(shù)據(jù),而不必?fù)?dān)心給定的基礎(chǔ)架構(gòu)是否具有適合您正在執(zhí)行的操作的成本,位置或治理,也不必不斷創(chuàng)建新副本。
做到這一點(diǎn)并不像聽(tīng)起來(lái)那么困難。關(guān)鍵:元數(shù)據(jù)。當(dāng)您可以將所有數(shù)據(jù)需求,上下文或沿襲注意事項(xiàng)編碼為隨處可見(jiàn)數(shù)據(jù)的元數(shù)據(jù)時(shí),那么在任何給定時(shí)刻駐留在哪個(gè)基礎(chǔ)結(jié)構(gòu)數(shù)據(jù)上就不再重要。現(xiàn)在,當(dāng)您建立數(shù)據(jù)管道時(shí),您可以完全使用元數(shù)據(jù)。而且您的虛擬化層可以使用AI / ML為您自動(dòng)處理所有基礎(chǔ)數(shù)據(jù)管理和基礎(chǔ)結(jié)構(gòu)注意事項(xiàng)。
一旦建立了虛擬化層,并通過(guò)元數(shù)據(jù)進(jìn)行數(shù)據(jù)管理,就可以執(zhí)行以前無(wú)法完成的各種事情。
1. 消除數(shù)據(jù)孤島:現(xiàn)在,您需要的數(shù)據(jù)位于哪個(gè)基礎(chǔ)架構(gòu)上或該基礎(chǔ)架構(gòu)位于什么位置都無(wú)所謂。對(duì)于您的應(yīng)用程序,所有那些以前孤立的存儲(chǔ)資源(本地,云,混合,歸檔)看起來(lái)就像一個(gè)通用的全局名稱空間。
2. 以編程方式訪問(wèn)存儲(chǔ)資源:由于您在處理元數(shù)據(jù)(而不是一堆不同的底層硬件基礎(chǔ)結(jié)構(gòu)),因此您現(xiàn)在可以設(shè)置管道并通過(guò)聲明性語(yǔ)句訪問(wèn)數(shù)據(jù):我需要具有這種性能的數(shù)據(jù),僅此而已真的很在乎。然后,智能虛擬化層就可以實(shí)現(xiàn)并實(shí)現(xiàn),而您的應(yīng)用程序(或您負(fù)擔(dān)過(guò)重的IT管理員)則無(wú)需確切說(shuō)明操作方法。
3. 使數(shù)據(jù)管理實(shí)現(xiàn)自助服務(wù):數(shù)據(jù)科學(xué)家無(wú)需擔(dān)心比較不同存儲(chǔ)類型的成本,啟用數(shù)據(jù)保護(hù)或確保每次建立管道時(shí)都滿足安全性和合規(guī)性要求。(因此,您的IT和安全團(tuán)隊(duì)可能也不希望數(shù)據(jù)科學(xué)家做出這些選擇-除非他們希望所有內(nèi)容都在最昂貴的存儲(chǔ)上運(yùn)行且沒(méi)有適當(dāng)?shù)淖駨男浴?一旦將元數(shù)據(jù)和數(shù)據(jù)的管理分開(kāi),所有消失了。存儲(chǔ)管理員可以通過(guò)配置一次基本策略來(lái)設(shè)置防護(hù)欄。然后,用戶可以從此開(kāi)始自助滿足其大多數(shù)數(shù)據(jù)管理需求,而無(wú)需打開(kāi)票證,并且不會(huì)在每次建立管道時(shí)手動(dòng)進(jìn)行這些調(diào)用時(shí)出現(xiàn)錯(cuò)誤。
4. 不斷豐富您的數(shù)據(jù):當(dāng)系統(tǒng)支持可自定義的,可擴(kuò)展的元數(shù)據(jù)時(shí),您現(xiàn)在可以進(jìn)行各種有趣的事情。例如,您可以構(gòu)建遞歸流程,在其中通過(guò)系統(tǒng)運(yùn)行數(shù)據(jù),獲取一些結(jié)果,將這些結(jié)果添加回元數(shù)據(jù),然后再次運(yùn)行作業(yè)。您可以開(kāi)始對(duì)數(shù)據(jù)周圍的數(shù)據(jù)建立深入的上下文理解。處理和使用的數(shù)據(jù)越多,將來(lái)用于其他作業(yè)的數(shù)據(jù)就越豐富。而且,對(duì)于要使用它的任何其他應(yīng)用程序或數(shù)據(jù)科學(xué)家來(lái)說(shuō),現(xiàn)在,智能總是隨處可見(jiàn)。它并不局限于一個(gè)副本,而是藏在某個(gè)地方的一個(gè)存儲(chǔ)孤島上。
當(dāng)您虛擬化數(shù)據(jù)時(shí),所有這些事情都是可能的,因?yàn)榕c孤立的存儲(chǔ)基礎(chǔ)架構(gòu)相比,元數(shù)據(jù)的使用更加靈活。設(shè)置和編排數(shù)據(jù)管道所伴隨的存儲(chǔ)注意事項(xiàng)現(xiàn)在可以為您解決。您的存儲(chǔ)資源將變?yōu)榭删幊痰?,自助服?wù)的并且自動(dòng)合規(guī),通常不需要手動(dòng)干預(yù)。
突然之間,您實(shí)際上生活在這樣一個(gè)現(xiàn)實(shí),即Kubernetes和軟件定義的存儲(chǔ)始終應(yīng)該交付。無(wú)論基礎(chǔ)架構(gòu)如何,存儲(chǔ)都是軟件定義的,可編程的并且在混合云環(huán)境中保持一致。您的數(shù)據(jù)更豐富,更靈活。您的IT團(tuán)隊(duì)不再將ID卡上的爆炸照片留在墻上扔鏢。最重要的是,您實(shí)際上在處理數(shù)據(jù)上花費(fèi)了更多時(shí)間,而不用擔(dān)心數(shù)據(jù)的存放位置。
作者:佚名? 來(lái)源:IT168網(wǎng)站
|