|
新聞中心
當(dāng)前位置：網(wǎng)站首頁 > 新聞中心
數(shù)據(jù)科學(xué)最終遷移到云端的5個原因
在充斥著數(shù)據(jù)的世界中，數(shù)據(jù)科學(xué)家為企業(yè)產(chǎn)生洞察力提供幫助，并進(jìn)行預(yù)測，以實(shí)現(xiàn)更明智的業(yè)務(wù)決策。通常，這些數(shù)據(jù)科學(xué)家是統(tǒng)計分析和數(shù)學(xué)建模方面的專家，并且精通編程語言，例如R或Python。
但是，除少數(shù)大型企業(yè)外，大多數(shù)數(shù)據(jù)科學(xué)工作仍然在筆記本電腦或本地服務(wù)器上完成，導(dǎo)致流程低效，容易出錯和延遲。在對于一些行業(yè)領(lǐng)先廠商如何將數(shù)據(jù)用于工作進(jìn)行調(diào)查分析之后表明，“筆記本電腦的數(shù)據(jù)科學(xué)”將很快走上恐龍一樣的消亡之路。這是由于其效率低下，不能很好地進(jìn)行協(xié)作，也無法產(chǎn)生最佳效果。
以下是數(shù)據(jù)科學(xué)家應(yīng)該放棄筆記本電腦或本地服務(wù)器，并將其業(yè)務(wù)遷移到云端的五個充分的理由。
1.數(shù)據(jù)科學(xué)是一項(xiàng)團(tuán)隊(duì)運(yùn)動
算法和機(jī)器學(xué)習(xí)模型構(gòu)成了企業(yè)高級分析和機(jī)器學(xué)習(xí)難題的一部分。數(shù)據(jù)科學(xué)家、數(shù)據(jù)工程師、機(jī)器學(xué)習(xí)工程師、數(shù)據(jù)分析師和公民數(shù)據(jù)科學(xué)家都需要在這些元素上進(jìn)行協(xié)作，以便為業(yè)務(wù)決策提供數(shù)據(jù)驅(qū)動的見解。
當(dāng)數(shù)據(jù)科學(xué)家在他們的筆記本電腦上構(gòu)建模型時，他們會將數(shù)據(jù)工程師創(chuàng)建的數(shù)據(jù)集下載到他們的機(jī)器上，以構(gòu)建和訓(xùn)練機(jī)器學(xué)習(xí)模型。有時他們會使用本地服務(wù)器進(jìn)行構(gòu)建和培訓(xùn)，但通常采用的是筆記本電腦。由于筆記本電腦和本地服務(wù)器的處理計算能力和內(nèi)存有限，數(shù)據(jù)科學(xué)家必須對數(shù)據(jù)集進(jìn)行采樣，以創(chuàng)建更小、更易于管理的數(shù)據(jù)集。雖然這些樣本集可以幫助實(shí)現(xiàn)項(xiàng)目，但它們在數(shù)據(jù)科學(xué)生命周期的后期階段會產(chǎn)生許多問題。
數(shù)據(jù)過時也成為一個問題。有了這些數(shù)據(jù)的本地副本，數(shù)據(jù)科學(xué)家們可能會根據(jù)不準(zhǔn)確的全局快照來構(gòu)建預(yù)測。而在核心的云計算使用更大、更具代表性的樣本可以緩解這種擔(dān)憂。
2.大數(shù)據(jù)勝過智能算法
最近，人們對人工智能和機(jī)器學(xué)習(xí)的興趣激增，這是由于能夠在大量結(jié)構(gòu)化、非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)上快速處理和迭代(訓(xùn)練和調(diào)整機(jī)器學(xué)習(xí)模型)。幾乎在所有情況下，機(jī)器學(xué)習(xí)都得益于在更大、更具代表性的樣本集上進(jìn)行訓(xùn)練。
企業(yè)可以通過將半結(jié)構(gòu)化交互數(shù)據(jù)(網(wǎng)站交互日志、事件數(shù)據(jù))和非結(jié)構(gòu)化數(shù)據(jù)(電子郵件文本、在線評論文本)與結(jié)構(gòu)化交易數(shù)據(jù)(ERP、CRM、訂單管理系統(tǒng))相結(jié)合來解鎖強(qiáng)大的用例。從機(jī)器學(xué)習(xí)中釋放業(yè)務(wù)價值的關(guān)鍵是擁有結(jié)合事務(wù)和交互數(shù)據(jù)的大型數(shù)據(jù)集。隨著規(guī)模的擴(kuò)大，數(shù)據(jù)通常需要在云端或大型內(nèi)部部署集群中進(jìn)行處理。將筆記本電腦添加到混合部署中會在整個流程中造成瓶頸，并導(dǎo)致延遲。
3.數(shù)據(jù)科學(xué)需要靈活的基礎(chǔ)設(shè)施
如今，數(shù)據(jù)科學(xué)家可以利用許多開源機(jī)器學(xué)習(xí)框架，如R、SciKit Learn、Spark MLlib、TensorFlow、MXnet和CNTK。但是，在筆記本電腦或本地服務(wù)器上管理這些框架的基礎(chǔ)設(shè)施、配置和環(huán)境非常麻煩。管理基礎(chǔ)設(shè)施的額外開銷會占用核心處理數(shù)據(jù)科學(xué)活動的時間。
在軟件即服務(wù)模式中，大部分開銷都會消失。云計算的基于使用情況的定價模型對于機(jī)器學(xué)習(xí)工作負(fù)載很有效，而機(jī)器學(xué)習(xí)工作負(fù)載在本質(zhì)上是突發(fā)的。云計算還使探索不同的機(jī)器學(xué)習(xí)框架變得更容易，云計算供應(yīng)商提供模型托管和部署選項(xiàng)。此外，還包括公有云計算服務(wù)提供商提供智能功能作為服務(wù)，這就減少了將這些功能集成到新產(chǎn)品或應(yīng)用程序中的障礙。
4.中央存儲庫可提高數(shù)據(jù)準(zhǔn)確性和模型可審計性
機(jī)器學(xué)習(xí)模型的預(yù)測僅與用于訓(xùn)練它們的數(shù)據(jù)一樣準(zhǔn)確和具有代表性。人工智能和機(jī)器學(xué)習(xí)的每一種表現(xiàn)都可以通過提供高質(zhì)量的數(shù)據(jù)來實(shí)現(xiàn)。例如，提供轉(zhuǎn)向指示的應(yīng)用程序已存在數(shù)十年，但由于數(shù)據(jù)量較大，如今更加準(zhǔn)確。
因此，毫不奇怪，人工智能機(jī)器學(xué)習(xí)操作的重要部分圍繞數(shù)據(jù)物流展開，即數(shù)據(jù)集的收集、標(biāo)記、分類和管理，反映了人們試圖通過機(jī)器學(xué)習(xí)建模的現(xiàn)實(shí)世界。對于擁有大量數(shù)據(jù)用戶的企業(yè)而言，數(shù)據(jù)物流已經(jīng)很復(fù)雜。當(dāng)數(shù)據(jù)集的多個本地副本分散在這些用戶中時，問題才會變得更加嚴(yán)重。
此外，對安全和隱私的擔(dān)憂日益成為關(guān)注的焦點(diǎn)。企業(yè)數(shù)據(jù)流程需要符合數(shù)據(jù)隱私和安全法規(guī)。所有數(shù)據(jù)集的集中存儲庫不僅簡化了數(shù)據(jù)的管理和治理，還確保了數(shù)據(jù)一致性和模型可審計性。
5.更快的數(shù)據(jù)科學(xué)更有利于業(yè)務(wù)
所有上述原因都會導(dǎo)致基于筆記本電腦的數(shù)據(jù)科學(xué)延遲實(shí)現(xiàn)價值。在筆記本電腦或本地服務(wù)器上工作的數(shù)據(jù)科學(xué)家的典型工作流程中，第一步是對數(shù)據(jù)進(jìn)行采樣，并手動將數(shù)據(jù)集下載到本地系統(tǒng)，或通過ODBC驅(qū)動程序連接到數(shù)據(jù)庫。第二步是安裝所有必需的軟件工具和軟件包，如RStudio、Jupyter Notebook、Anaconda發(fā)行版，機(jī)器學(xué)習(xí)庫和語言版本，如R、Python和Java。
當(dāng)模型準(zhǔn)備好部署到生產(chǎn)中時，數(shù)據(jù)科學(xué)家將其交給機(jī)器學(xué)習(xí)工程師。然后，機(jī)器學(xué)習(xí)工程師必須將代碼轉(zhuǎn)換為生產(chǎn)語言(如Java、Scala或C ++)，或者至少優(yōu)化代碼并與應(yīng)用程序的其余部分集成。代碼優(yōu)化包括將任何數(shù)據(jù)查詢重寫為ETL作業(yè)，分析代碼以查找任何瓶頸，以及添加日志記錄，、容錯和其他生產(chǎn)級功能。
這些步驟中的每一步都存在可能導(dǎo)致延遲的瓶頸。例如，開發(fā)和生產(chǎn)環(huán)境之間的軟件或軟件包版本的不一致可能導(dǎo)致部署問題。在Windows或Mac環(huán)境中構(gòu)建的代碼在部署到Linux時肯定會中斷。
在筆記本電腦上運(yùn)行數(shù)據(jù)科學(xué)的所有上述問題都會導(dǎo)致業(yè)務(wù)價值的損失。數(shù)據(jù)科學(xué)涉及數(shù)據(jù)準(zhǔn)備、模型構(gòu)建和模型驗(yàn)證中的資源密集型任務(wù)。數(shù)據(jù)科學(xué)家通常會重復(fù)數(shù)百次嘗試不同的特性、算法和模型規(guī)范，然后才能找到他們要解決的業(yè)務(wù)問題的正確模型。這些迭代可能需要大量的時間。圍繞基礎(chǔ)設(shè)施和環(huán)境管理、部署和協(xié)作施加瓶頸可能進(jìn)一步延遲企業(yè)實(shí)現(xiàn)價值的時間。
依靠筆記本電腦或本地服務(wù)器的數(shù)據(jù)科學(xué)家們在容易入門和易于擴(kuò)展和生產(chǎn)電離機(jī)器學(xué)習(xí)模型之間做出了一個不明智的權(quán)衡和選擇。雖然在使用筆記本電腦或本地服務(wù)器時，數(shù)據(jù)科學(xué)團(tuán)隊(duì)的運(yùn)行速度更快，但云計算平臺提供了更大的長期優(yōu)勢，其中包括無限制的計算能力和存儲、更容易的協(xié)作、更簡單的基礎(chǔ)設(shè)施管理和數(shù)據(jù)治理，最重要的是，生產(chǎn)時間更快。
在云端開始使用數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)的最快和最具成本效益的方法是使用基于云計算的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)平臺。至少在這個用例中，筆記本電腦的未來發(fā)展是有限的。
|
