AWS vs Paperspace vs FloydHub: Veldu GPU félaga þinn

Með djúpt nám sem setti svip sinn á næstum alla atvinnugreinar í dag hefur eftirspurn og áhugi fyrir hlutverkum eins og „Gagnafræðingur“, „ML / DL verkfræðingur“, „AI vísindamaður“ o.fl. orðið aukning án fordæmis. Fleiri og fleiri nemendur, nýútskrifaðir og iðnaðarmenn gera sér grein fyrir nauðsyn þess að fylgjast vel með þessari nýjustu tækni og eru að taka námskeið, vottanir og störf á þessum sviðum. Þegar þú hefur ákveðið að hoppa inn í lénið er það fyrsta sem þú þarft til að ná þér í háan tölvuafl. Það er þar sem GPUs koma inn.

Það er kostnaðarsamt að smíða eigin djúpa námsleið. Þáttur í kostnaði við hratt og öflugt GPU, örgjörva, SSD, samhæft móðurborð og aflgjafa, loftræstingarreikninga, viðhald og skemmdir á íhlutum. Ofan á það áttu á hættu að falla á nýjasta vélbúnaðinn í þessum iðnaði sem hratt er að aukast.

Þar að auki er bara ekki nóg að setja íhlutina saman. Þú verður að setja öll nauðsynleg bókasöfn og samhæfða rekla áður en þú getur byrjað að þjálfa fyrstu gerðina þína. Fólk fer enn þessa leið og ef þú ætlar að nota djúpt nám mikið (> 150 klst. / Mán.) Gæti það verið rétta leiðin að byggja upp eigin vinnustað fyrir djúpt nám.

Betri og ódýrari valkostur er að nota skýjatengda GPU netþjóna frá Amazon, Google, Microsoft og öðrum, sérstaklega ef þú ert bara að brjótast inn á þetta lén og ætlar að nota tölvukraftinn til að læra og gera tilraunir. Ég hef notað AWS, Paperspace og FloydHub undanfarna 4-5 mánuði. Google Cloud Platform og Microsoft Azure voru svipuð og AWS í verðlagningu þeirra og framboðum, þess vegna festist ég við þremur sem áður voru nefndir.

AWS: Vinsælasti skýjaþjónustan. Býður upp á örugg og stigstærð GPU-tilvik ásamt viðbótar AI samþættingum eins og Polly, Rekognition, Lex og AWS Machine Learning (fáanleg á sumum svæðum).

Paperspace: Cloud VMs með GPU stuðning fyrir leiki, hönnun og forritun (ML / DL) þarfir. Býður upp á nýjustu NVIDIA GPUs ásamt fyrirfram uppsettum pakka og nokkrum DL ramma á samkeppnishæfu verði.

FloydHub: Markaðssett sem „Heroku fyrir DL“, stuðlar Floyd að samstarfi við opinn aðila með því að kynna opinber verkefni og gagnapakka. Er með sína eigin CLI fyrir þjálfunarlíkön sem nota Caffe, PyTorch, Chainer, MxNet, TF, Keras og fleiri.

Veldu p2.xlarge dæmi með teygjanlegu IP og 30GB EBS bindi (hluti af Free Tier) á AWS, Ubuntu ML-í-a-kassa GPU + VM með 50GB SSD á Paperspace og Base Data Scientist Plan án nokkurra powerups á FloydHub.

Samanburðurinn á milli þriggja getur verið umfangsmikill þar sem hver og einn býður upp á einstaka ávinning. Hins vegar mun ég halda því takmörkuðu við sex lykilatriði sem myndu skipta mestu máli fyrir byrjendur á þessu sviði eða einhverjum sem hyggst nota þessa vettvang fyrir smáhugamál verkefni.

[Uppfærsla | Maí 2018]: Þessi færsla er nú meira en 6 mánaða gömul. Á þessu tímabili síbreytilegs tækni með uppfærslu á vélbúnaði / hugbúnaði verður hver samanburður á milli mismunandi tæknipalla fljótt gamaldags. Þannig hef ég bætt við búningum af UPDATE hlutum á viðeigandi stöðum í þessari færslu og einn til að draga saman þetta allt í lokin. Uppfærslurnar ættu þó engan veginn að teljast tæmandi.

Auðvelt að setja upp:

Það er erfitt að setja upp fullkomlega stillt dæmi á AWS, þrátt fyrir að hafa umfangsmiklar leiðbeiningar um uppsetningu á vefnum. Keyra þarf viðeigandi skelrit til að stilla EBS bindi, setja upp sérstaka IP og setja einnig upp nauðsynlega pakka, hugbúnaðartæki og DL bókasöfn. Auðvitað, þú getur notað nokkrar af lausu tiltækum Deep Learning AMI-tækjunum. Engu að síður þurfa þeir enn svolítið áreynslu.

Aftur á móti leggur Paperspace og FloydHub metnað sinn í að leyfa notendum sínum að setja upp tilvikin á nokkrum mínútum. Með FloydHub þarftu að setja upp sérstakan CLI. Leiðbeiningarnar sem fylgja eru þó nokkuð skýrar og þegar þú hefur skráð þig inn finnurðu að þú ert velkominn í fjölda mismunandi DL umhverfis. Það er ekki heldur erfitt að setja upp viðbótarpakka. Á Paperspace geturðu einnig keyrt dæmi innan nokkurra smella, þó að einhverjir viðbótarpakkar og rammar gætu þurft handvirka uppsetningu til að fá fullkomna reynslu.

Reynsla notanda :

Að hlaða / hala niður gagnapökkum er stærsti sársaukapunkturinn þegar GPU þjónusta er notuð. Með AWS er ​​hægt að nota FileZilla Client til að flytja skrár. Að nota skipanir eins og krulla og wget frá flugstöðinni virka ekki alltaf og það er hægt að treysta á önnur opinn járnsög. AWS gerir það þó kleift að hlaða / hlaða niður gögnum fyrir Kaggle keppnir í gegnum kaggle-cli. Paperspace veitir 1Gbps trefjar internet og vafra. Eins og er býður það einnig upp drag-and-drop-aðgerð fyrir Windows vélar (kemur brátt fyrir Linux) til að flytja skrár frá staðbundinni vél þinni til VM beint. Þegar FloydHub er notað verður maður að hala niður gagnapakkanum á staðnum og hlaða því síðan inn á reikninginn sinn. Kóðann og gögnin verður að geyma sérstaklega á þínu heimamarki, þar sem í hvert skipti sem handritið keyrir er allt innihald möppunnar hlaðið upp.

Paperspace og FloydHub, sem eru nýir aðilar í blokkinni, falla að baki AWS hvað varðar opinn stuðning samfélagsins, framboð námskeiða og vídeótilraunir. Opinber gögn þeirra og dæmi eru þó nokkuð yfirgripsmikil.

Það sem þarf að hafa í huga: Floyd CLI tekur nokkurn tíma að venjast. Fullt af ferlum er frábrugðið venjulegri notkun á skjá eða skjáborði. Þess vegna er það góð hugmynd að fara trúarlega í gegnum FloydHub skjölin og algengar spurningar. Ef þú ert Paperspace notandi langt í burtu frá Bandaríkjunum (Austur-Evrópa / Asía) skaltu búast við einhverri töf meðan þú notar skjáborðsumhverfið.

Vélbúnaður / hugbúnaður í boði:

AWS og FloydHub nota Tesla K80 GPU (12GB vRAM) og 61GB vinnsluminni, en Paperspace hefur valkosti fyrir Quadro M4000 (8GB vRAM), par úr Pascal röð (16–24GB vRAM) og jafnvel nýjustu Volta seríuna, Tesla V100 (16GB vRAM) ), hvor með 30GB vinnsluminni. Til að gefa gróft mat eru Pascal seríur GPU 3x hraðari en K80, en V100 er 6 sinnum hraðar en K80. AWS og Paperspace nota einnig SSD og sérstök GPU-tilvik, en FloydHub býður upp á val á milli forgildra og hollra GPU-gagna.

Venjulegur háttur til að keyra forskriftir fyrir þessa þjónustu er í gegnum Jupyter fartölvur eða beint framkvæmd þeirra á flugstöðinni. Paperspace, í krafti þess að bjóða upp á skjáborðsumhverfi, leyfa einnig IDEs eins og Spyder og aðrar hugbúnaðaraðgerðir. Tilvist Linux skjáborðs er mjög þægileg.

[Uppfærsla | Maí 2018]: Allir þessir þrír (AWS / Paperspace / FloydHub) hafa nú uppfært sig í NVIDIA Volta GPUs, þannig að frábær skyndiþjálfun og ályktun er möguleg núna. Hvað varðar hugbúnað og ramma hefur AWS uppfært Deep Learning AMI sitt, sem felur í sér fyrirfram uppsett ramma eins og Chainer, TensorFlow, Keras, PyTorch. FloydHub er nú þegar með nýjustu útgáfur af öllum þessum ramma.

Frammistaða :

Sem kvótaæfing bar ég saman þjálfun margra gerða á öllum þremur kerfum undir sama umhverfi (Keras + Theano á Jupyter).
AWS - p2.xlarge (Tesla K80, 12GB vRAM, 61GB vinnsluminni)
Paperspace - GPU + VM (Quadro M4000, 8GB vRAM, 30GB RAM)
FloydHub - Tesla K80, 12GB vRAM, 61GB (jafngildir grunnskipulagi)

Tvær gerðir voru þjálfaðar - Djúpt CNN líkan með brottfalli á töflu MNIST gagnapakka og fínstillt forþjálfað VGG16 net í flokkunarverkefni matvöruvöru. Árangur þeirra er sýndur hér að neðan.

Gerðu afköst á mismunandi kerfum (minni er betri)

AWS p2.xlarge og Paperspace GPU + hafa næstum jafngóða afköst og AWS er ​​aðeins á undan. Ef við notum Pascal útgáfurnar á Paperspace, sem eru enn ódýrari en AWS, er búist við að líkanafkoman verði 3x eins hröð og AWS. Þrátt fyrir að nota sama vélbúnað, er FloydHub við ~ 0,75x af AWS, líklega vegna hægari diskhestahraða.

[UPPDATE | Maí 2018]: Þetta er líklega áhugaverðasta uppfærslan. Þegar ég keyrði sömu tilraunir / forskriftir og getið er hér að ofan, nýlega, fann ég mikla framför í þjálfunartímanum á FloydHub. Nýjustu tölur sýna að þær eru sambærilegar við AWS eða Paperspace GPU + eða jafnvel betri. FloydHub virðist hafa lagað I / O málin og hafa uppfært í nýjustu TensorFlow, Keras og PyTorch útgáfur, það virðist hafa gert kraftaverk fyrir þennan vettvang. Tíska MNIST handrit tekur nú 8s / tíma meðan þjálfun stendur, en Forþjálfað VGG16 handrit tekur nú mun minna (~ 100s / epoch). Þó að ég hafi ekki kannað hvort Paperspace hafi líka valdið nokkrum endurbótum á því sama, þá hefur AWS það ekki. Svo í bili kemur FloydHub fram sem fljótastur meðal þriggja.

Viðbótaraðgerðir:

Bæði Paperspace og FloydHub bjóða upp á sérsniðnar áætlanir fyrir lið. Hins vegar eru tengdir eiginleikar Floyd, svo sem miðlægur miðlun gagnapakka / verkefna, útgáfa ýmissa starfshlaupa til að auðvelda endurtakanleika og stuðning við hratt.ai og Udacity MOOCs hjálpa til við samvinnu og stuðla að andrúmslofti í opnum tilgangi. Floyd leyfir einnig starf samtímis. AWS býður upp á multi-GPU tilvik en FloydHub og Paperspace styðja aðeins eitt GPU-kerfi.

[UPPDATE | Maí 2018]: Þó að AWS hafi einbeitt sér meira að hliðarforritum sem eru hlynnt fyrirtækis- og framleiðslukerfum, hafa Paperspace og FloydHub bæði kynnt mikið af nýjum aðgerðum til að bæta notkun notkunar og auðvelda aðgengi GPU fyrir almenning, almennt. Sumt af þessu hefur verið:
[FloydHub]: Slaka sameining, sem er hlynnt notkun þvert á lið
[FloydHub]: HÍ fyrir starfastjórnun, mælaborð mælaborðs
[FloydHub]: Betaútgáfa af nýju gagnvirku umhverfi (svipað og VM á skýi), kallað Workspace
[Paperspace]: Samstarf sem opinber samstarfsaðili fyrir hratt.ai námskeið Jeremy Howard
[Paperspace]: Paperspace Gradient og API, ásamt eigin CLI, sem eru hver um sig tæki til að keyra störf þín á skilvirkan hátt í skýinu og devkit til að gera sjálfvirkan VM / störf þín (hentugur fyrir DevOps!)
Með Workspace, Gradient og fast.ai samvinnu hafa FloydHub og Paperspace færst nær því að bjóða svipaða eiginleika.

Verðlag :

Verðlagning er líklega mikilvægustu valviðmiðin. Eins og er er innheimtu reiknað á sekúndugrund fyrir AWS og FloydHub og á millisekúndna hlutar fyrir Paperspace.

AWS GPU tilvik byrja á $ 0,9 / klst. Með 30 GB ókeypis EBS bindi undir Free Tier forritinu. 100GB SSD bindi + teygjanlegt IP myndi kosta 13 $ til viðbótar á mánuði. AWS veitir einnig blettatilvik sem eru miklu ódýrari en mjög næm fyrir verðsveiflum og þar af leiðandi ekki áreiðanlegur kostur.

Paperspace býður Maxwell röð GPUs á $ 0,4 / klst. Og Pascal GPUs frá $ 0,65 / klst. 100GB SSD með opinberan IP mun kosta $ 7 / mánuði. Viðbótarþjónusta þjónusta er einnig veitt.

FloydHub flutti nýlega frá greiðslu fyrirfram til vel skilgreindra mánaðarlegra áætlana. Grunnvísindaráætlunin kostar $ 14 / mánuði í 10 GPU tíma og 100GB geymslupláss. Hægt er að kaupa frekari tæmandi GPU tíma frá $ 0,59 / klst. Aukagjald er innheimt fyrir sérstök GPU-tilvik.

[UPPDATE | Maí 2018]: Verðlagsskipulag FloydHub hefur breyst verulega en það á AWS og Paperspace er nánast það sama. Paperspace er enn hagkvæmasti kosturinn.

Dreifing:

Ég reyndi ekki að nota líkan á hvora þeirra. Floyd veitir eins lína skipun til að dreifa líkaninu þínu sem REST API. AWS er ​​með fjölda tengdra þjónustu til að bæta enn frekar upplifun apps þíns. Mun uppfæra þegar ég kanna þau.

Teknar saman helstu þætti í töflunni hér að neðan.

Að bera saman lykilatriði GPU-á-ský þjónustuaðila
[UPPDATE | Maí 2018]: Það eru ekki miklar breytingar á töflunni hér að ofan, nema árangurshlutinn, þar sem FloydHub er fljótastur núna. Á vélbúnaðar- / hugbúnaðarframhliðinni eru allir þrír í sömu röð.

Ef þú hefur notað aðra hvora þjónustu áður skaltu deila reynslu þinni. Ef þú hefur það ekki skaltu fara að því núna. Gaman væri að hafa tillögur þínar hér að neðan.