MLOps - likme 80 000 rub. no Otus, apmācība 5 mēneši, datums 2023. gada 30. novembris.
Literārs Mistrojums / / November 30, 2023
Jūs apgūsit visas nepieciešamās mašīnmācīšanās prasmes datu straumēšanai un izplatītajām vidēm. Programmā ir iekļautas nepieciešamās zināšanas no datu zinātnes un datu inženierijas jomām, kas ļaus Sparkā apstrādāt lielos datus un rakstīt sadalītos algoritmus.
Jūs praktizēsiet katru moduli, izpildot mājasdarbu. Apmācību noslēgumā Tev būs gala projekts, kas ļaus apkopot visas iegūtās zināšanas un papildināt savu portfolio. To var veikt kā daļu no darba uzdevumiem jūsu datu kopā vai kā mācību projektu, pamatojoties uz OTUS sniegtajiem datiem.
Kam šis kurss ir paredzēts?
Mašīnmācības speciālistiem vai programmatūras inženieriem, kuri vēlas iemācīties strādāt ar lielajiem datiem. Parasti šādi uzdevumi pastāv lielos IT uzņēmumos ar liela mēroga digitālo produktu.
Datu zinātniekiem, kuri vēlas nostiprināt savas prasmes ar inženierzinātnēm. Pateicoties kursam, jūs varēsiet apstrādāt datus un patstāvīgi attēlot ML risinājumu rezultātus ražošanā.
Lai mācītos, jums būs nepieciešamas datu zinātnes pamatprasmes. Lai uzzinātu nepieciešamo apmācību līmeni, iesakām apskatīt OTUS Map of Data Science kursus.
Tu iemācīsies:
- Izmantojiet standarta ML konveijera rīkus izplatītā vidē;
- Izstrādāt savus blokus ML cauruļvadiem;
- Pielāgot ML algoritmus izplatītajām vidēm un lielo datu rīkiem;
- Izmantojiet Spark, SparkML, Spark Streaming;
- Izstrādāt algoritmus straumēšanas datu sagatavošanai mašīnmācībai;
- Nodrošināt kvalitātes kontroli visos ML risinājumu pārvietošanas posmos rūpnieciskajā darbībā.
Pieprasījums pēc speciālistiem
Prasmes, kuras apgūsit, ir pēc iespējas pielietotākas un daudzsološas. Tirgū parādās arvien vairāk digitālo produktu, kuru izstrādei nepieciešams darbs ar lielajiem datiem un straumju apstrādi. Jau šobrīd speciālisti ar šādu prasmju kopumu un zināmu darba pieredzi var pretendēt uz 270 tūkst. rubļi Vēl viena tendence - apmācības un apstiprināšanas procesu automatizācija, gluži pretēji, kaut kādā veidā devalvē klasiskā datu zinātnieka darbu. Viss virzās uz to, ka pat nespeciālists var veikt fit-prognozes. Tāpēc tie, kuriem ir vismaz virspusējas inženierijas prasmes, jau ir uz priekšu.
Kursa funkcijas
Daudz prakses darbā ar datiem
Plašs prasmju klāsts no izplatītas ML un straumes datu apstrādes līdz ražošanas izvadei
Pašreizējie rīki un tehnoloģijas: Scala, Spark, Python, Docker
Tiešraides saziņa ar ekspertiem, izmantojot tīmekļa seminārus un Slack tērzēšanu
4
protamsIesaistīts datu zinātnes komandas izstrādē, kas nodrošina funkcionalitāti, kuras pamatā ir mašīnmācīšanās uzņēmuma produktiem un pakalpojumiem. Kā datu zinātnieks viņš piedalījās Kaspersky MLAD un MDR AI Analyst izstrādē. IN...
Iesaistīts datu zinātnes komandas izstrādē, kas nodrošina funkcionalitāti, kuras pamatā ir mašīnmācīšanās uzņēmuma produktiem un pakalpojumiem. Kā datu zinātnieks viņš piedalījās Kaspersky MLAD un MDR AI Analyst izstrādē. Kā C++ izstrādātājs viņš piedalījās MaxPatrol SIEM izveidē.Viņš jau daudzus gadus māca datoru. zinātņu disciplīnas MSTU GA. Autors ziņojumu sērijai par ML, C++, DS projektu vadību un attīstību komandas. PC konferences C++ Russia dalībnieks. Programmas vadītājs
8
kursi20+ gadu pieredze pielāgotu izstrādes projektu IT jomā. Desmitiem veiksmīgu projektu, tostarp valsts līgumu ietvaros. Pieredze ERP sistēmu izstrādē un ieviešanā, atvērtā pirmkoda risinājumi, atbalsts lielas slodzes aplikācijām. Kursu pasniedzēja par...
20+ gadu pieredze pielāgotu izstrādes projektu IT jomā. Desmitiem veiksmīgu projektu, tostarp valsts līgumu ietvaros. Pieredze ERP sistēmu izstrādē un ieviešanā, atvērtā pirmkoda risinājumi, atbalsts lielas slodzes aplikācijām. Linux, Kuber, MLOps, DataOps, SolutionArchitect, IaC, SRE kursu pasniedzējs, kā arī HighLoad kursa mentors
1
labiSpeciālists darbā ar lielajiem datiem un mašīnmācīšanos. 8 gadus viņš strādāja Odnoklassniki.ru. Vadīja OK Data Lab komandu (laboratoriju pētniekiem lielo datu un mašīnu jomā...
Speciālists darbā ar lielajiem datiem un mašīnmācīšanos. 8 gadus viņš strādāja Odnoklassniki.ru. Vadīja OK Data Lab komandu (laboratoriju pētniekiem lielo datu un mašīnmācīšanās jomā). Lielo datu analīze Odnoklassniki ir kļuvusi par unikālu iespēju apvienot teorētisko apmācību un zinātnisko pamatojumu ar reālu, pieprasītu produktu izstrādi. Kopš 2019. gada viņš strādā Sberbank par rīkotājdirektoru. Darbojas kā klastera vadītājs ieteikumu sistēmu platformas izstrādei masu personalizācijas nodaļā. 2004. gadā absolvējis Sanktpēterburgas Valsts universitāti, kur 2007. gadā aizstāvējis doktora grādu formālās loģiskās metodēs. Ārpakalpojumos strādāju gandrīz 9 gadus, nezaudējot saikni ar augstskolu un zinātnisko vidi.
Pamata ievads kursa uzsākšanai
- 1. tēma. Gradienta nolaišanās un lineārie modeļi
- 2. tēma. Mašīnmācīšanās pamatmetožu un metrikas pārskats
-3.tēma.Pieeju attīstība darbam ar datiem
-4.tēma.Scala programmēšanas pamati
Izkliedētās datu apstrādes tehnoloģiskā bāze
-5. tēma. Izplatītās failu sistēmas
-6.tēma. Resursu pārvaldnieki sadalītajās sistēmās
-7. tēma. Masīvi paralēlu un sadalītu skaitļošanas sistēmu evolūcija
-8. tēma. Apache Spark 1 pamati
-9. tēma. Apache Spark 2 pamati
Izplatītie ML pamati
-10.tēma. ML algoritmu pārnešana uz izkliedētu vidi
-Apache Spark tēma 11.ML
- 12. tēma. Savu SparkML bloku izstrāde
-13.tēma.Hiperparametru un AutoML optimizācija
Straumes apstrāde
-14.tēma. Straumes datu apstrāde
-15. tēma. Trešo pušu bibliotēkas lietošanai kopā ar Spark
-Tēma 16.Spark Streaming
-17. tēma. Strukturēta un nepārtraukta straumēšana pakalpojumā Spark
-18. tēma. Alternatīvie straumēšanas ietvari
Mērķu noteikšana un rezultātu analīze
-19.tēma. ML projekta mērķa noteikšana un sākotnējā analīze
-20.tēma. Ilgtermiņa ML mērķi, izmantojot churn samazināšanas uzdevuma piemēru
-Tēmas 21.A/B testēšana
-22.tēma.Papildu tēmas
ML rezultātu izvadīšana ražošanā
-23. tēma. Pieejas ML risinājumu ieviešanai ražošanā
-Tēma 24. Versionēšana, reproducējamība un uzraudzība
-25.tēma. Modeļu apkalpošana tiešsaistē
-26. tēma. Asinhronās straumēšanas ML un ETL modeļi
-27. tēma. Ja jums ir nepieciešams Python
ML Python ražošanā
-28. tēma. Produkcijas kods Python. Organizācijas un iepakošanas kods
-29. tēma. REST arhitektūra: Flask API
-Tēma 30. Docker: Struktūra, lietojumprogramma, izvietošana
-31.tēma.Kubernetes, konteineru orķestrēšana
-Tēma 32.MLOPS rīki Kubernetes: KubeFlow, Seldon Core. Neviendabīgu sistēmu darbības iezīmes nozarē.
-Tēma 33.Amazon Sagemaker
-Tēma 34.AWS ML pakalpojums
Izvērstās tēmas
-35. tēma. Neironu tīkli
-36.tēma. Neironu tīklu izkliedētā mācīšanās un secinājumi
-37. tēma. Gradienta palielināšana kokiem
-38.tēma. Pastiprināšanas mācības
Projekta darbs
-39.tēma. Tēmas izvēle un projekta darba organizācija
-40.tēma. Konsultācijas par projektiem un mājas darbiem
-41.tēma.Projektēšanas darbu aizsardzība