Datu inženieris - kurss 89 000 rub. no Otus, apmācība 4 mēneši, datums 2023. gada 30. novembris.
Literārs Mistrojums / / December 03, 2023
Ko šis kurss tev dos?
- Izpratne par galvenajiem veidiem, kā integrēt, apstrādāt un uzglabāt lielus datus
- Spēja strādāt ar Hadoop ekosistēmas komponentiem, izkliedēto krātuvi un mākoņrisinājumiem
- Praktiskas iemaņas datu pakalpojumu, veikalu un lietojumprogrammu izstrādē
- Zināšanas par monitoringa, orķestrēšanas, testēšanas organizēšanas principiem
Kurss ir adresēts izstrādātājiem, DBVS administratoriem un visiem, kas vēlas uzlabot savu profesionālo līmeni, apgūt jaunus rīkus un iesaistīties interesantos uzdevumos darba ar datiem jomā.
Pēc datu inženierijas apguves jūs kļūsiet par pieprasītu speciālistu, kurš:
- izvieto, pielāgo un optimizē datu apstrādes rīkus
- pielāgo datu kopas turpmākam darbam un analīzei
- rada pakalpojumus, kas izmanto lielu datu apjomu apstrādes rezultātus
- atbildīgs par datu arhitektūru uzņēmumā
Reālu gadījumu izpēte: ieviešanas piemēri, rīku izmantošana, veiktspējas optimizācija, problēmas, kļūdas un lietotie rezultāti
Ļoti praktiska orientācija:
Kursa laikā pakāpeniski veidosim strādājošu produktu, risinot lietišķas problēmas
Holistisks priekšstats par mūsdienu biznesa izaicinājumiem un uzdevumiem, un Datu inženiera lomu to risināšanā
Pieprasījums darba devēju vidū
Jau 40 darba devēji ir gatavi aicināt kursu absolventus uz interviju
6
kursiDatu inženieris uzņēmumā Wildberries, DE Junior kursa lektors. Vairāk nekā 7 gadi IT jomā
Ar izcilību absolvējis Voroņežas Valsts universitāti. Šobrīd studē HSE maģistra programmā "Sistēmu un programmatūras inženierija". Profesionālā pieredze - 2 gadu datu analītiķa un datu inženiera darbs. Tagad viņš strādā ar 5 populārām datu bāzēm, attīstās Python un strauji attīsta savas prasmes. Gatavs dalīties pieredzē.
1
labiViņš ir izstrādājis analīzi uzņēmumā vairāk nekā 10 gadus. Starp sasniegumiem: - mūsu pašu pilnīgas tīmekļa analīzes sistēmas izveide; - analītiskās noliktavas būvniecība, pamatojoties uz MPP Vertica; - datu apstrādes organizēšana, pamatojoties uz Spark, Kafka, HDFS; -...
Viņš ir izstrādājis analīzi uzņēmumā vairāk nekā 10 gadus. Starp sasniegumiem: - mūsu pašu pilnīgas tīmekļa analīzes sistēmas izveide; - analītiskās noliktavas būvniecība, pamatojoties uz MPP Vertica; - datu apstrādes organizēšana, pamatojoties uz Spark, Kafka, HDFS;- procesu veidošana darbam ar datiem, tostarp datu kvalitāte;- vairāku iekšējo rīku izveide metadatu apstrādei un strukturēšanai (datu katalogs);- Korporatīvās ziņošanas sistēmas izveide, tai skaitā reāllaikā; - Vairāk nekā 5 gadus paaugstina datu pratību uzņēmumā, vada dažādas apmācības par darbu ar datiem, instrumenti, SQL; Viņš arī izstrādāja vairākus analītikas vadītājus, kuri tagad strādā lielos uzņēmumos. Galvenā uzmanība tiek pievērsta biznesa problēmu izpratnei darbā ar datiem un to risināšanai.
1
labiSberbank nodaļas vadītājs 8 gadu pieredze industriālajā attīstībā, tai skaitā tīmekļa aplikāciju izveidē un uzturēšanā gan lielos uzņēmumos, gan jaunuzņēmumos. 3 gadi sadalītu sistēmu izstrādes lielai valdībai...
Sberbank nodaļas vadītājs 8 gadu pieredze industriālajā attīstībā, tai skaitā tīmekļa aplikāciju izveidē un uzturēšanā gan lielos uzņēmumos, gan jaunuzņēmumos. 3 gadi sadalīto sistēmu izstrādes lielajiem valsts klientiem. Īstenoti trīs projekti no nulles, no prototipa līdz gatavam rūpnieciskai lietošanai. Šobrīd bankā nodarbojas ar pilnu izstrādi iekšējiem klientiem, risinot ar datu analīzi un inženieriju saistītas problēmas. Pieredze programmēšanā Java, Scala, Python, Javascript. Plašs profesionālo interešu klāsts, sākot no sadalīto sistēmu izveides līdz prognozējošai analītikai un nodomu analīzei. Izglītība: bakalaura grāds no UrFU nosaukts. B.N. Jeļcins “Informācijas tehnoloģijas”.
Datu arhitektūra
-1.tēma.Datu inženieris. Uzdevumi, prasmes, instrumenti, tirgus vajadzības
-2.tēma.Analītisko lietojumu arhitektūra: pamatkomponenti un principi
-3.tēma.Telpās / Mākoņu risinājumi
-4.tēma. Cauruļvadu automatizācija un orķestrēšana – 1
-5.tēma. Cauruļvadu automatizācija un orķestrēšana – 2
Datu ezers
-6.tēma. Izplatītās failu sistēmas. HDFS/S3
-Tēma 7. SQL piekļuve Hadoop. Apache Hive/Presto
-8.tēma. Datu uzglabāšanas formāti un to īpašības
- 9. tēma. Tālvadības pults analīze 1 gadījumam
-10.tēma.Ziņojumu rindas. Kafkas pārskats.
-11. tēma. Datu lejupielāde no ārējām sistēmām
-12. tēma. Apache Spark – 1
-13. tēma. Apache Spark – 2
DWH
-14. tēma. Analītiskā DBVS. MPP datu bāzes
-15. tēma. DWH modelēšana – 1. dbt pamati
-Tēma 16.DWH modelēšana – 2. Data Vault 2.0
- 17. tēma. DevOps prakse analītiskos lietojumos. CI+CD
-18. tēma. Tālvadības pults analīze 2. gadījumam
-19.tēma.Datu kvalitāte. Datu kvalitātes vadība
-20.tēma. BI risinājuma ieviešana
-21. tēma. Uzraudzība / Metadati
NoSQL/NewSQL
-22. tēma. NoSQL krātuve. Plaša kolonna un atslēgas vērtība
-23. tēma. NoSQL krātuve. Orientēts uz dokumentiem
-Tēma 24.ELK
-Tēma 25.ClickHouse
-26.tēma. Tālvadības pults analīze 3.gadījumam
MLOps
-27.tēma.Koda organizēšana un iepakošana
-28. tēma. Docker un REST arhitektūra
-Tēma 29.MLFlow + DVC
-30.tēma. Modeļu izvietošana
-31. tēma. Tālvadības pults analīze 4. gadījumam
-32. tēma. Tālvadības pults analīze 5. gadījumam
Izlaiduma projekts
-33.tēma. Tēmas izvēle un projekta darba organizācija
-34.tēma.Konsultācija
-35.tēma.Aizsardzība