Datu inženieris no nulles līdz junioram - bezmaksas kurss no Skillbox, apmācība, Datums: 2023. gada 29. novembris.
Literārs Mistrojums / / November 30, 2023
Iesācējiem
Apgūstiet Python un SQL no nulles. Iemācieties vākt, analizēt un apstrādāt datus. Atrisiniet problēmas, pamatojoties uz reāliem gadījumiem, un pievienojiet tās savam portfolio. Jūs varat sākt karjeru datu inženierijā studiju laikā.
Programmētājiem
Uzlabojiet savas zināšanas par SQL, lai strādātu ar datu bāzēm. Jūs iziesit visu datu inženiera ceļu no neapstrādātu datu vākšanas līdz modeļa izvietošanai. Programmēšanas pieredze palīdzēs ātri izprast jaunu profesiju un mainīt savu jomu.
Iesācējiem analītiķiem
Apgūstiet visus darba ar datiem posmus. Iemācieties apkopot informāciju no dažādiem avotiem, izveidot tās glabāšanas arhitektūru un vizualizēt pārskatus. Jūs varēsiet patstāvīgi sagatavot datus turpmākai analīzei.
Mašīnmācīšanās kursa autors. Vecākais datu zinātnieks, SberData, Sber komandas vadītājs. 5+ gadi profesijā
Kursa lektors, pētniecības un attīstības direktors, UBIC Tech. Vairāk nekā 15 gadu pieredze izstrādē
Datu zinātnieks Sberbank, matemātiķis Krievijas Zinātņu akadēmijas Skaitļošanas centrā. Bloks “Matemātikas pamati datu zinātnei”. Vairāk kā 4 gadu pieredze augstākās matemātikas mācīšanā
Pirmais līmenis: pamata apmācība
Iepazīstieties ar galvenajām datu zinātnes jomām, apmāciet un ieviesiet savu pirmo ML modeli. Iegūt pamatzināšanas matemātikā, statistikā un varbūtību teorijā. Tas viss palīdzēs izprast darba ar datiem pamatprincipus. Vidējais pabeigšanas laiks ir 6 mēneši.
Ievads datu zinātnē
Jūs iziesit visus darba ar datiem posmus. Iemācieties identificēt problēmas, apkopot biznesa prasības. Jūs lejupielādēsiet datus no dažādiem avotiem, veiksiet pētniecisko analīzi un sagatavosiet datu kopu turpmākai izmantošanai. Apmāciet un ieviesiet gatavu ML modeli, izmēģiniet sevi kā produktu un mārketinga analītiķi. Uzziniet, kā formulēt un pārbaudīt hipotēzes. Apgūstiet pamata rīkus darbam: Python, SQL, Excel, Power Bi, Airflow.
Datu zinātnes pamatmatemātika
Iegūstiet pamatzināšanas matemātikā, lai strādātu ar mašīnmācību. Jūs sapratīsiet, kas ir aproksimācija, interpolācija, funkcijas, regresijas, matricas un vektori. Uzziniet, kā strādāt ar matemātiskām entītijām SymPy Python bibliotēkā.
Statistikas pamati un varbūtību teorija
Jūs sapratīsiet principus darbam ar nejaušiem mainīgajiem un notikumiem. Iepazīstieties ar dažiem sadalījumu veidiem un statistikas testiem, kas ir noderīgi modeļu veidošanā un hipotēžu pārbaudē.
Prakses iespēja
Prakses iegūšanai pietiek ar pamatzināšanām un prasmēm – var turpināt mācīties kursā un vienlaikus uzņēmumā.
Otrais līmenis: datu inženieris jaunākais
Iemācieties apkopot sarežģītas datu kopas, sagatavot vitrīnas un veidot konveijerus darbam, izvietot DS projektus no jauna un pārbaudīt kodu. Būsi gatavs strādāt par jaunāko datu inženieri. Vidējais pabeigšanas laiks ir 6 mēneši.
Ievada bloks
Uzziniet, ko dara datu inženieris, kādu lomu viņš spēlē datu zinātnes projektā un kādi ir viņa karjeras ceļi. Jūs sapratīsiet, kā kurss ir strukturēts un kādas tēmas apgūsiet.
SQL
Iemācieties manipulēt ar datiem esošajās tabulās, veikt ievietošanas, dzēšanas un atjaunināšanas darbības. Datus no datu bāzes var saglabāt dažādos formātos. Uzziniet par logu funkcijām un pamatus datu martu sagatavošanai, izmantojot SQL. Uzziniet, kā nodrošināt pareizu informācijas ievietošanu darījuma režīmā. Jūs varēsiet lasīt un saprast darījumu žurnālu. Uzziniet, kas ir indeksi un indeksu arhitektūra un kur tie tiek izmantoti. Apgūstiet paņēmienus, lai paātrinātu vaicājumu izpildi.
Python. Ls 2
Apsveriet datu tipus, to, kā tos var konvertēt un kā Python un SQL darbojas kopā — iegūstot datus no datu bāzes, strādājot ar datiem un izpildot vaicājumus. Uzziniet JSON un XML datu shēmu pamatjēdzienus. Varēsiet konfigurēt lietojumprogrammu atkļūdošanu, rakstīt testus, anonimizēt un šifrēt datus.
Python bibliotēkas
Jūs uzzināsiet, kas ir bibliotēkas darbam ar grafikiem, uzraudzīta apmācība, metrikas un datu kopu avotu vizualizācija. Uzziniet, kā izmantot Python un bibliotēkas, lai strādātu ar datiem. Jūs varat turpināt mācīties Pandas.
Gaisa plūsma
Pārskatiet galvenos jēdzienus un praksi darbam ar Airflow. Apgūstiet arhitektūras un sadarbspējas pamatus no lietotāja interfeisa līdz CLI. Izveidojiet savu pirmo datu cauruļvadu.
Spark pamati
Master Spark: uzziniet, ar kādiem skaitļošanas resursiem tā darbojas, kā tā glabā datus un strādā ar atmiņu un disku. Uzstādiet savu pirmo vietējo stendu. Apgūstiet RDD pamatus: pamatjēdzienus, darbu ar avotiem, darbības. Uzziniet, kā strādāt ar Dataframe API. Uzziniet veiktspējas un optimizācijas problēmas, izmantojot Dataframe, datu avotus un veidus, strādājot ar derīgiem/nederīgiem datiem, kļūdu apstrādi, UDF, mijiedarbību ar Python un SQL.
Mašīnmācīšanās algoritmu pamati
Jūs sapratīsit galvenos mašīnmācīšanās modeļu veidus, galvenos terminus un definīcijas. Apgūstiet regresijas algoritmus un klasterizācijas algoritmus.
Izvietošana
Uzziniet galvenos izvietošanas modeļa sagatavošanas posmus, API izveides pieejas un veidus, kā rīkoties ar kļūdām un atkļūdot lietojumprogrammas. Jūs varēsiet novērst izvietošanas problēmas un apgūt pamata swagger rīkus. Iepazīstieties ar galvenajiem bash procesiem: skriptu rakstīšanu, darbu ar mainīgajiem, kā arī teksta redaktoriem sed un awk.
Nobeiguma projekti
Pēc pirmā līmeņa nokārtošanas sagatavojiet ievadprojektu. Kursa beigās jūs prezentēsiet savu gala darbu.
Ievads datu zinātnē
Nostipriniet savas jaunās zināšanas individuālā projektā – no datu ielādes pāriesiet uz modeļa ieviešanu. Atrisiniet datu inženiera, ML inženiera un datu analītiķa problēmas, lai izlemtu par savu specializāciju.
Datu inženieris
Noslēguma projekts Junior līmenī. Veiciet kohortas analīzi un lejupielādējiet API atsauces. Veidojiet informācijas paneļus, pamatojoties uz saņemtajiem datiem.
Bonusa kursi
Izstrādātāja karjera: nodarbinātība un attīstība
Jūs uzzināsiet, kā izvēlēties piemērotu vakanci, sagatavoties intervijai un veikt sarunas ar darba devēju. Varēsi ātri iegūt amatu, kas atbilst Tavām vēlmēm un prasmēm.
Git versiju kontroles sistēma
Uzziniet, kā mainīt versiju kodu, izveidot un pārvaldīt krātuves, filiāles un atrisināt versiju konfliktus. Uzziniet noderīgus noteikumus darbam ar Git.
Angļu valoda IT speciālistiem
Iegūstiet valodas zināšanas, kas palīdzēs iziet interviju ar ārvalstu uzņēmumu un ērti sazināties jauktās komandās.