Dataingeniør fra nul til Junior - gratis kursus fra Skillbox, uddannelse, Dato: 29. november 2023.
Miscellanea / / November 30, 2023
For begyndere
Lær Python og SQL fra bunden. Lær at indsamle, analysere og behandle data. Løs problemer baseret på virkelige sager og føj dem til din portefølje. Du kan starte en karriere i Data Engineering, mens du studerer.
For programmører
Forbedre din viden om SQL for at arbejde med databaser. Du vil gennemgå hele vejen for en dataingeniør fra indsamling af rådata til implementering af modellen. Erfaring med programmering vil hjælpe dig med hurtigt at forstå et nyt erhverv og ændre dit felt.
For begyndende analytikere
Lær alle stadier af arbejdet med data. Lær at indsamle information fra forskellige kilder, opbyg en arkitektur til lagring af dem og visualiser rapporter. Du vil selvstændigt kunne udarbejde data til efterfølgende analyse.
Forfatter til Machine Learning-kurset. Senior Data Scientist, Team Lead hos SberData, Sber. 5+ år i faget
Kursustaler, R&D-direktør, UBIC Tech. Mere end 15 års erfaring med udvikling
Data Scientist ved Sberbank, matematiker ved Computing Center for det russiske videnskabsakademi. Blok "Fundamentals of Mathematics for Data Science". Mere end 4 års erfaring med undervisning i højere matematik
Første niveau: Grunduddannelse
Bliv bekendt med hovedområderne inden for Data Science, oplær og implementer din første ML-model. Få grundlæggende viden om matematik, statistik og sandsynlighedsteori. Alt dette vil hjælpe dig med at forstå de grundlæggende principper for at arbejde med data. Den gennemsnitlige færdiggørelsestid er 6 måneder.
Introduktion til datavidenskab
Du vil gennemgå alle faser af arbejdet med data. Lær at identificere problemer, saml forretningskrav. Du vil downloade data fra forskellige kilder, foretage eksplorativ analyse og forberede datasættet til videre brug. Træn og implementer en færdiglavet ML-model, prøv dig selv som produkt- og marketinganalytiker. Lær hvordan du formulerer og tester hypoteser. Mestre de grundlæggende værktøjer til arbejdet: Python, SQL, Excel, Power Bi, Airflow.
Grundlæggende matematik for datavidenskab
Få grundlæggende viden om matematik for at arbejde med maskinlæring. Du vil forstå, hvad approksimation, interpolation, funktioner, regressioner, matricer og vektorer er. Lær at arbejde med matematiske enheder i SymPy Python-biblioteket.
Grundlæggende om statistik og sandsynlighedsteori
Du vil forstå principperne for at arbejde med tilfældige variabler og hændelser. Bliv fortrolig med nogle typer fordelinger og statistiske test, der er nyttige til at konstruere modeller og teste hypoteser.
Praktik mulighed
Grundlæggende viden og færdigheder er nok til at komme i praktik – du kan læse videre på kurset og i virksomheden på samme tid.
Andet niveau: Dataingeniør Junior
Lær at indsamle komplekse datasæt, forberede showcases og bygge pipelines til arbejdet, implementere DS-projekter fra bunden og teste kode. Du vil være klar til at arbejde som Junior Data Engineer. Den gennemsnitlige færdiggørelsestid er 6 måneder.
Indledende blok
Find ud af, hvad en dataingeniør gør, hvilken rolle han spiller i et datavidenskabsprojekt, og hvad hans karriereveje er. Du vil forstå, hvordan kurset er opbygget, og hvilke emner du vil studere.
SQL
Lær at manipulere data i eksisterende tabeller, udfør indsættelses-, ryd- og opdateringshandlinger. Du kan gemme data fra databasen i forskellige formater. Lær om vinduesfunktioner og det grundlæggende i at forberede data marts ved hjælp af SQL. Lær at sikre korrekt indsættelse af oplysninger i transaktionstilstand. Du vil være i stand til at læse og forstå transaktionsloggen. Lær, hvad indekser er og indeksarkitektur, og hvor de bruges. Lær teknikker til at fremskynde forespørgsler.
Python. LVL 2
Overvej datatyper, hvordan de kan konverteres, og hvordan Python og SQL arbejder sammen – at hente data fra en database, arbejde med dataene og køre forespørgsler. Lær de grundlæggende begreber i JSON- og XML-dataskemaer. Du vil være i stand til at konfigurere applikationsfejlfinding, skrive test, anonymisere og kryptere data.
Biblioteker til Python
Du vil lære, hvad biblioteker til at arbejde med grafer er, superviseret læring, visualisering af metrikker og kilder til datasæt. Lær at bruge Python og biblioteker til at arbejde med data. Du kan fortsætte med at lære pandaer.
Luftstrøm
Gennemgå nøglekoncepter og praksisser for at arbejde med Airflow. Lær arkitektur og interoperabilitet grundlæggende fra UI til CLI. Byg din første datapipeline.
Spark Basics
Master Spark: lær hvilke computerressourcer den opererer på, hvordan den gemmer data og arbejder med hukommelse og disk. Opsæt din første lokale stand. Lær det grundlæggende i RDD: grundlæggende begreber, arbejde med kilder, handlinger. Lær at arbejde med Dataframe API. Lær ydeevne og optimeringsproblemer ved brug af Dataframe, datakilder og typer, arbejde med gyldige/ugyldige data, fejlhåndtering, UDF, interaktion med Python og SQL.
Grundlæggende om maskinlæringsalgoritmer
Du vil forstå hovedtyperne af maskinlæringsmodeller, nøgletermer og definitioner. Lær regressionsalgoritmer og klyngealgoritmer.
Implementering
Lær de vigtigste stadier i at forberede en model til implementering, tilgange til opbygning af en API og måder at håndtere fejl og fejlfinde applikationer på. Du vil være i stand til at fejlfinde implementeringsproblemer og mestre de grundlæggende swagger-værktøjer. Bliv bekendt med bashs nøgleprocesser: at skrive scripts, arbejde med variabler og teksteditorerne sed og awk.
Afsluttende projekter
Efter at have bestået det første niveau, forberede et introduktionsprojekt. I slutningen af kurset præsenterer du dit afsluttende arbejde.
Introduktion til datavidenskab
Konsolider din nye viden på et individuelt projekt - du vil gå fra at indlæse data til at implementere en model. Løs problemerne med en dataingeniør, ML-ingeniør og dataanalytiker for at beslutte dig for din specialisering.
Dataingeniør
Afgangsprojekt på juniorniveau. Udfør en kohorteanalyse og download API-referencer. Byg dashboards baseret på de modtagne data.
Bonus kurser
Udviklerkarriere: Beskæftigelse og udvikling
Du lærer, hvordan du vælger en passende stilling, forbereder dig til en samtale og forhandler med en arbejdsgiver. Du vil hurtigt kunne få en stilling, der lever op til dine forventninger og kompetencer.
Git versionskontrolsystem
Lær at ændre versionskode, oprette og administrere lagre, filialer og løse versionskonflikter. Lær nyttige regler for at arbejde med Git.
Engelsk for IT-specialister
Få sprogkundskaber, der vil hjælpe dig med at bestå et interview med en udenlandsk virksomhed og kommunikere komfortabelt i blandede teams.