Dataanalyse i Python og databaser (SQL) - gratis kursus fra RANEPA, træning, Dato: 6. marts 2023.
Miscellanea / / December 04, 2023
Python Data Analysis and Database (SQL)-programmet vil give eleverne en forståelse af det grundlæggende i programmering af ML (Machine Learning) algoritmer ved hjælp af Python-sproget. Det vil også hjælpe dig med at mestre en række kompetencer inden for styring af moderne relationsdatabaser og tilegne sig praktiske færdigheder i at bruge DBMS sprogværktøjer (Database Management Systems data).
I erhvervslivet og det offentlige skal enorme mængder data konstant analyseres indhente information til at kontrollere kvaliteten af arbejdet, fremsætte nye ideer og begrunde accepterede beslutninger. Eksperter, der forstår enorme mængder data, kan forvente hurtige karrierer med imponerende lønninger.
Som regel nævnes SQL og Python oftest i jobannoncer relateret til dataanalyse.
Kun studerende, der ikke studerer inden for følgende områder, kan ansøge om kurset:
I løbet af masteruddannelsen får de studerende mulighed for at komme med nye digitale produkter (selvstændigt eller i team). Forfatterne af de bedste løsninger vil modtage støtte fra Akademiet og mulighed for at samarbejde med Artificial Intelligence Laboratory og Platform Development Laboratory i RANEPA.
Python
Hvordan fungerer det hele? Python funktioner.
Hvorfor bruger alle Python? Sammenligning med andre programmeringssprog. Hvordan skriver man programmer? Fordele ved Python. Sådan bruger du Python i opgaver: tekstbehandling, arbejde med billeder, skrivning af stock-robotter, lancering af chatbots. Input og output i Python. Navne i Python. Grundlæggende operationer. Kontrol af programudførelsesforløb (betingede konstruktioner). Eksempler på simple programmer.
Cykler. Linjer. Strenge metoder.
Løkke med forudsætning. Break og Fortsæt udsagn. Til sløjfe Linjestruktur og linjelængde. Linjeelementet og hvordan man skærer linjer. Hent en understreng fra en streng. Linjegennemgang. Afsnit.
Tuples. Lister. funktionskort. Listegenerator til tilfældige værdier.
Hvorfor er der brug for tupler? Arbejder med en liste. Liste elementer. Udskriv listen. Korrekt kopiering af lister. Funktioner ved brug af kortfunktionen. Hvad er tilfældige værdigeneratorer? En masse. Operationer med sæt. Frozenset. Ordbøger. få metode Gennemgang af ordbog.
Funktioner. Anvendelse af matematiske funktioner. Omfang og udelukkelse.
Sådan skriver du funktioner korrekt. Simple algoritmer. At skrive de første funktioner. Sådan tilføjes matematik. Anbefalinger til at skrive dine egne funktioner. Hvordan scopes fungerer. Globale variabler. Returnerer flere værdier fra en funktion. Undtagelser.
Arbejde med filer. Matricer. Typer af sortering
Hvad kan du gøre med filerne? Åbning og lukning af filer. Læse og skrive tekstfiler. Matricer. Udfyldning af matricer. Indtastning af matricer række for række. Læse- og skrivematricer. Boble sortering. Analyse af algoritmen. Flere versioner af løsningen.
Oversigt over NumPy-biblioteket. Arbejde med NumPy-funktioner. SciPY bibliotek.
Python-biblioteker og deres installation. Grundlæggende NumPy-datatyper. Numeriske funktioner. Arbejde med arrays. Operationer med arrays. Todimensionelle arrays. Matricer. Grundlæggende funktioner i SciPy-biblioteket.
Pandas bibliotek oversigt. Grundlæggende analyser.
Installation af biblioteket. Oprettelse af et serieobjekt. DataFrame indeksering. Tabeller. Læse og skrive filer. Indeksering. Datasampling. Operationer med rækker og kolonner. Arbejder med NaN. Sortering.
Datavisualiseringer. Praktiske eksempler
Studering af nye data, forbehandling, datavisualisering, søgning efter sammenhænge mellem funktioner, udarbejdelse af træningsdata og skabelse af kreditrisikoprognosemodeller. At opnå en model, der besvarer spørgsmålet: at udstede eller ikke at udstede et lån.
Automatisering af rutineopgaver. Praktiske eksempler
Analyse af praktiske eksempler på automatisering af opgaver relateret til indhentning af aggregeret information fra flere kilder (Excel-filer) eller internettet.
Gennemgang af maskinlæringsmetoder brugt til dataanalyse. Praktiske eksempler
Et praktisk eksempel på at identificere grundtræk og deres fortolkning i et superviseret læringsproblem.
Midlertidig modulvurdering
Midlertidig certificering sker i form af en test (computertest). Eksempel på en typisk testbygning:
Hvilken Python-funktion kan du bruge til at finde ud af typen af en variabel?
- hwoami
- type
- type
- er
Hvilken række af tal vil blive oprettet i følgende kode: interval (9, 3, -2)
- 9 8 7 6 5 4 4
- 9 7 5 3
- 9 7 5
- 11 9 8 7 6 5 4
Hvad giver kodestykket i listen dig mulighed for at udføre?
- Kodestykke: print(math.sqrt(2))
- viser tallet 2 fra matematikbiblioteket
- forbinder matematikbiblioteket
- kvadrere et matematisk tal
- viser kvadratroden af to
SQL
Datalagring og integritet.
Datalagring: datafiler, logfiler, RAID-niveauer, Tempdb. Relationer i databaser, en til en, en til mange, mange til mange. Dataintegritet: PRIMÆR NØGLE, CHECK, UNIK og UDENLANDSKE NØGLE. Normalisering af tabeller.
Oprettelse af database og tabeller.
DBMS-arkitektur: logisk (tabeller og datatype, nøgler, indekser, visninger, samlinger, begrænsninger, regler, standardværdier) og fysiske niveauer (filer og filgrupper, sider). Database oprettelse. Tabelfeltdatatyper: Præcise tal, Unicode-tegnstrenge, omtrentlige tal, binære data, dato og klokkeslæt, andre datatyper, tegnstrenge. Oprettelse af tabeller. Hvor skal man skrive anmodninger?
Indekser. Diagrammer.
Indekser: grupperet, ikke-klynget, unik identifikation, filtreret, kolonnelager, hash, ikke-klynget, hukommelsesoptimeret indeks. ER diagrammer: Database Diagrammer, Database Node. DML og de mest almindelige SQL-operatorer: SELECT, INSERT, UPDATE, DELETE. Vigtigheden af unikke faktorer.
Forespørgsler. Eksterne forbindelser.
Forespørgsler på ét bord. Prøveudtagning uden gentagelser. Forespørgsler på flere tabeller. Udvendige samlinger: VENSTRE, HØJRE eller FULD.
Samlede funktioner. Underforespørgsler.
Underforespørgsler: WHERE COUNT, SUM, AVG, MAX, MIN, IN, ALL, any. Sammenføjningsdata: VÆLG JOIN. Samlede funktioner: AVG, CHECKSUM_AGG, COUNT, COUNT_BIG, GROUPING, GROUPING_ID, MAX, MIN, STDEV, STDEVP, STRING_AGG, SUM, VAR, VARP. Betingelser for aggregerede funktioner.
Nyttige funktioner.
Lidt mere om operatører. Industriel anmodning. Nyttige funktioner: SQRT, RAND, CONCAT, numeriske og strengfunktioner. Operationsprioritet og typekonvertering: CAST, CONVERT.
Transaktioner. Repræsentation.
En anmodning på fire måder. Transaktioner: begrebet transaktioner - atomicitet, konsistens, isolation, holdbarhed, transaktionsstyring - COMMIT, ROLLBACK, SAVEPOINT, SET TRANSACTION. Parallel dataadgang: problemer med beskidt, ikke-gentagelig læsning, fantomer. Visninger: indekseret, partitioneret, system.
Variabler og loops.
Start af programmering. Variabler: DECLARE, SET, SELECT. Kode struktur. Databeskrivelsesoperatører: CREATE, DROP, ALTER osv. Datamanipulationsoperatører: INSERT, DELETE, SELECT, UPDATE osv. Operatører til indstilling af adgangsrettigheder i databasen: TILDEL / TILBAGE, LÅS / LÅS OP, INDSTILL LÅSTSTAND Operatører til beskyttelse, datagendannelse og andre operatører. Cykler: MENS.
Lagrede procedurer og funktioner.
Midlertidige borde. Transact-SQL markører, server, klient. Markørtyper: ensrettet, statisk, Keyset, dynamisk. Lagrede procedurer og funktioner: OPRET PROCEDURE, OPRET PROC.
Udløsere. Undtagelser.
Transportør HF. Udløsere: EFTER, I STEDET FOR. Undtagelser: UNDTAGELSE. Dynamisk SQL ved hjælp af nøgleord og ved hjælp af lagret procedure: UDFØR STRAKS.
DBMS. NoSQL databaser.
Transaktioner i programmering/DBMS/SQL. Hvordan anmodninger udføres. Sådan forbedrer du forespørgselsydeevne. NoSQL-database og dens fordele.
Midlertidig modulvurdering
Midlertidig certificering sker i form af en test (computertest). Eksempel på en typisk testbygning:
Hvilken type feltdata er NUMBER-typen?
- snor
- numerisk
- binær
Hvilken SQL-kommando forespørger data?
- ÆNDRE
- VÆLG
- FRA
Hvad er en transaktion?
- dette er en gruppe af operationer udført af DBMS
- er en gruppe af operationer, der har ACID-egenskaber
- dette er operationen til at udføre en SQL-kommando