Behandling og analyse af big data - gratis kursus fra åben uddannelse, træning 2 uger, ca. 36 timer om ugen, dato 29. november 2023.
Miscellanea / / November 30, 2023
Ph.D. Stilling: Lektor, Fakultet for Styresystemer og Robotik, Lektor, Higher School of Digital Culture, ITMO University
Kandidat for fysiske og matematiske videnskaber Stilling: Lektor, Higher School of Digital Culture, ITMO University
Ph.D. Stilling: Lektor, Higher School of Digital Culture, ITMO University
Modul 1 Emne 1.1 Introduktion til datavidenskab Diskuterer typer og kilder til data, principper adskille og kombinere data, typer af skalaer, metoder til datarensning og udfyldning af huller, kontrol intervaller. Emne 1.2 Databehandlingsværktøjer Diskuterer primære databehandlingsværktøjer, såsom regneark (Google-regneark og Excel), dækker spørgsmålene om sortering og filtrering af data, midler til aggregering og analyse af tabeldata (pivottabeller) Emne 1.3 Visualisering data Opgaverne og metoderne til datavisualisering i forskellige værktøjer (Google-regneark og Excel), præsentationsformer af kvantitative og kvalitative data. Kognitiv datavisualisering overvejes. Emne 1.4 Analyse og transformation af data Metoder til udjævning og normalisering af data, spørgsmål om datatransformation overvejes. Typerne af beskrivende statistik og metoder til deres beregning er beskrevet i detaljer. Emne 1.5 Arbejde med tidsserier Principperne for at arbejde med tidsserier og metoder til deres analyse overvejes. Der lægges særlig vægt på teknikker til udjævning af tidsserier, bestemmelse af trends og sæsonbestemte komponenter i tidsserier.
Modul 2 Big Data Storage Emne 2.1. Databasestyringssystemer Arkitekturen af informationssystemer og de vigtigste funktioner i databasestyringssystemer tages i betragtning. Emne 2.2. Design af strukturerede data De grundlæggende begreber i den relationelle (tabel) model overvejes data, design af data i en relationel model, regler for oprettelse af tabeller og definition af integritetsbegrænsninger. Emne 2.3. SQL - forespørgsler til data og databaseobjekter Principperne for at konstruere forespørgsler til data i SQL-sproget overvejes, inklusive projektion, sortering, indstilling af valgbetingelser, sammenføjning af flere tabeller, sætteoretiske operationer, indlejret anmodninger. Foredraget diskuterer også databaseobjekter - views, procedurer/funktioner, triggere. Konceptet med indekser er givet, hvilket kan forbedre effektiviteten ved at udføre en række forespørgsler. Emne 2.4. NoSQL-lagring De grundlæggende begreber og karakteristika for NoSQL-systemer, forskellige typer og klassificeringer af NoSQL-systemer tages i betragtning: nøgleværdi, dokument, kolonne og graf. Principper for opbygning af forespørgsler til data i NoSQL-lager. Emne 2.5. MongoDB - arbejde med dokumentlagring Diskuterer organisering af data og opbygning af forespørgsler i MongoDB. Eksempler på byggeforespørgsler i MongoDB-demodatabasen er givet.