Apache Spark-ramme for udviklere: avanceret niveau - kursus 41.500 rub. fra IBS Training Center, træning 24 timer, Dato 26. november 2023.
Miscellanea / / December 05, 2023
Uddannelsen giver en detaljeret forståelse af den interne struktur og funktion af Apache Spark frameworket – både Spark Core (RDD), Spark SQL, Spark Streaming og Spark Structured Streaming. Mekanismerne til lancering af Spark-klyngekomponenter under kontrol af forskellige klyngeforvaltere, styring af allokering af ressourcer (primært hukommelse) og planlæggernes arbejdsmekanismer tages i betragtning. Fordelene ved det interne Tungsten-repræsentationsformat og driften af Catalyst optimizer udforskes i detaljer.
Emner dækket:
Spark Intern Architecture, Spark Runtime Environment
Opsætning af Spark Context, SparkConf
RDD Internals, logisk layout
Bedste praksis for programmering med RDD
Fysisk plan: arbejde, stadier, opgaver
Planlæggere og fysisk planudførelse
Hukommelsesindstilling, serialisering, caching, affaldsindsamling
Datasource API, Tungsten intern datarepræsentation, filformater
Catalyst Optimizer
Microbatch Spark Streaming: modtagelse og udlæsning af data
Struktureret streaming: modtagelse og distribution af data