->
Udemy - A'dan Z'ye Apache Spark (Scala & Python)
Categories: Tutorials
Udemy - A'dan Z'ye Apache Spark (Scala & Python)
Udemy - A'dan Z'ye Apache Spark (Scala & Python)


Description

Büyük Veri üzerinde Makine Öğrenmesi, Big Data, Machine Learning, Streaming, Veri Bilimi, Data Science, Data Engineer

Course content

  • #### 1. KISIM: GİRİŞ VE KURULUMLAR ####
    • Giriş
    • [Gösteri] Büyük Veri Üzerinde Makine Öğrenmesi
  • 1.1. Kurulumlar
    • [Teorik] Kurulum Planı
    • Eski Versiyon (2.3.1) Spark'ı Nasıl İndiririz?
    • [Uygulamalı] Windows 10 Spark Kurulumu
    • [Uygulamalı] Windows 10 IntelliJ IDEA Kurulumu
    • rdd.take() hatası
    • [Uygulamalı] Windows 10 Python Kurulumu
    • [Uygulamalı] Windows 10 jupyter, findspark paketleri ve PySpark
    • [Uygulamalı] Jupyter ile PySpark Olası Hatalar ve Çözümleri
    • [Uygulamalı] Ubuntu Spark, Python, Jupyter Kurulumu
    • [Uygulamalı] Ubuntu IntelliJ IDEA Kurulumu ve İlk Spark-Scala Projesi
    • [Uygulamalı] Databricks Bulutta Spark Nasıl Kullanılır?
  • #### 2. KISIM: SCALA TEMEL (OPSİYONEL) ####
    • [Uygulamalı] Scala Giriş ve Kod Geliştirme Ortamları
    • [Uygulamalı] Scala DataTypes
    • [Uygulamalı] Scala Maths
    • [Uygulamalı] Scala PrintFormat, Çıktıları Şekillendirme
    • [Uygulamalı] Scala Conditionals if-else
    • [Uygulamalı] Scala Döngüler (Loops)
    • [Uyglamalı] Scala Strings
    • [Uygulamalı] Scala Arrays
    • [Uygulamalı] Scala Functions
    • [Uygulamalı] Scala RandomNumbers
    • [Uygulamalı] Scala Maps
    • [Uygulamalı] Scala Tuples
    • [Uygulamalı] Scala Lists
    • [Uygulamalı] Scala Sets
    • [Uygulamalı] Scala Classes
    • [Uygulamalı] Scala-Spark Vectors
    • [Uygulamalı] Scala-Spark Matrices
    • [Test] Scala Temel Değerlendirme Testi
    • [Uygulamalı] Test Cevapları
  • #### 3. KISIM: SPARK TEMEL ####
    • [Teorik] Spark Giriş
  • 3.1. Spark Low Level (RDD) API Basic Transformations ve Actions
    • Bölüm Hakkında Açıklamalar
    • [Teorik] Low Level (RDD) API Giriş
    • [Uygulamalı-Scala] RDD Wordcount
    • Windows PySpark RDD hatası için çözüm
    • [Uygulamalı-PySpark] RDD Wordcount
    • [Uygulamalı-Scala] SparkContext, SparkConf ve RDD Oluşturmak
    • [Uygulamalı-PySpark] SparkContext, SparkConf ve RDD Oluşturmak
    • [Teorik] RDD Basic Transformations ve Actions
    • [Uygulamalı-Scala] RDD Basic Transformations map, flatMap, filter, distinct...
    • [Uygulamalı-PySpark] RDD Basic Transformations map, flatMap, filter, distinct..
    • [Uygulamalı-Scala] İkili RDD Transformations union, intersect,subtract
    • [Uygulamalı-PySpark] İkili RDD Transformations union, intersect,subtract
    • [Uygulamalı-Scala] RDD Basic Actions: take, collect, aggregate,reduce vb.
    • [Uygulamalı-PySpark] RDD Basic Actions: take, collect, aggregate,reduce vb.
    • [Uygulamalı-Scala] RDD Intellij IDEA ile map ve flatMap Örneği
    • [Uygulamalı-PySpark] RDD Jupyter ile map ve flatMap Örneği
    • [Test] Spark RDD Basic Transformation ve Action Değerlendirme Testi
    • [Uygulamalı-Scala] Değerlendirme Testi Cevapları
    • [Uygulamalı-PySpark] Değerlendirme Testi Cevapları
  • 3.2. Spark Low Level (RDD) API PairRDD Transformations
    • [Teorik] PairRDD Transformations
    • [Uygulamalı-Scala] PairRDD Transformations
    • [Uygulamalı-PySpark] PairRDD Transformations
    • [Uygulamalı-Scala] Filter ile Kahve İçeren Ürünleri Bulma
    • [Uygulamalı-PySpark] Filter ile Kahve İçeren Ürünleri Bulma
    • [Uygulamalı-Scala] İptal Edilen Toplam Satış Miktarı
    • [Uygulamalı-PySpark] İptal Edilen Toplam Satış Miktarı
    • [Uygulamalı-Scala] mapValues ve ReduceByKey ile Mesleğe Göre Ortalama Maaş
    • [Uygulamalı-Pyspak] mapValues ve reduceByKey ile Mesleğe Göre Ortalama Maaş
    • [Teorik] RDD Join
    • [Uygulamalı-Scala] RDD join: Siparişler ile Ürünleri Birleştirmek-01
    • [Uygulamalı-Scala] RDD join: Siparişler ile Ürünleri Birleştirmek-02
    • [Uygulamalı-PySpark] RDD join: Siparişler ile Ürünleri Birleştirmek
    • [Uygulamalı-PySpark] RDD join: Siparişler ile Ürünleri Birleştirmek-02
  • 3.3. Spark Low Level API: Distributed Shared Variables
    • [Teorik] Distributed Shared Variables Giriş
    • [Uygulama-Scala] Broadcast Variables: En Çok Ciroya Sahip İlk 10 Ürün-01
    • [Uygulama-Scala] Broadcast Variables: En Çok Ciroya Sahip İlk 10 Ürün-02
    • [Uygulama-PySpark] Broadcast Variables: En Çok Ciroya Sahip İlk 10 Ürün-01
    • [Uygulama-PySpark] Broadcast Variables: En Çok Ciroya Sahip İlk 10 Ürün-02
  • 3.4. Spark High Level (Dataframe-SQL-Dataset) API
    • [Teorik] Dataframe, Dataset, SQL, Şema ve Partitions Kavramları
    • [Teorik] Spark Çalışma Planı, Transformation & Action, Lazy Evaluation
    • [Gösteri] Spark Kütüphaneleri İnceleme
    • [Uygulamalı-Scala] Dataframe Giriş: SparkSession, csv okuma, explain ...
    • [Uygulamalı-PySpark] Dataframe Giriş: SparkSession, csv okuma, explain ...
    • [Uygulamalı-Scala] Dataframe ile Wordcount Örneği
    • [Uygulamalı-PySpark] Dataframe ile Wordcount Örneği
    • [Uygulamalı-Scala] CSV Dosyası Üzerinde SQL Sorgusu Çalıştırmak
    • [Uygulamalı-PySpark] CSV Dosyası Üzerinde SQL Sorgusu Çalıştırmak
    • [Uygulamalı-Scala] Dataframe String Fonksiyonları
    • [Uygulamalı-PySpark] Dataframe String Fonksiyonları
    • [Uygulamalı-Scala] Temizlenen Veriyi Diske Yazmak
    • [Uygulamalı-PySpark] Temizlenen Veriyi Diske Yazmak
    • [Uygulamalı-Scala] Elle Şema Oluşturmak
    • [Uygulamalı-PySpark] Elle Şema Oluşturmak
    • [Uygulamalı-Scala] Tarih-Saat Operasyonları
    • [Uygulamalı-PySpark] Tarih-Saat Operasyonları
    • [Uygulamalı-Scala] Spark Uygulamasına Ait JAR Dosyası Oluşturmak ve Çalıştırmak
  • 3.5. Spark ve Veri Kaynakları (Opsiyonel)
    • [Teorik] Apache Kafka Nedir?
    • [Uygulama] Windows 10 Apache Kafka Kurulum
    • [Uygulama] Kafka ile Topic Yaratma, Listeleme ve Konsoldan Mesaj Gönderip Alma
    • [Uygulamalı-Scala] Dataframe'i Kafka'ya Yazmak
    • [Uygulamalı-PySpark] Dataframe'i Kafka'ya Yazmak
    • [Bilgilendirme] Spark İle Kafka'dan Veri Okumak
    • [Uygulama] Windows 10 Docker Toolbox Kurulumu
    • [Uygulama] PostgreSQL Veri Tabanında Tablo Oluşturma ve Csv Verisi Yazma
    • [Uygulamalı-Scala] Spark ile PostgreSQL Veri Tabanına Bağlanmak ve DF Oluşturmak
    • [Uygulama] Docker MongoDB Kurulumu
    • [Uygulamalı-Scala] Spark ile MongoDB'ye Veri Yazmak
    • [Uygulamalı-Scala] Spark ile MongoDB'den Veri Okumak
  • #### 4. KISIM: VERİYİ ANLAMAK, KEŞFETMEK VE VERİ ÖN HAZIRLIĞI ####
    • [Teorik] Veriyi Anlamak, Veri Keşfi ve Ön İşleme
  • 4.1. Veriyi Anlamak ve Keşfetmek (Data Understanding)
    • [Uygulamalı-Scala] Veri Setini Tanımak ve Keşfetmek-01
    • [Uygulamalı-Scala] Veri Setini Tanımak ve Keşfetmek-02
    • [Uygulamalı-PySpark] Veri Setini Tanımak ve Keşfetmek-01
    • [Uygulamalı-PySpark] Veri Setini Tanımak ve Keşfetmek-02
  • 4.2. Veri Temizliği ve Ön Hazırlığı (Data Preparation)
    • [Uygulamalı-Scala] Veri Temizliği-01
    • [Uygulamalı-Scala] Veri Temizliği-02
    • [Uygulamalı-Scala] Veri Temizliği-03
    • [Uygulamalı-Scala] Veri Temizliği-04
    • [Uygulamalı-PySpark] Veri Temizliği-01
    • [Uygulamalı-PySpark] Veri Temizliği-02
    • [Uygulamalı-PySpark] Veri Temizliği-03
    • [Uygulamalı-Scala] Kategorik Nitelikler: StringIndexer
    • [Uygulamalı-PySpark] Kategorik Nitelikler: StringIndexer
    • [Uygulamalı-Scala] Kategorik Nitelikler: OneHotEncoderEstimator
    • [Uygulamalı-PySpark] Kategorik Nitelikler: OneHotEncoderEstimator
    • [Uygulamalı-Scala] Nitelikleri Vektör Haline Getirmek: VectorAssembler
    • [Uygulamalı-PySpark] Nitelikleri Vektör Haline Getirmek: VectorAssembler
    • [Uygulamalı-Scala] Hedef Değişkeni Dönüştürmek: LabelIndexer
    • [Uygulamalı-PySpark] Hedef Değişkeni Dönüştürmek: LabelIndexer
    • [Uygulamalı-Scala] Normalizasyon, Standardizasyon: StandardScaler
    • [Uygulamalı-PySpark] Normalizasyon, Standardizasyon: StandardScaler
    • [Uygulama-Scala] Veriyi Eğitim ve Test Setlerine Ayırma
    • [Uygulama-PySpark] Veriyi Eğitim ve Test Setlerine Ayırma
    • [Uygulamalı-Scala] Basit Bir Makine Öğrenmesi Modeli
    • [Uygulamalı-PySpark] Basit Bir Makine Öğrenmesi Modeli
  • 4.3. Pipeline
    • [Teorik] Pipeline Giriş
    • [Uygulamalı-Scala] Pipeline
    • [Uygulamalı-PySpark] Pipeline
  • #### 5. KISIM: SPARK MAKİNE ÖĞRENMESİ ####
    • [Teorik] Makine Öğrenmesi Genel Giriş
    • [Teorik] Spark ML Kütüphanesinin Web Üzerinden Tanıtımı
  • 5.1. Regresyon
    • [Teorik] Regresyon Giriş-01
    • [Teorik] Regresyon Giriş-02
    • [Teorik] Regresyon: ISLR - Advertising Veri Setini Tanıma
    • [Uygulamalı-Scala] Basit Lineer Regresyon-01: Giriş, Veri Okuma ve Keşfi
    • [Uygulamalı-Scala] Basit Lineer Regresyon-02: Hazırlık, Eğitim ve Test
    • [Uygulamalı-Scala] Basit Lineer Regresyon-03: Model Değerlendirme
    • [Uygulamalı-Scala] Basit Lineer Regresyon-04: Tahmin
    • [Uygulamalı-PySpark] Basit Lineer Regresyon-01: Giriş, Veri Okuma ve Keşfi
    • [Uygulamalı-PySpark] Basit Lineer Regresyon-02: Hazırlık, Eğitim, Test ve Değ.
    • [Uygulamalı-PySpark] Basit Lineer Regresyon-03: Tahmin
    • [Teorik] Çoklu Lineer Regresyon
    • [Uygulamalı-Scala] Çoklu Lineer Regresyon-01: Giriş, Veri Okuma ve Keşfi
    • [Uygulamalı-Scala] Çoklu Lineer Regresyon-02: Hazırlık, Eğitim, Test
    • [Uygulamalı-Scala] Çoklu Lineer Regresyon-03:Model Oluşturma
    • [Uygulamalı-Scala] Çoklu Lineer Regresyon-04: Tahmin
    • [Uygulamalı-PySpark] Çoklu Lineer Regresyon-01: Giriş, Veri Okuma ve Keşfi
    • [Uygulamalı-PySpark] Çoklu Lineer Regresyon-02: Hazırlık-Eğitim-Test
    • [Uygulamalı-PySpark] Çoklu Lineer Regresyon-03: Model Oluşturma
    • [Uygulamalı-PySpark] Çoklu Lineer Regresyon-04: Tahmin
    • [Ödev] Çoklu Lineer Regresyon Modeli Kurmak
    • [Ödev-Cevabı-Scala] 01: Problem ve Veri Seti
    • [Ödev-Cevabı-Scala] 02: Veri Hazırlığı, Pipeline, Model Eğitimi
    • [Ödev-Cevabı-Scala] 03: Geriye Doğru Eleme Yöntemiyle Model Oluşturma
    • [Ödev-Cevabı-PySpark] 01: Problem ve Veri Seti
    • [Ödev-Cevabı-PySpark] 02: Veri Hazırlığı, Pipeline, Model Eğitimi
    • [Ödev-Cevabı-PySpark] 03: Geriye Doğru Eleme Yöntemiyle Model Oluşturma
    • [Teorik] Model Hiperparametrelerini Ayarlama
    • [Uygulamalı-Scala] Regresyon Model Tuning-01
    • [Uygulamalı-Scala] Regresyon Model Tuning-02
    • [Uygulamalı-PySpark] Regresyon Model Tuning-01
    • [Uygulamalı-PySpark] Regresyon Model Tuning-02
  • 5.2. Sınıflandırma
    • [Uygulamalı-Scala] Sınıflandırma-01: Veri Setini Okuma
    • [Uygulamalı-Scala] Sınıflandırma-02: Veri Keşfi
    • [Uygulamalı-Scala] Sınıflandırma-03: Veri Temizlik ve Ön Hazırlığı
    • [Uygulamalı-Scala] Sınıflandırma-04: Model Oluşturma ve Tahmin
    • [Uygulamalı-Scala] Sınıflandırma-05: Model Değerlendirme
    • [Uygulamalı-PySpark] Sınıflandırma-01: Veri Setini Okuma
    • [Uygulamalı-PySpark] Sınıflandırma-02: Veri Keşfi
    • [Uygulamalı-PySpark] Sınıflandırma-03: Veri Temizlik ve Ön Hazırlığı
    • [Uygulamalı-PySpark] Sınıflandırma-04: Model Oluşturma ve Tahmin
    • [Uygulamalı-PySpark] Sınıflandırma-05: Model Değerlendirme
  • 5.3. Kümeleme
    • [Uygulamalı-Scala] KMenas-01: Veri Setini Okuma, İş Problemini Anlama
    • [Uygulamalı-Scala] KMenas-02: KMeans Modeli Oluşturma
    • [Uygulamalı-Scala]KMeans-03: Optimal K Değerini Bulma, Silhouette Skoru
    • [Uygulamalı-PySpark] KMenas-01: Veri Setini Okuma, İş Problemini Anlama
    • [Uygulamalı-PySpark] KMenas-02: KMeans Modeli Oluşturma
    • [Uygulamalı-PySpark]KMeans-03: Optimal K Değerini Bulma, Silhouette Skoru
  • #### 6. KISIM: SPARK STREAMING ####
    • [Teorik] Gerçek Zamanlı Veri İşleme Genel
  • 6.1. Spark Streaming (DStream-Eski API)
    • [Teorik] Spark Streaming Giriş: Eski-Yeni API Karşılaştırma
    • [Uygulamalı-Scala] Streaming QuickExample
    • [Uygulamalı-Scala] SparkStreaming Wordcount
    • [Uygulamalı-PySpark] Streaming QuickExample
    • [Uygulamalı-PySpark] SparkStreaming Wordcount
    • [Teorik] DStream kaynaklar, start, stop, checkpoint, window
    • [Uygulamalı-Scala] FileStream, Window Operasyonu
    • [Uygulamalı-Scala] FileStream, countByWindow, reduceByKeyAndWindow, checkpoint
    • [Uygulamalı-PySpark] FileStream, Window Operasyonu
    • [Uygulamalı-PySpark] FileStream, countByWindow, reduceByKeyAndWindow, checkpoint
  • 6.2. Spark Structured Streaming (Yeni API)
    • [Uygulamalı-Scala] Dosyadan Okuma ve WordCount
    • [Uygulamalı-PySpark] Dosyadan Okuma ve WordCount
    • [Uygulamalı-Scala] Konsoldan Veri Okuma ve Wordcount
    • [Uygulamalı-PySpark] Konsoldan Veri Okuma ve Wordcount
    • [Uygulamalı-Scala] Kafka'dan Veri Okuma ve Wordcount
    • [Uygulamalı-PySpark] Kafka'dan Veri Okuma ve Wordcount
    • [Uygulamalı-Scala] csv Stream: Mesleklere Göre Maaş Değişimini İzlemek
    • [Uygulamalı-PySpark] csv Stream: Mesleklere Göre Maaş Değişimini İzlemek

A'dan Z'ye Apache Spark (Scala & Python)

apache-spark-egitimi.part1.rar

apache-spark-egitimi.part2.rar

apache-spark-egitimi.part3.rar

apache-spark-egitimi.part4.rar


 TO MAC USERS: If RAR password doesn't work, use this archive program: 

RAR Expander 0.8.5 Beta 4  and extract password protected files without error.


 TO WIN USERS: If RAR password doesn't work, use this archive program: 

Latest Winrar  and extract password protected files without error.


 Coktum   |  

Information
Members of Guests cannot leave comments.


Categories Sitemap



rss