Grosses données

Organisation

Le cours est découpé en 12 séances hebdomadaires de 2 heures

• Cours : mardi de 8h30 à 10h30 à partir du 23 janvier 2023 salle 027C Halle aux Farines

• Apporter votre ordinateur en cours

Calendrier

Matériel

• Python
• PySpark
• Dask (éventuellement)

Le cours s’appuie sur une image Docker

voir Docker

Objectifs

Ce cours présente plusieurs technologies d’usage courant en science des données

• Python
  • Numpy/Scipy
  • Pandas
• Spark
  • PySpark
  • SQL
  • Streaming
• Dask
• Parquet/Avro/HDFS/…
• Kafka

Il s’adresse à des étudiants en Double Master Mathématiques-Informatique de l’Université Paris Cité.

Prérequis

Python

Plan

Moodle

Références

• Python
  • David Beazley
  • Fluent Python
  • Fluent Python code
  • Python Intro at SciPy 2021
  • NumPy tuto at SciPy 2022
  • Pandas
  • Ask Google about Python mock interviews
• Spark
  • Spark: the definitive guide
  • Spark definitive code
• Dask
  • Dask videos SciPy 2020
  • Dask high throughput computing I
• Graph Algorithms

Contrôle des connaissances (MCC) et validation

• Session 1 : 2 devoirs maison en binôme
  • Devoir 1 pour le 2024-03-26
  • Devoir 2 pour le 2024-05-14
• Session 2 :
• Validation : Note de session supérieure ou égale à 10.