Grosses données

Organisation

Le cours est découpé en 12 séances hebdomadaires de 2 heures

• Cours : mercredi de 10h45 à 12h45 à partir du 18 janvier 2023 salle 153 Bâtiment Olympe de Gouches

• Apporter votre ordinateur en cours

Calendrier

Matériel

• Python
• PySpark
• Dask (éventuellement)

Le cours s’appuie sur une image Docker

voir Docker

Objectifs

Ce cours présente plusieurs technologies d’usage courant en science des données

• Python
  • Numpy/Scipy
  • Pandas
• Spark
  • PySpark
  • SQL
  • Streaming
• Dask
• Parquet/Avro/HDFS/…
• Kafka

Il s’adresse à des étudiants en Double Master Mathématiques-Informatique de l'Université Paris Cité.

Prérequis

Python

Plan

Moodle

Références

• Python
  • David Beazley
  • Fluent Python
  • Fluent Python code
  • Python Intro at SciPy 2021
  • NumPy tuto at SciPy 2022
  • Pandas
  • Ask Google about Python mock interviews
• Spark
  • Spark: the definitive guide
  • Spark definitive code
• Dask
  • Dask videos SciPy 2020
  • Dask high thoughput computing I
• Graph Algorithms

Contrôle des connaissances (MCC) et validation

• Session 1 : 3 devoirs maison en binôme
  • Sujet 1 pour le 24 février 2023
• Session 2 :
• Validation : Note de session supérieure ou égale à 10.