From 177fa678e492ff2fb0340bbad353cc165c1cf12d Mon Sep 17 00:00:00 2001
From: Marc Partensky <marc.partensky@gmail.com>
Date: Sun, 1 Nov 2020 16:57:49 +0100
Subject: [PATCH] big data done

---
 Openclassrooms/Big-Data/notes.md | 43 +++++++++++++++++++++++++-------
 1 file changed, 34 insertions(+), 9 deletions(-)

diff --git a/Openclassrooms/Big-Data/notes.md b/Openclassrooms/Big-Data/notes.md
index 90b64b2..ec9d0ac 100644
--- a/Openclassrooms/Big-Data/notes.md
+++ b/Openclassrooms/Big-Data/notes.md
@@ -1,4 +1,8 @@
-# Notes du cours de Big data d'openclassrooms
+# Notes du cours de Big data d'openclassrooms / Calcul distribué - Data architect
+## Calcul distribué
+Hello world du calcul distribué: Comptage de mots
+
+## MapReduce
 
 Les opérations de calcul distribué peuvent se résumer en une combinaison des opérations de bases map et reduce.
 MapReduce s'inspire fortement du paradigme informatique "Divisez pour régner".
@@ -9,22 +13,43 @@ Les données sont représentés sous la forme de paries (clé, valeur)
 * Reduce: Aggrégation, renvoie pour chaque clé une valeur unique
 ![img](https://user.oc-static.com/upload/2017/03/21/14900937368796_Diapositive19.jpeg)
 
-# Organisation des clusters en architecture maître-client.
+## Organisation des clusters en architecture maître-client.
 Un cluster est composé d'un ensemble de noeud. Chacun de ces noeud a un rôle. Le client s'adresse au noeud maitre qui relègue la tâche au noeud esclaves qui servent d'exécuteurs.
 
-## Traitement distribué
+### Traitement distribué
 Un noeud maitre qui fait office de job tracker et plusieurs noeuds esclaves.
 
-## Stockage distribué
+### Stockage distribué
 Un noeud maitre qui sert de noeud de nom accompagné parfois qu'un noeud de nom secondaire, ainsi que plusieurs noeuds esclaves qui stockent les données et les tâches.
-
- 
-
 ![img](https://user.oc-static.com/upload/2017/03/21/149009497754_Diapositive4Hadoop.jpeg)
-# Hadoop et Spark
-Les implémentations connues sont Apache Hadoop et Apache Spark. Spark est 100x supérieure à Hadoop en vitesse car les données sont conservées dans la RAM lors de l'éxécution.
+
+## Hadoop et Spark
+Les implémentations connues sont Apache Hadoop et Apache Spark. Spark est 100x supérieure à Hadoop en vitesse car les données sont conservées dans la RAM lors de l'éxécution.</br>
+YARN Gestionnaire de cluster</br>
+SparkUI</br>
+SparkML
 
 ## AWS
+
+### Services principaux
 * EC2: Elastic Compute Cloud
 * EMR: Elastic MapReduce
 * S3: Simple Storage Service
+
+### AWS-CLI
+
+* Installation
+```zsh
+pip install awscli
+```
+* Création de compte aws
+* Création de clé ssh
+
+### Supervision des logs
+logs d'EMR sur S3
+
+cloud watch outil de supervision fourni par aws
+
+
+
+