mazex/Machine-Learning
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity

big data done

Browse Source
This commit is contained in:
marc
2020-11-01 16:57:49 +01:00
parent f9ba03dc9b
commit 177fa678e4
1 changed files with 34 additions and 9 deletions
Download Patch File Download Diff File Expand all files Collapse all files
Openclassrooms/Big-Data/notes.md
+34 -9
View File
@@ -1,4 +1,8 @@
# Notes du cours de Big data d'openclassrooms
# Notes du cours de Big data d'openclassrooms / Calcul distribué - Data architect
## Calcul distribué
Hello world du calcul distribué: Comptage de mots
## MapReduce
Les opérations de calcul distribué peuvent se résumer en une combinaison des opérations de bases map et reduce.
MapReduce s'inspire fortement du paradigme informatique "Divisez pour régner".
@@ -9,22 +13,43 @@ Les données sont représentés sous la forme de paries (clé, valeur)
* Reduce: Aggrégation, renvoie pour chaque clé une valeur unique
![img](https://user.oc-static.com/upload/2017/03/21/14900937368796_Diapositive19.jpeg)
# Organisation des clusters en architecture maître-client.
## Organisation des clusters en architecture maître-client.
Un cluster est composé d'un ensemble de noeud. Chacun de ces noeud a un rôle. Le client s'adresse au noeud maitre qui relègue la tâche au noeud esclaves qui servent d'exécuteurs.
## Traitement distribué
### Traitement distribué
Un noeud maitre qui fait office de job tracker et plusieurs noeuds esclaves.
## Stockage distribué
### Stockage distribué
Un noeud maitre qui sert de noeud de nom accompagné parfois qu'un noeud de nom secondaire, ainsi que plusieurs noeuds esclaves qui stockent les données et les tâches.
![img](https://user.oc-static.com/upload/2017/03/21/149009497754_Diapositive4Hadoop.jpeg)
# Hadoop et Spark
Les implémentations connues sont Apache Hadoop et Apache Spark. Spark est 100x supérieure à Hadoop en vitesse car les données sont conservées dans la RAM lors de l'éxécution.
## Hadoop et Spark
Les implémentations connues sont Apache Hadoop et Apache Spark. Spark est 100x supérieure à Hadoop en vitesse car les données sont conservées dans la RAM lors de l'éxécution.</br>
YARN Gestionnaire de cluster</br>
SparkUI</br>
SparkML
## AWS
### Services principaux
* EC2: Elastic Compute Cloud
* EMR: Elastic MapReduce
* S3: Simple Storage Service
### AWS-CLI
* Installation
```zsh
pip install awscli
```
* Création de compte aws
* Création de clé ssh
### Supervision des logs
logs d'EMR sur S3
cloud watch outil de supervision fourni par aws