Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
-
Upload
hashem-selmi -
Category
Technology
-
view
241 -
download
12
Transcript of Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI
![Page 1: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/1.jpg)
LOGO
Mise en place d’une architecture BIG DATA basée
sur le Cloud computing
Société d’accueil : Innova-TUNISIA
Présentée par :Hachem SELMIAhmed DRIDI
Sous l’encadrement de:Houssem TAYARI(ISET)
Khaled MANSOURI(Innova)
Institut supérieur des études technologiques de CHARGUIA
Année universitaire : 2014-2015
![Page 2: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/2.jpg)
Conclusion
Réalisation
Architecture et choix technologiques
Big Data et cloud computing
Introduction
Plan
Présentation générale
Cadre du stage
![Page 3: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/3.jpg)
Présentation générale
Divers sources d’informations
Données massives
1
![Page 4: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/4.jpg)
Présentation générale
2
98,000 comptes Twitter sont crées
695,000 statuts Facebook
11 millions messages instantanés
698,445 recherches sur Google
168 millions mails envoyés
Chaque60
Secondes
![Page 5: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/5.jpg)
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Introduction
Plan
Présentation générale
Cadre du stage
![Page 6: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/6.jpg)
Introduction
3
Explosion de volume de l’information
La nécessité d’une nouvelle technologie qui peut traiter un
grand volume de données.
Evolution des systèmes d’information des entreprises
variété et complexité des données
BIG DATA
![Page 7: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/7.jpg)
Conclusion
Réalisation
Architecture et Choix technologique
Big Data et cloud computing
Introduction
Plan
Présentation Générale
Cadre du stage
![Page 8: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/8.jpg)
Cadre du stageOrganisme d’accueil
4
INNOVA-TUNISIA est un acteur dynamique dans les métiers du conseil et l’études systèmes informatiques et internet.
Son équipe se compose du responsable développement, du coordinateur communication chargé d’affaires, des programmeurs de logiciels, des chefs de projets et du directeur général.
Depuis 2010, Innova Tunisia s’est spécialisée dans la veille et le monitoring Internet avec un premier produit WebJort, puis en 2012 avec la solution WebRadar introduite sur le marché Tunisien.
![Page 9: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/9.jpg)
Cadre du stageWeb Radar
5
Toutes les données publiquesProduites par la presse électronique, les réseaux
sociaux, les blogs, les forums
en temps réel
…qui collecte
![Page 10: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/10.jpg)
Cadre du stageWebRadar
6
…qui organisepar date, pays, ville, langue, média, sujet, thème,
personne, organisme, marque, sentiment,…
…qui mesurefréquence, audience, crédibilité,
redondance, tonalité, influence, …
![Page 11: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/11.jpg)
Cadre du stageWebRadar
7
![Page 12: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/12.jpg)
Cadre du stageCritique de WebRadar
Des données …
Des données …
Des données…
DES DONNEES!!
8
![Page 13: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/13.jpg)
Cadre du stage Critique de WebRadar
Avec l’architecture actuelle de WebRadar avec la présence évolutive des informations et données collectées, Innova rencontre plusieurs difficultés
pour stocker , traiter et analyser ces données!!!
9
![Page 14: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/14.jpg)
Cadre du stage Solution proposée
Des nouvelles approches liées au concept de l'informatique décisionnelle.
Une infrastructure dédiée à l’analyse et le traitement des données massives.
Architecture Big Data basée sur le cloud computing.
10
![Page 15: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/15.jpg)
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
![Page 16: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/16.jpg)
Big data et cloud computingC’est quoi la Big Data ?
Big Data
Vélocité
VolumeVariété
11
![Page 17: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/17.jpg)
Big data et cloud computingDécisionnel classique et big data
Décisionnel classique
Volume limité
Données structurés
Statistique descriptive
12
![Page 18: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/18.jpg)
Big data et cloud computingC’est quoi le cloud computing ?
L’utilisation de la mémoire et des capacités de calcul et de stockage d’ordinateurs et de serveurs répartis dans le monde, et liés par un réseau ,tel Internet
13
![Page 19: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/19.jpg)
Big data et cloud computingPourquoi ??????
Répartition des
données
Récupération des
données
14
![Page 20: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/20.jpg)
Conclusion
Réalisation
Architecture et choix technologiques
Big data et cloud computing
Cadre du stage
Plan
Introduction
![Page 21: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/21.jpg)
Architecture et choix technologiques Ancienne architecture
15
![Page 22: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/22.jpg)
Nouvelle architecture
16
Architecture et choix technologiques
![Page 23: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/23.jpg)
Choix technologiques
17
Architecture et choix technologiques
![Page 24: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/24.jpg)
Conclusion
Réalisation
Architecture et choix technologique
Big data et cloud computing
Cadre du stage
Plan
Introduction
![Page 25: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/25.jpg)
Réalisation L’infrastructure virtuelle
Création des machines virtuelles
Installation et configuration de système d’exploitation Debian
Configuration d’un réseau LAN
Installation et configuration de l’écosystème Hadoop
18
![Page 26: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/26.jpg)
RéalisationConfiguration Hadoop
19
![Page 27: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/27.jpg)
Réalisation Migration Sql >>Sql
Importation des données de la base de données Mysql de WebRadar
vers la base de données Mysql existante dans notre cluster avec l’outil
Python.
20
![Page 28: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/28.jpg)
Réalisation Migration Sql >>Sql
21
![Page 29: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/29.jpg)
Migration Sql >>NoSql
Réalisation
Migration des données de la base de données relationnel vers la base
de données Nosql (MongoDB) en utilisant l’outil Mongify
22
![Page 30: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/30.jpg)
Réalisation Migration Sql >>NoSql
23
![Page 31: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/31.jpg)
Réalisation Migration Sql >>NoSql
24
![Page 32: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/32.jpg)
Migration Sql >>NoSql
Réalisation
25
![Page 33: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/33.jpg)
Réalisation Migration Sql >>NoSql
26
![Page 34: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/34.jpg)
Réalisation Réplication de données
La réplication de données après la migration Sql >> NoSql.
27
![Page 35: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/35.jpg)
Réalisation Réplication de données
28
![Page 36: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/36.jpg)
Conclusion générale
Notre projet de fin d’étude est déroulé avec la découverte des nouvelles technologies:
La Big Data Cloud Computing Les bases de données Nosql
Le stage a été une bonne occasion pour intégrer des nouveaux concepts et connaitre des nouvelles sources fiables.
![Page 37: Présentation pfe Big Data Hachem SELMI et Ahmed DRIDI](https://reader033.fdocument.pub/reader033/viewer/2022061412/55d30baabb61eb2f468b4688/html5/thumbnails/37.jpg)
LOGO
Merci pour votre attention !