Dernière mise à jour : 15/03/2024
Big Data : enjeux et opportunités / Evolution des données
Le Big Data et ses 4 grands défis : volume, variété, vélocité, véracité.
Données massives : Web, réseaux sociaux, Open Data, capteurs, données industrielles.
Ouverture des données publiques : le mouvement Open Data.
Variété, distribution, mobilité des données sur Internet.
Vélocité et flux continus de données.
Le Edge Computing, vers une informatique de flux
Les enjeux pour les entreprises
Le processus de création de valeur grâce au Big Data
Véracité des données provenant de sources variées pour la prise de décision.
Analyses complexes sur Big Data, Big Analytics.
Production d'informations en temps réel à partir de Big Data.
Réactivité : traitement de flux de données en temps réel, Complex Event Processing (CEP).
Définir sa stratégie de déploiement : Cloud, "on-premise" ou hybride
Opportunités offertes par les progrès matériels
Le stockage : Disques durs HDD vs SSD "on premise" et stockage objet ou bloc dans le Cloud.
L'impact de la baisse du coût de la mémoire : l'avènement du traitement de données in-memory
Couplage CPU/GPU pour une meilleure optimisation du calcul parallèle.
Les stratégies de stockage disque en réseau NAS/SAN/Isilon (stockage élastique) : Quels impacts sur les architectures de gestion de données ?
Les architectures massivement parallèles (MPP) vs Hadoop
Les appliances.
Compréhension des technologies utilisées / Motivations
Le théorème CAP (Consistency, Availability, Partition tolerance) : analyse et impact.
La pile logicielle Big Data (la "stack Hadoop")
Les fondamentaux des Big Data
L'organisation fonctionnelle et les principaux composants : stockage, organisation, traitement, intégration, outils d'analyse.
La gestion de clusters.
Les "design pattern" d'Hadoop (architectures Lambda, Kappa, Omega, etc.), pour répondre à quels usages
Comparaison avec les SGBD relationnels.
Les différentes méthodologies adaptées au Big Data
La gouvernance des projets Big Data
Qu'est-ce que la gouvernance Gouvernance des données
Gouvernance des projets
Organisation et rôles
Les grands principes des méthodes agiles
Le design thinking pourquoi est-il adapté aux enjeux du Big data ?
Les principes de base du design thinking
Les méthodes de développement
Les impacts sur l'organisation d'une DSI (privilégier la conception collaborative)
Intégrer les métiers dès la phase de conception
Définir les différents ateliers (modeling, intercation design, prototypage)
La sécurité du Big Data
Les 5 cercles de défense du Big Data
Protection de la donnée
Sécurité périmétrique
Gestion des authentifications
Gestion des autorisations
Sécurité du système d'exploitation
Utilisation de la cryptographie
Comprendre les fondamentaux (cryptographie, cryptanalyse, kleptographie, etc.).
Les trois approches de gestion des clés de chiffrement dans une architecture Big Data.
Les enjeux du chiffrement homomorphe.
Les outils de data management de la donnée
Le chiffrement à la volée avec préservation de format.
Les bonnes pratiques en matière de chiffrement et les recommandations de l'ANSSI et de l'ENISA.
Autres techniques de protection des données
Comprendre le cycle de vie des données dans une architecture Big Data.
Les outils en charge de la gouvernance et du cycle de vie des données
La classification des données. L'importance de la classification dans les projets Big Data.
L'anonymisation et la pseudonymisation des données.
Éthique et enjeux juridiques / principes généraux de conformité et de responsabilités
Responsabilités sur le plan Informatique et Libertés
Responsabilités sur le plan identités
Responsabilités sur le plan régulation
Responsabilités sur le plan économique
Responsabilités sur le plan sécurité
Responsabilités sur le plan patrimoine
Responsabilités sur le plan de l'archivage
Responsabilités sur le plan ressources humaines
Cas d'usage, retours d'expériences Micropole
Cas banque
Utilisation de la méthodologie Design Thinking pour aider l'entreprise à devenir Data Centric, c'est-à-dire en partant de zéro, comment se former, se transformer, choisir sa distribution Hadoop, l'installer, la paramétrer, préparer la gouvernance et préparer les premiers usages
Les stagiaires aborderont les questions suivantes :
Quels sont les qualités qu'un exploitant attend d'une procédure de déploiement d'application Java ?
Comment rendre une application Web Java robuste, tolérante aux pannes et capable de supporter des pics de trafic sans effondrer ses backends ?
Comment exposer à une équipe de supervision les indicateurs de bon fonctionnement d'une application Java ?
Comment améliorer la qualité des logs ?
Java DevOps Maven Clou Cloud