Create Your First Project

Start adding your projects to your portfolio. Click on "Manage Projects" to get started

.pro-gallery-wix-wrapper {display: block !important;} .pro-gallery-wix-wrapper .gallery-item-container {opacity: 1 !important; display: block !important;}

Traitement de Big Data pour une application AgriTech

Project Type

Image feature extraction and classification

Tools

Python, PySpark, TensorFlow/Keras, PCA, t-SNE, AWS (EMR, EC2, S3)

Skills

Big Data processing, PySpark development, TensorFlow model broadcasting, Dimensionality reduction techniques, Cloud computing (AWS), Data visualization

Développement de solutions de traitement de données évolutives pour une application mobile visant à identifier les fruits à partir de photos.

Conception et implémentation de scripts PySpark pour traiter et préparer efficacement les données en vue d'un déploiement à grande échelle dans un environnement cloud. Intégration d'un Réseau de Neurones Convolutif (CNN) avec TensorFlow Keras pour l'extraction de caractéristiques et mise en œuvre de la diffusion des poids du modèle afin d'optimiser l'inférence distribuée sur plusieurs nœuds.

Incorporation de la PCA pour la réduction de dimensionnalité et de t-SNE pour la visualisation, afin d'évaluer l'efficacité de l'extraction des caractéristiques et son impact sur la classification.

L'ensemble du système a été déployé sur AWS, en utilisant EMR pour le traitement des données volumineuses, EC2 pour les calculs, et S3 pour le stockage des données, tout en assurant la conformité avec le RGPD.