Face à la multiplication et à la profusion des données numériques, l’architecte big data fait partie des profils les plus recherchés du big data. Son rôle est d’organiser la récupération, la gestion et le stockage des données brutes.
L’architecte big data assure la collecte de la donnée brute qui peut-être plus ou moins structurée, en plus ou moins grande quantité et qui peut provenir de sources différentes (internes, externes). Il est chargé de son inventaire (identification, cartographie, hiérarchisation, segmentation) Après cette analyse, il crée et optimise les infrastructures de stockage, de manipulation et de restitution des données brutes.
L’architecte big data maîtrise les principales technologies de big data en terme de bases de données NoSQL (MongoDB, Cassandra ou Redis), d'infrastructures serveurs (Hadoop, Spark) et de stockage de données en mémoire (Memtables).
C’est un interlocuteur important du data scientist, à qui il fournit les données brutes que celui-ci va traiter.
