• dans Daily
  • 1 min de lecture

Daily du 27 juin 2025

Stéphane Kapi
  • partage qu'une session de présentation du Flexible Lakehouse va être organisée
Geoffrey
  • continue l'expérimentation Kestra sur GCP (difficulté de service account en cours d'investigation avec Amine)
Nidhal
  • continue le mapping des champs pour BigQuery
Billi
  • continue sur la mise en places des logs avec S3 pour Airflow
Marc
  • duplication CDC relancée. 3 types d'erreurs :
  • erreur d'accès récurrent à la base de données
  • erreur sur chaque table avec un object status "failed" (à investiguer)
Absents
  • Arnaud : en atelier
  • Ali : Arrêt maladie
  • dans Daily
  • 1 min de lecture

Daily du 26 juin 2025

Nidhal
  • a eu des retours qui vont faire l'objet d'US à part
  • va étudier les options pour packager
Marc
  • estimation de capacité des bases et commandes nécessaire rapidement
  • attention à la saturation de l'interco lors des "init"
  • Cyrille prend l'action de faire un point
Absents
  • Arnaud : en atelier
  • Ali : Arrêt maladie
  • dans Daily
  • 1 min de lecture

Daily du 24 juin 2025

Arnaud
  • beaucoup d'atelier hier et aujourd'hui, notamment sur le dimensionnement du Flexible Lakehouse
Eric
  • restructuration en cours de la backlog
Joseph
  • partage qu'il a été décidé de changer d'outil pour le montage de S3 pour Airflow : mountpoint-s3 => geesefs (avec k8s-csi-s3)
  • a mis des labels sur tous les resources déployés sur GCP Accenture par Terraform, puis a redéployé toutes les stacks Terraform pour appliquer les labels
  • a corrigé en urgence avec l'aide de JB une alerte de sécurité Accenture sur GCP (problème identifié depuis 1 semaine mais qui a escaladé hier jusqu'à Tarek)
Houyem
  • beaucoup d'atelier sur la backlog
  • démo de la Pipeline Factory à CA-GIP
  • continue sur le FileReceiver
Marc
  • suite travaux avec Thierry pour connecter l'agent à BigQuery
  • poursuite de la connexion entre tables Oracle et tables BigQuery
  • objectif lancement POC fin de semaine sur la base d'un Restore Base complète (besoin input Inde)
Billi
  • continue sur Minio et Airflow
Absents
  • Arnaud : en atelier
  • Ali : Arrêt maladie
  • Nidhal
  • dans Daily
  • 1 min de lecture

Daily du 23 juin 2025

Eric
  • vendredi rédaction de CR
  • aujourd'hui structuration du backlog de l'équipe
Joseph
  • partage qu'on prend la décision d'abandonner mountpoint-s3 et qu'on va choisir un autre outil pour essayer de monter des buckets S3 en filesystem
  • soutien technique à Billi sur montage S3 en filesystem
Houyem
  • va avancer sur la partie FileReceiver
Marc
  • ils sont bloqués à cause d'une configuration de DataStream => en cours d'investigation
  • Infosphere, bloqués à cause d'une configuration non-documentée => ticket à IBM en cours
Geoffrey Dumas
  • continue l'installation de Kestra sur GCP
Stéphane Trognon
  • continue sur Vault (toujours des problèmes de flux)
Billi
  • partage qu'on est bloqué sur mountpoint-s3 et qu'on arrive au bout de ce qu'on peut faire avec cet outil
Nidhal
  • avance sur la feature de mapping des tables BigQuery
Sofian
  • prend en main un composant Java pour le reproduire en Python
Cyrille et Charles
  • partagent qu'il est important qu'on arrive en fin de semaine à avoir choisi l'orchestrateur
Absents
  • Arnaud : en atelier
  • Ali : Arrêt maladie
  • dans Daily
  • 1 min de lecture

Daily du 20 juin 2025

Eric
  • travaux sur l'archi et les CR
Joseph
Houyem
  • atelier pour alimenter le backlog côté Data
  • onboarding Sofian
Marc
  • 1To a été rajoute sur le serveur de préprod de DataStream
  • un traitement a pu être lancé et la charge est montée à 80%
Sébastien Bonnevie
  • atelier sur Airflow packagé dans DataFabric (Postgres Patroni)
  • a regardé les règles firewall mises en place pour Airflow par BforBank & LCL
Geoffrey Dumas
  • install de Kestra sur GCP
Stéphane Trognon
  • a aidé Geoffrey sur l'installation de Kestra
Sofian
  • a travaillé sur l'architecture de Kestra
Billi
  • OFF hier
Nidhal
  • a travaillé sur la customisation du loader de tables BigQuery
Stéphane Kapitanffy
  • travail sur la partie Poste de Travail
  • va faire des propositions de dashboard pour donner de la visibilité sur le travail des équipes
Absents
  • Arnaud : Activité interne OCTO
  • Jérôme Trouvé
  • Ali : Arrêt maladie
  • dans Daily
  • 1 min de lecture

Daily du 19 juin 2025

Arnaud
  • a travaillé sur les CR
  • a travaillé sur la demande demandé par Stéphane Kapitanffy de besoins pour le Flexible Lakehouse
Hervé
  • était OFF hier
Eric
  • Plusieurs points de coordination
  • Finalisé et relu plusieurs CR
  • Reste un CR à finaliser aujourd'hui
Joseph
  • a bossé avec Billi sur le montage de bucket Minio en tant que FS pour Airflow
    • plusieurs choix de CSI => pas évident de savoir lequel fonctionne
    • Minio nécessite plus de parametrage que S3, pas si évident de trouver la bonne config
Houyem
  • Hier : Adaptation du DataCatalog pour un déploiement Cloud
Marc
  • problème de disque plein pour DataStream, en attente du disque
Sébastien Bonnevie
  • a travaillé sur le VPN Site-to-Site
Geoffrey Dumas
  • Bosse sur de l'Install de Kestra
  • Fait plusieurs demandes d'ouverture de flux
Jérôme Trouvé
  • se forme sur Google Cloud
Sofian
  • lecture de doc et échange avec Nidhal
Absents
  • Billi : Activité interne OCTO
  • Nidhal : Activité interne OCTO
  • Ali : Arrêt maladie
  • dans Daily
  • 2 min de lecture

Daily du 18 juin 2025

Eric
  • a fait de la relecture de CR principalement (dont)
Joseph
  • a testé le Proxy SWP LZ CA-GIP => échec partagé par mail
  • a rédiger la liste de courses pour les pré-requis techniques "On-Premise", continue dessus aujourd'hui avec Eric et Arnaud
Billi
  • continue sur le PoC Aiflow "On-Premise", a réussi à avancer connecter le bucket
Nidhal
  • a testé la Pipeline Factory sur GCP Composer
    • les DAGs sont bien alimentés
  • a ajouté de la customisation pour la conversion des Types dans l'outil de conversion des SAS vers BigQuery. Pour définir explicitement le mapping entre les types SAS originaux et les types BigQuery sur la table cibles. Continue dessus aujourd'hui.
Houyem
  • avait fini une 1ère version du file receiver avant de partir en congés
  • va faire les onboarding de Jérôme Trouvé et Stéphane Trognon dans les prochains jours
Marc
  • la partie réseau fonctionne
  • PoC Infosphere : on a reçu le 2ème serveur, on va pouvoir installer l'agent dessus
  • partage que l'offre Kafka ne sera pas dispo avant 2027
Sébastien Bonnevie
  • a fait une demande de flux pour autoriser le proxy SWP LZ GCP CAGIP mais la sécu a donné un avis défavorable. Négociation et discussion en cours pour trouver une solution.
Stéphane Trognon
  • teste Vault pour stocker les services accounts (cas d'usage non prévu par l'offre CA-GIP aujourd'hui)
Geoffrey Dumas
  • expérimente l'install de Kestra dans la LZ
  • teste différents use-cases sur Kestra, notamment avec Vault, Git et Buckets
Jérôme Trouvé
  • fait des expérimentations sur Vault
Absents
  • Arnaud : OFF
  • Hervé : OFF
  • Ali : Arrêt maladie
  • dans Daily
  • 2 min de lecture

Daily du 17 juin 2025

Eric

termine aujourd'hui le CR de l'atelier NFR de vendredi

Billi

continue sur le PoC Airflow : - configuration réussie du bucket Minio - continue aujourd'hui

Joseph

partage les avancées sur les postes de travail Windows : - le Google SDK dans une machine virtuelle Vagrant fonctionne bien en passant par le proxy PX installé localement sur Windows - hier nous avons réussi à installer le Google SDK sur Windows, sans avoir besoin des droits d'administrateur - nous avons également validé que le Google SDK peut bien se connecter à GCP à travers le proxy PX - il nous a été demandé de tester la connexion du Google SDK avec les APIs à travers le proxy de la LZ GCP CAGIP (au lieu de passer par le proxy Internet CAA comme aujourd'hui)

Nidhal

a testé le Pipeline Factory (le code laissé par Houyem en partant en congés) en suivant les instructions de la documentation : - échec en local - échec sur GCP Composer - Arnaud propose son aide pour débugger - On n'essaie de ne pas perdre trop de temps sur ce sujet, car Houyem est de retour demain

Marc
  • La partie batch (les 2 jobs) a pu être lancés sur la pré-prod, exécutés à la main
  • Demande lancée pour la base de données de pré-prod (2,7 To)
Arnaud
  • partage que nous avons eu hier une présentation de Kestra par CA-GIP
  • a envoyé la matrice de choix de l'orchestrateur
  • une réponse a été envoyé sur la question de GitFlow vs Trunk-Based. Aimerait avoir des retours de la part de l'équipe sur cette question.
  • envoie le CR des "Patterns" aujourd'hui
  • dans Daily
  • 1 min de lecture

Daily du 4 juin 2025

  • Arnaud annonce l'arrivée d'Ali Saidani, DevOps Engineer, qui rejoint l'équipe Cloud/DevOps.

  • Arnaud et Ritchie rappelle l'importance pour Billi et Houyem d'aller chercher les PCs CA afin de lancer rapidement l'installation des outils complémentaires VirtualBox et Google SDK.

  • Billi et Joseph continuent sur la mise en place d'un Composer V3 avec Terraform, en phase de test de déploiement, devrait avoir quelque chose de fonctionnel d'ici la fin de journée.

  • Houyem avance sur les composants