2025

partage qu'il a été décidé de changer d'outil pour le montage de S3 pour Airflow : mountpoint-s3 => geesefs (avec k8s-csi-s3)
a mis des labels sur tous les resources déployés sur GCP Accenture par Terraform, puis a redéployé toutes les stacks Terraform pour appliquer les labels
a corrigé en urgence avec l'aide de JB une alerte de sécurité Accenture sur GCP (problème identifié depuis 1 semaine mais qui a escaladé hier jusqu'à Tarek)

Houyem

beaucoup d'atelier sur la backlog
démo de la Pipeline Factory à CA-GIP
continue sur le FileReceiver

Marc

suite travaux avec Thierry pour connecter l'agent à BigQuery
poursuite de la connexion entre tables Oracle et tables BigQuery
objectif lancement POC fin de semaine sur la base d'un Restore Base complète (besoin input Inde)

Absents

Arnaud : en atelier
Ali : Arrêt maladie
Nidhal

23 juin 2025
dans Daily
1 min de lecture

Daily du 23 juin 2025

Eric

vendredi rédaction de CR
aujourd'hui structuration du backlog de l'équipe

Joseph

partage qu'on prend la décision d'abandonner mountpoint-s3 et qu'on va choisir un autre outil pour essayer de monter des buckets S3 en filesystem
soutien technique à Billi sur montage S3 en filesystem

Marc

ils sont bloqués à cause d'une configuration de DataStream => en cours d'investigation
Infosphere, bloqués à cause d'une configuration non-documentée => ticket à IBM en cours

Geoffrey Dumas

continue l'installation de Kestra sur GCP

Stéphane Trognon

continue sur Vault (toujours des problèmes de flux)

Billi

partage qu'on est bloqué sur mountpoint-s3 et qu'on arrive au bout de ce qu'on peut faire avec cet outil

Nidhal

avance sur la feature de mapping des tables BigQuery

Sofian

prend en main un composant Java pour le reproduire en Python

Cyrille et Charles

partagent qu'il est important qu'on arrive en fin de semaine à avoir choisi l'orchestrateur

Absents

Arnaud : en atelier
Ali : Arrêt maladie

20 juin 2025
dans Daily
1 min de lecture

Daily du 20 juin 2025

Houyem

atelier pour alimenter le backlog côté Data
onboarding Sofian

Marc

1To a été rajoute sur le serveur de préprod de DataStream
un traitement a pu être lancé et la charge est montée à 80%

Sébastien Bonnevie

atelier sur Airflow packagé dans DataFabric (Postgres Patroni)
a regardé les règles firewall mises en place pour Airflow par BforBank & LCL

Stéphane Trognon

a aidé Geoffrey sur l'installation de Kestra

Sofian

a travaillé sur l'architecture de Kestra

Nidhal

a travaillé sur la customisation du loader de tables BigQuery

Stéphane Kapitanffy

travail sur la partie Poste de Travail
va faire des propositions de dashboard pour donner de la visibilité sur le travail des équipes

Absents

Arnaud : Activité interne OCTO
Jérôme Trouvé
Ali : Arrêt maladie

19 juin 2025
dans Daily
1 min de lecture

Daily du 19 juin 2025

Arnaud

a travaillé sur les CR
a travaillé sur la demande demandé par Stéphane Kapitanffy de besoins pour le Flexible Lakehouse

Eric

Plusieurs points de coordination
Finalisé et relu plusieurs CR
Reste un CR à finaliser aujourd'hui

Joseph

a bossé avec Billi sur le montage de bucket Minio en tant que FS pour Airflow
- plusieurs choix de CSI => pas évident de savoir lequel fonctionne
- Minio nécessite plus de parametrage que S3, pas si évident de trouver la bonne config

Houyem

Hier : Adaptation du DataCatalog pour un déploiement Cloud

Marc

problème de disque plein pour DataStream, en attente du disque

Geoffrey Dumas

Bosse sur de l'Install de Kestra
Fait plusieurs demandes d'ouverture de flux

Absents

Billi : Activité interne OCTO
Nidhal : Activité interne OCTO
Ali : Arrêt maladie

18 juin 2025
dans Daily
2 min de lecture

Daily du 18 juin 2025

Eric

a fait de la relecture de CR principalement (dont)

Joseph

a testé le Proxy SWP LZ CA-GIP => échec partagé par mail
a rédiger la liste de courses pour les pré-requis techniques "On-Premise", continue dessus aujourd'hui avec Eric et Arnaud

Billi

continue sur le PoC Aiflow "On-Premise", a réussi à avancer connecter le bucket

Nidhal

a testé la Pipeline Factory sur GCP Composer
- les DAGs sont bien alimentés
a ajouté de la customisation pour la conversion des Types dans l'outil de conversion des SAS vers BigQuery. Pour définir explicitement le mapping entre les types SAS originaux et les types BigQuery sur la table cibles. Continue dessus aujourd'hui.

Houyem

avait fini une 1ère version du file receiver avant de partir en congés
va faire les onboarding de Jérôme Trouvé et Stéphane Trognon dans les prochains jours

Marc

la partie réseau fonctionne
PoC Infosphere : on a reçu le 2ème serveur, on va pouvoir installer l'agent dessus
partage que l'offre Kafka ne sera pas dispo avant 2027

Sébastien Bonnevie

a fait une demande de flux pour autoriser le proxy SWP LZ GCP CAGIP mais la sécu a donné un avis défavorable. Négociation et discussion en cours pour trouver une solution.

Stéphane Trognon

teste Vault pour stocker les services accounts (cas d'usage non prévu par l'offre CA-GIP aujourd'hui)

Geoffrey Dumas

expérimente l'install de Kestra dans la LZ
teste différents use-cases sur Kestra, notamment avec Vault, Git et Buckets

Absents

Arnaud : OFF
Hervé : OFF
Ali : Arrêt maladie

17 juin 2025
dans Daily
2 min de lecture

Daily du 17 juin 2025

Eric

termine aujourd'hui le CR de l'atelier NFR de vendredi

Billi

continue sur le PoC Airflow : - configuration réussie du bucket Minio - continue aujourd'hui

partage les avancées sur les postes de travail Windows : - le Google SDK dans une machine virtuelle Vagrant fonctionne bien en passant par le proxy PX installé localement sur Windows - hier nous avons réussi à installer le Google SDK sur Windows, sans avoir besoin des droits d'administrateur - nous avons également validé que le Google SDK peut bien se connecter à GCP à travers le proxy PX - il nous a été demandé de tester la connexion du Google SDK avec les APIs à travers le proxy de la LZ GCP CAGIP (au lieu de passer par le proxy Internet CAA comme aujourd'hui)

Nidhal

a testé le Pipeline Factory (le code laissé par Houyem en partant en congés) en suivant les instructions de la documentation : - échec en local - échec sur GCP Composer - Arnaud propose son aide pour débugger - On n'essaie de ne pas perdre trop de temps sur ce sujet, car Houyem est de retour demain

Marc

La partie batch (les 2 jobs) a pu être lancés sur la pré-prod, exécutés à la main
Demande lancée pour la base de données de pré-prod (2,7 To)

Arnaud

partage que nous avons eu hier une présentation de Kestra par CA-GIP
a envoyé la matrice de choix de l'orchestrateur
une réponse a été envoyé sur la question de GitFlow vs Trunk-Based. Aimerait avoir des retours de la part de l'équipe sur cette question.
envoie le CR des "Patterns" aujourd'hui

4 juin 2025
dans Daily
1 min de lecture

Daily du 4 juin 2025

Arnaud annonce l'arrivée d'Ali Saidani, DevOps Engineer, qui rejoint l'équipe Cloud/DevOps.
Arnaud et Ritchie rappelle l'importance pour Billi et Houyem d'aller chercher les PCs CA afin de lancer rapidement l'installation des outils complémentaires VirtualBox et Google SDK.
Billi et Joseph continuent sur la mise en place d'un Composer V3 avec Terraform, en phase de test de déploiement, devrait avoir quelque chose de fonctionnel d'ici la fin de journée.
Houyem avance sur les composants