Objet

Cette chaîne récupère des données depuis Synapse SaaS vers GCE.

Fichiers utilisés

  • getSynapseSaas.job.xml
  • getSynapseSaas.ps1

Logique de traitement

Point d’entrée

Le point d’entrée est le job :

  • getSynapseSaas.job.xml

Ce job exécute plusieurs étapes en shell pour récupérer puis déposer les fichiers dans GCE.

1. Téléchargement depuis Cegid

Le job lance :

pwsh -NoProfile -NonInteractive -ExecutionPolicy Bypass -File "/var/jobscheduler/.../getSynapseSaas.ps1"

1.1 Préparation locale

Le script getSynapseSaas.ps1 :

  1. vérifie la présence d’AzCopy
  2. crée le répertoire local /tmp/in/SCM s’il n’existe pas

1.2 Authentification

Le script récupère un JWT auprès de Cegid.

1.3 Récupération d’une clé SAS

Une fois le JWT obtenu, le script :

  • appelle l’API RFE
  • récupère un jeton SAS sur le conteneur principal

1.4 Construction de la source Blob

Le script cible :

  • le sous-répertoire /out du conteneur

Puis construit l’URL :

  • sourceUrl = <blob>/<container>/out/*?<sas>

1.5 Filtrage des fichiers

Le filtre utilisé par AzCopy est :

  • *.LIN;PREVISIONS_EXP;SURSTOCK.TXT

1.6 Téléchargement effectif

Le téléchargement se fait via l’utilitaire Microsoft AzCopy.

Les fichiers sont déposés localement dans :

  • /tmp/in/SCM

2. Copie vers GCE

Une fois le téléchargement terminé, tous les fichiers sont copiés vers GCE via scp dans :

  • /generix/in/inttmp

3. Remise des droits et contrôle visuel

Le job exécute ensuite, sur 10.6.31.10 :

  1. chown exploi:generix /generix/in/inttmp/*
  2. ls /generix/in/inttmp/ -lsa

Objectifs

  • rendre les fichiers exploitables par les traitements Generix
  • lister le contenu du répertoire pour vérification dans les logs JobScheduler