Mesure sur le Testbench

maj 6 NOV 2024

2 types de mesure sont possibles sur le Testbench :

Exécuter un parcours fonctionnel

Analyse personnalisée avec exécution automatisée des tests

Exécuter un benchmark

Moyen le plus rapide d'obtenir des résultats avec une exécution de test automatisée
Ne donne pas d'analyse personnalisée
Possibilité d'exécuter un benchmark sur Greenspector Studio directement
Aller à la section plus bas

Exécuter un parcours fonctionnel

Initialisation de la configuration

Windows/Linux/Mac:

gspt init --greenspectorApi "https://core-saas-prod.greenspector.com/api" --privateToken [MON-TOKEN]

Quel que soit votre système d'exploitation, veuillez remplacer [MON-TOKEN] par un token personnel.

Il se trouve dans Greenspector Studio :

Cliquez sur le nom du compte en haut à droite
Choisissez Compte

gspt ping

Link Greenspector CLI with the application on Greenspector App.

gspt initprojectconfiguration --application [NOM-APP] --version [VERSION]

Définir l'environnement

Pour utiliser la commande testbench, vous devez d'abord définir l'environnement de votre projet.
Pour ce faire, vous devez utiliser cette commande :

Saisissez le numéro de votre choix :

Lancement d'une mesure web sur le Test bench

Voici un exemple de ligne de commande ci-dessous pour lancer une mesure.

Lancement d'une mesure d’application sur le Test bench

Pour les mesures web, l'option monitoredPackage doit être modifiée avec le nom du paquet de l'application.

Vous devez également ajouter l'option app comme suit :

Si l'application est disponible sur Play Store :

Si l'application est présente avec un apk local :

Si l'application est présente avec un apk public :

Voici un exemple de ligne de commande ci-dessous pour lancer une mesure.

Option obligatoire *

--apkFile: APK à mesurer. Le fichier apk peut être un chemin local, une URL publique ou un nom de paquet à télécharger depuis le PlayStore. Préférez des APKs séparés pour votre application et pour vos tests.
--testsSuite* : Nom du script écrit en GDSL. Si plusieurs scripts, tous les fichiers de test seront lancés dans l'ordre spécifié.
--monitoredPackage* : Nom du paquet android. Les sondes peuvent surveiller plusieurs paquets à la fois. Dans ce cas, les métriques sont agrégées. Pour un site web, choisissez com.android.chrome.
--iterations: Nombre d'itérations de mesure souhaitées. (Par défaut : 1).
--report: Génère automatiquement le rapport de test dans le dossier .greenspector et attend la fin de la tâche (par défaut : false). Cette commande envoie une demande de mesure au serveur. Après l'exécution de cette mesure sur le Testbench, vous trouverez les résultats sur l'interface Web.
--extra: A utiliser pour transmettre des paramètres supplémentaires au format nom=valeur. (exemple --e PARAMETERNAME="valeur" remplaceront toutes les variables ${nomParametre} dans le fichier GDSL par valeur).
--networkMode: Le mode de réseau pour le test. Les valeurs peuvent être « WIFI », « 4G », « 3G » ou « 2G ». (Valeur par défaut : WIFI).
--disable-dumpsys: Désactive la surveillance du système Android. Par défaut, cette option est activée et ajoutera une itération à votre travail pour des mesures plus détaillées (Vues, Activité, Sockets OpenSSL, ...). Si vous n'avez pas besoin de ces mesures, désactivez cette itération, cela réduira le temps de test.
--only-dumpsys: Lance uniquement une itération de surveillance du système Android. Cette itération ne pourra récupérer que les métriques du système Android (Vues, Activité, Sockets OpenSSL, ...).

Résultats

Les résultats sont disponibles :

Dans votre répertoire de travail avec greenspector/dd-mm-yyyy XXhXXm/tests-results/results.txt
Sur Greenspector Studio si online est à true dans job.yml.

Exécuter un benchmark

Le benchmark est le moyen le plus rapide d'obtenir des résultats avec une exécution de test automatisée. Cependant, il ne permet pas d'obtenir une analyse personnalisée avec un parcours précis de l'utilisateur.

Toute la procédure de benchmark se déroule sur l'Atelier de mesures avec la procédure détaillée ci dessous ou via le CLI à la suite des commandes précédentes.

Premièrement, cliquer sur Benchmark dans le menu latéral :

Choisir + Ajouter une application, entrer un nom et valider. Le champ de description est optionnel.

Choisir + Ajouter une version, et donner un nom de version :

Choisir un environnement de test. La liste montre les appareils disponibles sur notre banc d'essai :

Spécifiez le type d'élément à mesurer : Site web ou Application mobile
Pour le site web, entrez l'URL d'un site web
Pour l'application, entrez :
- Un lien vers le fichier .apk
- Un nom de paquet qui sera téléchargé sur Google Playstore

Entrer le nombre de fois que le benchmark doit être exécuté :
- Plus le nombre est élevé, meilleure est la précision, mais plus long est le temps d'exécution.
Pour un site web, indiquer le navigateur à utiliser

Suivre le processus de mesure

L'onglet Test tracking permet de vérifier si le test est pris en compte par le testbench :

En Pending, le test est en attente d'un appareil disponible dans le testbench
Lorsqu'il est Running, le test est en cours d'exécution sur un appareil
Lorsqu'il est Finished, les résultats sont disponibles

Le temps d'attente dépend de la disponibilité des appareils du testbench.

A la fin, cliquez sur le test pour obtenir plus d'informations, comme des logs, des captures d'écran ou des dumps. Elles restent disponibles pendant 7 jours.

Aller dans le portefeuille d’analyses
Cliquer sur Nouvelle analyse
Sélectionner Benchmark
Saisir toutes les informations demandées
Valider

Résultats sur l’Atelier de mesures ou sur le SaaS

Une fois le test terminé, les résultats sont disponibles dans l'onglet Dashboard, avec un Ecoscore global pour le réseau et les ressources client.

Lancement de benchmark via le CLI

Il est possible de lancer des mesures de benchmark via le CLI. Pour cela, il faut reprendre les premières étapes de configuration présentées au début de cette page jusqu'à la sélection d’un terminal.

Pour utiliser cette fonctionnalité, vous devez d'abord configurer le nom de l'application, sa version et l'environnement sur lequel la mesure doit être exécutée.
La commande à exécuter est la suivante :

Options

Option obligatoire*

--url* : l'URL à benchmark
--iterations: Nombre d'itérations de mesure souhaitées. (Par défaut : 1).
--browser: Navigateur sur lequel la mesure doit être exécutée. (Par défaut : Google Chrome).
--networkMode: Le mode de réseau pour le test. Les valeurs peuvent être « WIFI », « 4G », « 3G » ou « 2G ». (Valeur par défaut : WIFI).
--report: Génère automatiquement le rapport de test dans le dossier .greenspector et attend la fin du travail. (Valeur par défaut : false).

Cette commande envoie une demande de mesure au serveur. Après l'exécution de cette mesure sur le Test Bench, les résultats sont disponibles sur l'interface web.

Exemples