Skip to end of metadata
Go to start of metadata

You are viewing an old version of this page. View the current version.

Compare with Current View Page History

Version 1 Current »

2 types de mesure sont possibles sur le Testbench :

Exécuter un parcours fonctionnel

  • Analyse personnalisée avec exécution automatisée des tests

Exécuter un benchmark

  • Moyen le plus rapide d'obtenir des résultats avec une exécution de test automatisée

  • Ne donne pas d'analyse personnalisée

  • Possibilité d'exécuter un benchmark sur l'application Greenspector directement

  • Aller à la section plus bas

Exécuter un parcours fonctionnel

Initialisation de la configuration

 Rappel : Initialiser la connexion au serveur Greenspector

  • Windows/Linux/Mac: 

gspt init --greenspectorApi "https://app.greenspector.com/api" --privateToken [MON-TOKEN]

Quel que soit votre système d'exploitation, veuillez remplacer [MON-TOKEN] par un token personnel.

Il se trouve dans http://app.greenspector.com :

  • Cliquez sur le nom du compte en haut à droite

  • Choisissez Preferences

gspt ping

Link Greenspector CLI with the application on Greenspector App.

gspt initprojectconfiguration --application [NOM-APP] --version [VERSION]

Veuillez remplacer [NOM-APP] et [VERSION] avec les informations utilisées dans la section précédente.

Définir l'environnement

Pour utiliser la commande testbench, vous devez d'abord définir l'environnement de votre projet.
Pour ce faire, vous devez utiliser cette commande :

gspt testbench set-environment

Saisissez le numéro de votre choix :

Available environments: 
1 - mobile: Samsung - Galaxy S7 with android 8 
2 - mobile: pixelc with android 8.1.0 
3 - mobile: Samsung - Galaxy S9 with android 10 
4 - mobile: Samsung - Galaxy S9 - with sim with android 10 
5 - mobile: Samsung - Galaxy S9 - Maintenance with android 10 
6 - mobile: Samsung - Galaxy S22 with android 13 
7 - mobile: Samsung - Galaxy Tab S7 FE with android 13 
8 - mobile: Samsung - Galaxy S10 with android 12 
9 - mobile: Samsung - Galaxy S10 - with sim with android 12 
Please choose an environment:

Lancement d'une mesure web sur le Test bench

Voici un exemple de ligne de commande ci-dessous pour lancer une mesure.

gspt testbench custom-tests --testsSuite launch:./script.testgb --monitoredPackage "com.android.chrome" --iterations=3 -e config-skipsetupphone=false --networkMode=Wifi -e PAUSEDURATION=30000 -e PAUSEAFTERLOAD=1000

Lancement d'une mesure d’application sur le Test bench

Pour les mesures web, l'option monitoredPackage doit être modifiée avec le nom du paquet de l'application.

Vous devez également ajouter l'option app comme suit :

  • Si l'application est disponible sur Play Store :

--app [package name of app] # ex : --app com.google.android.youtube

  • Si l'application est présente avec un apk local :

-app [path to the apk] # ex : --app ./my_apk.apk

  • Si l'application est présente avec un apk public :

--app [path to the apk] # ex : --app https://my-website.com/my-apk.apk

Voici un exemple de ligne de commande ci-dessous pour lancer une mesure.

gspt testbench custom-tests --testsSuite launch:./script.testgb --monitoredPackage [appPackageName] --iterations=3 -e config-skipsetupphone=false --networkMode=Wifi -e PAUSEDURATION=30000 -e PAUSEAFTERLOAD=1000 --app [appPackageName]

 Options de la commande

Option obligatoire *

  • --app: Précisez les APKs que vous voulez mesurer et les APKs qui contiennent vos tests fonctionnels à lancer. Préférez des APKs séparés pour votre application et pour vos tests. Le fichier apk peut être un chemin local, une URL publique ou un nom de paquet à télécharger depuis le PlayStore.

  • --testsSuite* : Nom du script Gdsl et listes des fichiers de test écrits avec Greenspector DSL. Tous les fichiers de test seront lancés dans l'ordre spécifié.

  • --monitoredPackage* : Nom du paquet android. Les sondes peuvent surveiller plusieurs paquets à la fois. Dans ce cas, les métriques sont agrégées. Pour le site web, choisissez le navigateur dans lequel les tests s'exécutent (com.android.chrome).

  • --iterations: Nombre d'itérations de mesure souhaitées. (Par défaut : 1).

  • --report: Génère automatiquement le rapport de test dans le dossier .greenspector et attend la fin de la tâche (par défaut : false). Cette commande envoie une demande de mesure au serveur. Après l'exécution de cette mesure sur le Power Test Bench/Cloud, vous trouverez les résultats sur l'interface Web.

  • --extra: A utiliser pour transmettre des paramètres supplémentaires au format nom=valeur. (exemple --extra PARAMETERNAME="valeur" remplaceront toutes les variables ${PARAMETERNAME} dans le fichier GDSL par valeur).

  • --networkMode: Le mode de réseau pour le test. Les valeurs peuvent être « WIFI », « 4G », « 3G » ou « 2G ». (Valeur par défaut : WIFI).

  • --disable-dumpsys: Désactive la surveillance du système Android. Par défaut, cette option est activée et ajoutera une itération à votre travail pour des mesures plus détaillées (Vues, Activité, Sockets OpenSSL, ...). Si vous n'avez pas besoin de ces mesures, désactivez cette itération, cela réduira le temps de test.

  • --only-dumpsys: Lancer uniquement une itération de surveillance du système Android. Cette itération ne pourra récupérer que les métriques du système Android (Vues, Activité, Sockets OpenSSL, ...).

Pour lancer les mesures finales, il faut veiller à ces paramètres dans le fichier job.yml :

  • iterations: 3

  • config-skipsetupphone: false

  • PAUSEDURATION: 30000

  • PAUSEAFTERLOAD: 1000

A noter que les extras dans job.yml qui contiennent du texte, comme PSWD par exemple, ne peuvent pas contenir de « ! » car ils sont interprétés par le bash.

Résultats

Les résultats sont disponibles :

  • Dans votre répertoire de travail avec greenspector/dd-mm-yyyy XXhXXm/tests-results/results.txt

  • Sur app.greenspector.com si online est à true dans job.yml.

Si le test n'aboutit pas, consultez la rubrique Résolution de problèmes (mesures)

Si le test est réussi, félicitations ! (smile)

Vérifiez la cohérence des mesures avec Vérification de la cohérence des mesures

Exécuter un benchmark

Le benchmark est le moyen le plus rapide d'obtenir des résultats avec une exécution de test automatisée. Cependant, il ne permet pas d'obtenir une analyse personnalisée avec un parcours précis de l'utilisateur.

Toute la procédure de benchmark se déroule sur app.greenspector.com/testbench/jobs/new avec la procédure détaillée ci dessous ou via le CLI à la suite des commandes précédentes.

 Voici la procédure détaillée sur Greenspector App

  • Premièrement, cliquer sur Benchmark dans le menu latéral :

  • Choisir + Ajouter une application, entrer un nom et valider. Le champ de description est optionnel.

Les versions permettent de comparer différentes mises à jour d'une même application :

Pour une application, le numéro de version est souvent utilisé (ex : 1.02.03)

Pour un site web, la date de mesure est souvent utilisée (ex : 06_12_2023 avec le format dd_mm_yyyy)

  • Choisir + Ajouter une version, et donner un nom de version :

  • Choisir un environnement de test. La liste montre les appareils disponibles sur notre banc d'essai :

  • Spécifiez le type d'élément à mesurer : Site web ou Application mobile

  • Pour le site web, entrez l'URL d'un site web

  • Pour l'application, entrez :

    • Un lien vers le fichier .apk

    • Un nom de paquet qui sera téléchargé sur Google Playstore

image-20240208-122547.png

  • Entrer le nombre de fois que le benchmark doit être exécuté :

    • Plus le nombre est élevé, meilleure est la précision, mais plus long est le temps d'exécution.

  • Pour un site web, indiquer le navigateur à utiliser

Firefox n'est pas disponible pour le moment. Nous sommes désolés pour la gêne occasionnée.

Suivre le processus de mesure

L'onglet Test tracking permet de vérifier si le test est pris en compte par le testbench :

  • En Pending, le test est en attente d'un appareil disponible dans le testbench

  • Lorsqu'il est Running, le test est en cours d'exécution sur un appareil

  • Lorsqu'il est Finished, les résultats sont disponibles

Le temps d'attente dépend de la disponibilité des appareils du testbench.

A la fin, cliquez sur le test pour obtenir plus d'informations, comme des logs, des captures d'écran ou des dumps. Elles restent disponibles pendant 7 jours.

Résultats

Une fois le test terminé, les résultats sont disponibles dans l'onglet Dashboard, avec un Ecoscore global pour le réseau et les ressources client.

Vérifier que toutes les règles ont été évaluées : 24 règles doivent être vérifiées.

image-20240716-141308.png

Si ce n'est pas le cas, relancer le benchmark.

Lancement de benchmark via le CLI

Il est possible de lancer des mesures de benchmark via le CLI. Pour cela, il faut reprendre les premières étapes de configuration présentées au début de cette page jusqu'à la sélection d’un terminal.

 Benchmark sur un site web via le CLI

Pour utiliser cette fonctionnalité, vous devez d'abord configurer le nom de l'application, sa version et l'environnement sur lequel la mesure doit être exécutée.
La commande à exécuter est la suivante :

gspt testbench measure-url --url [URL]

Options

Option obligatoire*

  • --url* : l'URL à benchmark

  • --iterations: Nombre d'itérations de mesure souhaitées. (Par défaut : 1).

  • --browser: Navigateur sur lequel la mesure doit être exécutée. (Par défaut : Google Chrome).

  • --networkMode: Le mode de réseau pour le test. Les valeurs peuvent être « WIFI », « 4G », « 3G » ou « 2G ». (Valeur par défaut : WIFI).

  • --report: Génère automatiquement le rapport de test dans le dossier .greenspector et attend la fin du travail. (Valeur par défaut : false).

Cette commande envoie une demande de mesure au serveur. Après l'exécution de cette mesure sur le Test Bench, les résultats sont disponibles sur l'interface web.

Exemples

gspt testbench measure-url --url https://greenspector.com/ 
gspt testbench measure-url --url https://greenspector.com/ --iterations 5 --browser chrome --networkMode 4G 
gspt testbench measure-url --url https://www.mozilla.org/fr/ --browser firefox --report
 Benchmark sur un ou plusieurs APK(s) via le CLI

Pour utiliser cette fonctionnalité, vous devez d'abord configurer le nom de l'application, sa version et l'environnement sur lequel la mesure doit être exécutée.
La commande à exécuter est la suivante :

gspt testbench benchmark-apk --app [APK-PATH]

Options

Option obligatoire*

  • --app* : APK(s) à comparer. (S'il est défini plusieurs fois, tous les APK seront installés, mais seul le premier sera lancé et surveillé). Il peut s'agir d'un chemin local, d'une URL publique ou d'un nom de paquet à télécharger depuis le PlayStore. Facultatif si les applications à évaluer sont déjà installées sur le téléphone.

  • --iterations: Nombre d'itérations de mesure souhaitées. (Par défaut : 1).

  • --report: Génère automatiquement le rapport de test dans le dossier .greenspector et attend la fin du travail. (Valeur par défaut : false).

  • --networkMode: Le mode de réseau pour le test. Les valeurs peuvent être « WIFI », « 4G », « 3G » ou « 2G ». (Valeur par défaut : WIFI).

Cette commande envoie une demande de mesure au serveur. Après l'exécution de cette mesure sur le Test Bench, vous trouverez les résultats sur l'interface Web.

Exemple

gspt testbench benchmark-apk --app target/final.apk # local path to apkgspt testbench benchmark-apk --app https://demo/demo.apk # apk from public urlgspt testbench benchmark-apk --app com.microsoft.office.outlook # package name to download the apk from the PlayStoregspt testbench benchmark-apk --app target/main.apk --app target/app-module.apk --app target/commons.apk --networkMode 3G # three apk to install and launch benchmark in 3Ggspt testbench benchmark-apk --app target/final.apk --iterations 5 --report # Launch 5 iterations of the benchmark and wait for the report
  • No labels