Une fois que vous avez mesuré votre application, il faut vérifier la cohérence des résultats (stabilité, erreurs potentielles...).
Ces vérifications sont utiles au début d'un projet mais seront optionnelles tout au long de la vie du projet.
Vous pouvez également choisir la stratégie consistant à ne pas corriger l'écart-type car vous souhaitez avoir des mesures qui représentent l'instabilité de votre application (due au réseau, au serveur...).
Guide étape par étape
Dans votre application sur Greenspector App :
Vérifiez le nombre minimum d'itérations pour chacun de vos cas de test (au moins 3 itérations).
Dans la vue Résultats des tests, vérifiez que les mesures fonctionnelles sont toutes réussies. Si ce n'est pas le cas, vous pouvez avoir des mesures mais vous ne devez pas être confiant (il se peut que vous n'ayez pas mesuré ce que vous pensiez) !
Dans la vue Résultats du test, vérifiez que toutes les mesures sont présentes.
Dans la vue Meter, contrôlez l'écart-type des mesures. Si l'écart-type est trop élevé (dans ce cas, la moyenne des mesures est affichée en rouge ou en orange), cela signifie que les mesures des itérations ne sont pas stables.
Pour améliorer l'écart-type, vous pouvez ajouter des itérations et/ou désactiver certaines itérations (si vous pensez que certaines doivent être considérées comme des erreurs). Les mesures en dehors de l'intervalle de confiance sont affichées en couleur (de jaune à rouge).
Sélectionnez la métrique Durée du test et vérifiez que les durées sont supérieures à 0,5 seconde. Si ce n'est pas le cas, cela signifie que vous avez trop peu de points de mesure. Dans ce cas, vous pouvez modifier vos tests automatisés afin d'augmenter la durée des tests.
Lien entre l'instabilité des mesures et l'instabilité du backend
Si la plate-forme backend est instable (ce qui est fréquent sur les plates-formes de développement), plusieurs itérations peuvent être effectuées pour éviter les erreurs de test. Cependant, nous vous conseillons d'améliorer la stabilité de votre environnement afin d'améliorer la capacité de test de votre application.
Lien entre l'instabilité et la suffisance des mesures
Votre application peut être « instable » en termes de consommation de ressources. Dans ce cas, nous vous conseillons d'augmenter le nombre d'itérations (>5) et de ne pas désactiver les itérations. Vous devez d'abord augmenter la suffisance de vos solutions, l'instabilité de la mesure est certainement la réalité sur l'appareil de l'utilisateur.
Lien entre l'instabilité de la mesure et le (micro)benchmarking
Dans le cas ou vous souhaitez faire du microbenchmarking (Comparaison de framework ou de certaines bonnes pratiques de codage par exemple), vous pouvez être à la marge de l'erreur de la mesure. Nous vous conseillons d'augmenter le nombre d'itérations (>10).
Cohérence de la campagne
Les mesures qui figurent sur votre version doivent être cohérentes. Cela signifie que :
Si vous avez débogué les tests sur une version, cette version ne doit pas être utilisée pour analyser les résultats. Vous avez besoin d'une version spécifique.
Évitez de lancer des campagnes trop éloignées dans le temps