Grafisk illustrasjon av mennesker, verktøy og teknologi.

Muligheter og begrensninger med automatiserte testverktøy for tilgjengelighet


Automatiserte testverktøy kan være svært nyttig i mange prosjekter og gir en stor verdi proposisjon til prosjekter. Men som de fleste erfarne utviklere og testere vet, er det noen forbehold man bør ta med slike verktøy. Automatiserte testverktøy for tilgjengelighet er ikke noe unntak. I denne artikkelen vil vi dykke dypere inn i fordeler og ulemper ved de mest populære verktøyene og hvordan man kan overkomme ulemper ved disse verktøyene.

Generelle begrensninger for automatiserte testeverktøy for tilgjengelighet


Som forskning viser, er det store begrensninger med hensyn til automatiserte testverktøy (Baazeem & Al-Khalifa, 2015). Blant noen er den høye frekvensen av falske positiver, og lav testdekningsgrad (Vigo, Brown, & Conway, 2013). Faktisk viste en forskningsartikel som så på de seks mest populære verktøyene for automatisert tilgjengelighetstesting at halvparten av suksesskriteriene manglet, og 6 av 10 overtredelser ikke ble oppdaget. Dette sammen med tendenser testerne har til å stole på de første resultatene som presenteres, (Tversky & Kahneman, 1974) (Harder & Begnum, 2016) kan automatiserte testrverktøy føre til store konsekvenser. Personlig har jeg sett dette på ulike måter, og i sin tur kan hele prosjektet bli satt i en sårbar posisjon, da det kan stilles spørsmål rundt prosjektmedlemmenes kunnskap og integritet.

Oppsumert:

  • 6 av 10 overtredelser vil ikke bli oppdaget.
  • Halvparten av suksesskriteriene (WCAG 2.0) er ikke inkludert
  • Testere har en tendens til å stole tungt på de første resultatene som er verktøy gir.

Noen eksempler på verktøy


Siteimprove er en for profitt organisasjon som selger automatiserte testverktøy for tilgjengelighet og GDPR. Verktøyet selv er bygget opp som de fleste andre automatiserte testverktøy, men tilbyr en brukerportal som lagrer testresultater. De mest brukte tilgjengelighets testverktøyene er Axe og Google Chrome fyr revisjon verktøy. Ettersom Googles testsverktøy bruker Axes motor og suksesskriterier («Google Selects Deque’s ax for Chrome DevTools,» 2017), under copyleftistlicensen Mozilla Public License versjon 2.0, som en basislinje for deres verktøy (Tilgjengelighetsmotor for automatisert Web UI-testing. 2015 / 2018) er den eneste forskjellen mellom Axe og Googles tjenester, presentasjonen av funnene. Siteimporve har vist seg å produsere de samme testresultatene som Axe (Duran, 2017) og på grunn av testkriteriene er det en naturlig grense for hvor mye et slikt automatisert verktøy kan gjøre. Et annet aspekt å huske på er at testteamene burde ha erfaring med verktøyene som brukes. Som et eksempel inkluderer Axe det som kalles WCAG: Best practices som en del av testomfanget (axe-core/doc/rule-descriptions.md, GitHub).

Comic with one employee saying
Siteimprove tilbyr mange kakediagremmer… Være dog oppmerksom på at testskriteriene ikke dekker hele WCAG 2.0.

Hvordan man bør bruke automatiserte tilgjengelighets testverktøy


Automatisert tilgjengelighet testverktøy må brukes i kombinasjon med andre testmetoder. Innen tilgjengelighetsområdet er det kjent at en kombinasjon av automatiserte testverktøy, ekspertprøving og brukertesting er «triforce» av tilgjengelighetstesting (Vigo et Al., 2015). Automatiserte testverktøy gir et begrenset førsteinntrykk til nåværende tilgjengelighetstilstand for et prosjekt. Automatiserte testverktøy for tilgjengelighet virker underverk med problemer relatert til kontrast og metadata, men faller kort med hensyn til testdekning og pålitelighet. Brukes derimot denne metoden i kombinasjon med eksperttesting og brukertesting, kompletterer de tre testmetodene hverandre. Andre studier fremhever også WCAGs lave testbarhet av eksperter, som du kan lese mer om i denne artikkelen av Andreas Jacobsen. Den eneste anbefalte tilnærmingen som kan gis, er å bruke en kombinasjon av automatisert, ekspert og brukertesting for å oppnå pålitelige resultater .

Share on facebook
Facebook
Share on google
Google+
Share on twitter
Twitter
Share on linkedin
LinkedIn

Del denne bloggposten:

Share on facebook
Facebook
Share on linkedin
LinkedIn
Share on email
Email