De testmethode: GGD AppStore Methodiek

GGD AppStore toetst de apps volgens een vastgestelde methode. Dit toetsingskader wordt aangepast op basis van reacties en nieuwe (wetenschappelijke) inzichten. GGD onderzoekers en gezondheidsbevorderaars onderzoeken en beoordelen de apps deskundig met een onafhankelijke blik. We vinden het belangrijk om transparant te zijn over het toetsingskader, daarom hier meer informatie over hoe we te werk gaan.

Anders dan de reguliere app-stores, bedoelen we niet alleen native apps (apps die je moet installeren op tablet of smartphone), maar ook (mobiele) websites, wearables, platforms etc. Voor de leesbaarheid kiezen we voor de term 'apps'.

Selecteren van apps

Voor GGD AppStore start met het beschrijven, onderzoeken en beoordelen van apps , doet ze een eerste selectie. Deze selectie doen we aan de hand van een aantal criteria, de zgn. inclusiecriteria:
  • Het gaat om een applicatie voor smartphone of tablet of om een interactieve website.
  • De ‘app’ is gericht op (het bevorderen van) de gezondheid van de gebruiker en/of helpt bij zorg voor een ander.
  • De ‘app’ is gericht op zelfmanagement: hij informeert, adviseert en/of begeleid de gebruiker bij zijn/haar gezondheid, gezonde leefstijl en algemeen welzijn.
  • De ‘app’ valt binnen definitie Positieve Gezondheid van Machteld Huber en valt onder minstens een van de zes pijlers van Positieve Gezondheid.
  • De doelgroep van de ‘app’ is de burger (niet de professional).
  • De ‘app’ is interessant voor een breed publiek (beperkt zich niet tot specifieke ziektebeelden. NB wél includeren als het gaat om zelfmanagement c.q. hoe om te gaan met je aandoening).
  • De e-Health dienst is geen medisch hulpmiddel volgens de definitie van het Nictiz.


Als de app past binnen de inclusiecriteria, starten we met beschrijven, onderzoeken en beoordelen.

Beschrijven app

Praktische zaken zoals: beschikbaarheid, prijs, vereiste versie van het besturingssysteem en contactgegevens van de aanbieder/eigenaar van de app beschrijven we. Om bezoekers een eerste indruk te geven van de app, nemen we in de korte beschrijving van de app mee:
  • Doelgroep: Voor wie is de app bedoeld?
  • Welk gezondheidsprobleem wil de app voorkomen of verminderen? Welk gezond gedrag wil de app bevorderen?
  • Aanpak: Hoe wil de app het doel bereiken?
    Hier checken we of de app gebruik maakt van één van de volgende functies:
    • Informatie geven
    • Gegevens meten en verzamelen
    • Doelen stellen
    • Een overzicht tonen van doelen, resultaten en scores
    • Instructies geven
    • Coachen
    • Resultaten met vrienden of hulpverleners delen
  • Beschrijvingen door andere instanties zoals Loketgezondleven (RIVM) of de Digitale zorggids (Patiëntenfederatie)

Onderzoeken beoordelen apps

Apps beoordelen we op de volgende onderdelen:
  • A. Gebruiksvriendelijkheid
  • B. Betrouwbaarheid
  • C. Privacy en veiligheid
  • D. Onderbouwing


Per onderdelen checken we de volgende punten:

A. Gebruiksvriendelijkheid:
  • Kun je makkelijk contact opnemen met de aanbieder?
  • Kun je een uitleg bekijken over hoe de app werkt?
  • Is de app eenvoudig in gebruik?
  • Zijn de teksten leesbaar (lettergrootte, opmaak)?
  • Is de tekst duidelijk en makkelijk te begrijpen?
  • Zijn de overzichten (grafieken, tabellen) in de app duidelijk en makkelijk te begrijpen?
  • Kun je de app ook zonder internetverbinding gebruiken?
  • Werkt de app technisch?
  • Hoe wordt de app door gebruikers beoordeeld in de app stores
De laatste twee punten beschouwen we als een harde eis. Oftewel; de app wordt niet opgenomen in de app store als de app tijdens het testen veelvuldig crasht of als er overwegend negatieve beoordelingen zijn van gebruikers in de app stores.

B. Betrouwbaarheid:
  • Is bekend waar de app zijn informatie vandaan haalt? Naar welke website linkt de app door?
  • Verbind een belangenorganisatie haar naam aan de app? Zoals een patiëntenorganisatie?
  • Zijn eventuele meetgegevens nauwkeurig?
  • Geeft de app een persoonlijk advies? Houdt de app rekening met factoren als leeftijd, geslacht, locatie, enz.)

C. Privacy & veiligheid:
  • Zijn privacyvoorwaarden opgenomen in de app of zijn deze voor installatie te lezen in de appstore of op een bijbehorende website? (harde eis)
  • Staat in de privacyvoorwaarden duidelijk aangegeven:
    • wat er met je (ingevoerde) persoonlijke gegevens gebeurd?
    • dat de gebruiker recht heeft op het inzien, wijzigen en verwijderen van persoonsgegevens?
    • waar je terecht kunt voor het verwijderen, wijzigen of inzien van persoonsgegevens of hoe je dit zelf kunt doen?
  • Vraagt de app alleen informatie van het toestel, of andere apps op het toestel, die voor het gebruik nodig zijn?
  • Is volgens de aanbieder of ontwikkelaar van de app een veiligheidstest uitgevoerd? En kan die deze veiligheidstesten en certificaten overleggen?
  • Als de app gekoppeld is aan een website, is deze beveiligd?
  • Is de app reclamevrij?
Bij de privacy controleren we in hoeverre de gebruiker op juiste en begrijpelijke wijze wordt geïnformeerd over de verwerking van zijn/haar persoonsgegevens. Als er geen privacyvoorwaarden zijn opgenomen in de app en het duidelijk is dat er persoonsgegevens worden verzameld, wordt de app niet opgenomen in de App Store. In dit geval nemen we contact op met de eigenaar van de app.

Daarna checken we of in de apps daadwerkelijk gebeurd wat in de privacyvoorwaarden is beschreven. Daar waar nodig wordt daarnaast nog onderzoek naar het ‘netwerkverkeer’ gedaan van de apps. Dit vereist speciale technische expertkennis. Enkele van onze onderzoekers worden hierop speciaal geschoold.

D. Onderbouwing:
  • Is de inhoud van de app gebaseerd op recente, relevante en/of gevalideerde (vak)kennis of richtlijnen? (harde eis)
  • Draagt de app bij aan een gezonde leefstijl? Is de app bedoeld om gedrag te beïnvloeden?
  • Zo ja, van welke gedragsveranderingstechnieken maakt de app gebruik? Dit zijn dus potentieel werkzame elementen.
    • Zelfmonitoring van gedrag stimuleren
    • Stimuleren van het vormen van intentie tot gedrag
    • Stimuleren om specifieke doelen te stellen
    • Stimuleren om gedragsdoelen te herzien
    • Feedback geven op vertoond gedrag

Wanneer de app bedoeld is om gedrag te beïnvloeden stellen wij als harde eis dat de app van minimaal twee gedragsveranderingstechnieken gebruik maakt. De vijf gedragsveranderingstechnieken zijn afkomstig van de controletheorie van Carver en Scheier’s (1982). In deze theorie staat zelfregulatie centraal. Het uitgangspunt is dat mensen doelen gaan stellen als zij een afwijking ervaren tussen de actuele en gewenste toestand. De theorie stelt dat het stellen van doelen, het monitoren van gedrag, het ontvangen van feedback en het herzien van relevante doelen in het licht van feedback centraal staan bij zelfmanagement en gedragscontrole. Abraham en Michie (2009) onderzochten de aanwezigheid van 26 gedragsveranderingstechnieken (Behaviour Change Techniques) en de effectiviteit van 122 beweeg- en voedingsinterventies. Zij concludeerden dat beweeg- en voedingsinterventies effectiever zijn als de gedragsveranderingstechniek ‘zelfmonitoring’ onderdeel is van de interventie in combinatie met één van de andere vier gedragsveranderings-technieken van de controletheorie. Deze conclusie geldt dus voor interventies en niet specifiek voor apps. Er is nog onvoldoende effectiviteitsonderzoek gedaan naar apps.

Deel deze app