Een procentuele verbetering is alleen interpreteerbaar wanneer de beginwaarde, de vergelijkingsvoorwaarden, het aantal steekproeven, de ruwe resultaten en de berekening duidelijk zijn.
De basiswaarde bepaalt de betekenis
Een procentuele verbetering is een relatieve verandering, die normaal wordt berekend als het verschil tussen een nieuwe waarde en een basiswaarde, gedeeld door de basiswaarde. Zonder de basiswaarde laat het percentage de absolute omvang van de verandering niet zien. Een groot percentage kan voortkomen uit een zeer kleine beginwaarde, terwijl een belangrijk absoluut verschil een bescheiden percentage kan opleveren wanneer de basiswaarde groot is.
Ook de richting is van belang. Een stijging kan voor de ene meting wenselijk en voor een andere onwenselijk zijn. De claim moet daarom de gemeten eigenschap, de eenheden, de oorspronkelijke waarde, de nieuwe waarde en de voorkeur voor een hogere of lagere waarde vermelden.
De vergelijking moet gelijkwaardig zijn
Een percentage is geen eerlijke productvergelijking als de twee waarden zijn verkregen met verschillende configuraties, testmethoden, omstandigheden, tijdsduren of berekeningsregels. Ook het vergelijkingsobject moet worden geïdentificeerd: het kan een eerdere versie, een ander product, een controle of een andere gebruiksomstandigheid zijn. Elke interpretatie verschilt wezenlijk.
Ruwe waarden en de formule stellen lezers in staat het percentage te reproduceren en keuzes te signaleren, zoals afronding, selectieve eindpunten of een noemer waardoor het resultaat groter lijkt.
Steekproeven bepalen hoe representatief het resultaat is
Het aantal steekproeven en de selectiemethode laten zien of het cijfer één waarneming of een bredere verzameling weerspiegelt. Resultaten kunnen ook binnen elke vergelijkingsgroep variëren, waardoor alleen groepsgemiddelden overlap, extremen of instabiliteit kunnen verbergen. Het NIST Engineering Statistics Handbook merkt op dat informatie uit een steekproef een begrensde beslissing over een partij ondersteunt; die informatie mag niet worden behandeld als volledige kennis van alle eenheden.
Een verantwoorde verbeteringsclaim vermeldt daarom de basiswaarde, de vergelijkingswaarde, de eenheden, de steekproeven, de omstandigheden, de ruwe resultaten en de berekening. Als deze elementen ontbreken of de omstandigheden ongelijk zijn, is het informatiever om de waargenomen waarden zonder verbeteringspercentage te rapporteren. Zonder een overeenkomstig vergelijkingsrapport kan geen SEWARD-specifiek percentage worden vastgesteld.
Kan een wiskundig correct percentage toch misleidend zijn?
Ja. De berekening kan correct zijn terwijl de basiswaarde ongewoon klein is, de omstandigheden ongelijk zijn, de steekproeven niet representatief zijn of het absolute verschil in de praktijk gering is.