De omvang van de steekproef is belangrijk, maar de selectiemethode, de definitie van de partij, de dekking, de meetkwaliteit en de analyse bepalen wat een grotere steekproef op rechtmatige wijze kan ondersteunen.
Meer waarnemingen zijn niet automatisch beter bewijs
Nee. Een grotere steekproef kan de toevallige onzekerheid verminderen wanneer de waarnemingen relevant zijn, consistent worden gemeten en volgens een geschikte methode zijn geselecteerd. Een vertekende steekproef kan hierdoor niet automatisch worden gecorrigeerd. Als veel eenheden afkomstig zijn van één handige locatie, één productieperiode of een bewust bevoordeelde groep, kunnen de extra waarnemingen dezelfde selectiebias herhalen in plaats van de hele partij te vertegenwoordigen.
Selectie en reikwijdte bepalen de conclusie
Een zinvolle beoordeling begint met het definiëren van de populatie of partij waarop de conclusie van toepassing zal zijn. Vervolgens moeten de bron van de steekproef, de selectieprocedure, het tijdstip, de uitsluitingen en de relatie met die populatie duidelijk zijn. Willekeurige selectie kan helpen voorkomen dat persoonlijke voorkeur bepaalt welke eenheden in de steekproef terechtkomen. Het NIST/SEMATECH e-Handbook legt uit dat acceptatiesteekproeven een steekproef gebruiken ter ondersteuning van een beslissing over de vraag of een partij waarschijnlijk acceptabel is. Die beslissing blijft afhankelijk van een vooraf vastgesteld plan en onthult niet de exacte kwaliteit van de partij.
Betrouwbaarheid hangt af van de volledige methode
De omvang van de steekproef moet daarom worden beschouwd samen met het steekproefontwerp, de verwachte variatie, de meetprocedure, de definitie van een defect en de statistische beslisregel. Een kleinere, goed verspreide steekproef kan een vraag op partijniveau geloofwaardiger beantwoorden dan een grotere verzameling met de hand geselecteerde eenheden. Omgekeerd kan zelfs een willekeurig geselecteerde steekproef ontoereikend zijn als deze te klein is voor de beslisregel of als de metingen niet consistent zijn.
De conclusie moet overeenkomen met de werkelijke dekking. Rapporteer hoeveel eenheden zijn onderzocht, waar ze vandaan kwamen, hoe ze zijn geselecteerd, wat is gemeten en op welke populatie de analyse betrekking heeft. Zonder die details is een groot aantal op zichzelf geen bewijs dat het resultaat representatief of betrouwbaar is.