Chance Significances in Case-Control Studies when Using a Long Questionnaire

The problem of getting per chance significant differences in case—control studies mostly arises when using a long questionnaire or when comparing a large number of characteristics. The number of chance significances increases with the number of statistical tests carried out. Chance significance is demonstrated on a set of empirically collected data divided into two nonsense groups. The variation of chance significances is shown in several random samples from this data set. Chi square analysis of 2 × 2 contingency tables and stepwise discriminant analysis are applied. Suggestions for avoiding chance significances are made. Attention is called to the hazards of stepwise discriminant analysis.

Das Problem von zufällig signifikanten Unterschieden in Fall-Kontroll-Studien stellt sich vor allem bei Verwendung eines langen Fragebogens oder beim Vergleich einer Vielzahl von Merkmalen. Die Anzahl von Zufallssigmfikanzen wächst mit der Anzahl der durchgeführten statistischen Tests. Zu-fallssignifikanzen werden an einem empirisch erhobenen Datensatz demonstriert, der nach zwei Nonsense-Gruppen unterteilt wurde. Die Variation von Zufallssignifikanzen wird in mehreren Zufallsstichproben dieses Datensatzes gezeigt. Vierfelder-Chi²-Test und schrittweise Disfaimmanzanalyse kommen zur Anwendung. Vorschläge zur Vermeidung von Zufallssignifikanzen werden gemacht. Auf die mit der schrittweisen Diskriminanzanalyse verbundenen Gefahren wird hingewiesen.

Key-Words:

Chance Significance - Multiple Inference - Stepwise Discriminant Analysis - Case—Control Study

Schlüssel-Wörter:

Zufallssignifikanz - multiple Inferenz - schrittweise Diskriminanzanalyse - Fall-Kontroll-Studie

• References

• 1 Aitkin M. A. Simultaneous Inference and the Choice of Variable Subsets in Multiple Regression. Technometrics 1974; 16: 221-227.
• 2 Christensen L. R. Simultaneous Statistical Inference in the Normal Multiple Linear Regression Model. J. Amer, statist. Ass 1973; 68: 457-461.
• 3 Cox D. R, Snell E. J. The Choice of Variables in Observational Studies. Appl. Statist 1974; 23: 51-59.
• 4 Dayton C. M, Schafer W. D. Extended Tables of t and Chi Square for Bonferroni Tests with Unequal Error Allocation. J. Amer, statist. Ass 1973; 68: 78-83.
• 5 Feller W. An Introduction to Probability Theory and its Applications. Vol. 1, 3rd ed. New York: John Wiley & Sons; 1968
• 6 Gabriel K. R. Simultaneous Test Procedures in Multivariate Analysis of Variance. Biometrika 1968; 55: 489-504.
• 7 Kupper L. L, Stewart J. R, Williams K. A. A Note on Controlling Significance Levels in Stepwise Regression. Amer. J. Epidem 1976; 103: 13-15.
• 8 Lachenbruch P. A. Some Misuses of Discriminant Analysis. Meth. Inform. Med 1977; 16: 255-258.
• 9 Mckay R. J. Simultaneous Procedures in Discriminant Analysis Involving Two Groups. Technometrics 1976; 18: 47-53.
• 10 Miller R. G. Simultaneous Statistical Inference. New York: Mcgraw-Hill Book Co; 1966
• 11 Miller R. G. Developments in Multiple Comparisons 1960-1976. J. Amer, statist. Ass 1977; 72: 779-788.
• 12 Murray G. D. A Cautionary Note on Selection of Variables in Discriminant Analysis. Appl. Statist 1977; 26: 246-250.
• 13 Pope P. T, Webstee J. T. The Use of an F Statistic in Regression Procedures. Technometrics 1972; 14: 327-340.
• 14 Veldman D. J. Fortran Programming for the Behavioral Sciences. New York: Holt, Rinehart and Winston; 1967