Unidimensional interpretation of multidimensional tests

Brandt, Steffen

Today, all important educational achievement studies, particularly large scale assessments, use item response theory (IRT) as the standard method for their analyses. An important and very basic assumption of IRT is on the given dimensionality of a test: In order to be interpreted unidimensional a test has to be unidimensional and hence cannot be interpreted multidimensional. In reality though, this basic assumption is very often neglected. The Programme for International Student Assessment (PISA), for example, applies a unidimensional IRT-Model for the analysis of the mathematics achievement and at the same time applies a multidimensional IRT-model for the analysis of the subscales Change and Relationships, Quantity, Space and Shape, and Uncertainty and Data. This contradiction to one of the basic assumptions of IRT is also included in other well known large scale assessments. Strangely enough, non of these studies discuss the issue. This work discusses the advantage and disadvantages of the currently used approaches for a concurrent uni- and multidimensional analysis, and a new approach is presented, which bases on an IRT model, the generalized subdimension model (GSM), which allows the calculation of a weighted mean score within the IRT framework. Besides the demonstration of different applications for the GSM and its predecessor, the subdimension model, the model’s characteristics are compared to those of other models, such as hierarchical models. Beyond the comparison of the model fit, that is, the reliability of the results, the discussion particularly focuses on the difference in the interpretation, that is, on the validity of the results.

Alle wichtigen Schulleistungsstudien benutzen heute standardmäßig Auswertungsverfahren basierend auf der probabilistischen Testtheorie, üblicherweise bezeichnet als Item Response Theorie (IRT). Eine sehr wichtige und grundsätzliche Annahme im Rahmen der IRT ist die zur Dimensionalität eines Tests: Ein Test muss eindimensional sein, um eindimensional ausgewertet werden zu können. In der Realität wird diese grundlegenden Vorraussetzung jedoch häufig vernachlässigt. Im Programme for International Student Assessment (PISA), zum Beispiel, wird Mathematik einerseits mit Hilfe eines eindimensionalen IRT-Modells ausgewertet, andererseits jedoch auch mit einem mehrdimensionalen IRT-Modell, um Leistungswerte in den Subskalen Quantität, Raum und Form, Veränderung und Beziehungen und Unsicherheit und Daten berichten zu können. Dieser Widerspruch zu einer der grundsätzlichen Annahmen der IRT findet sich in gleicher Weise in anderen bekannten großen Studien. Auffallend ist dabei, dass dieses Problem von keiner dieser Studien diskutiert wird. Im Rahmen dieser Arbeit werden die Vor- und Nachteile bestehender Ansätze zur gleichzeitigen ein- und mehrdimensionalen Auswertung besprochen und es wird ein neuer Lösungsansatz vorgeschlagen, der auf einem IRT-Modell basiert, dem generalisierten Subdimensionsmodell (GSM), das eine IRT-basierte Berechnung eines gewichteten Mittelwerts erlaubt. Neben der Darstellung verschiedener praktischer Anwendungen des GSM und seines Vorgängermodells, dem Subdimensionsmodell, wird das Modell dazu mit anderen Modellen, wie etwa hierarchischen Modellen, verglichen. Hinausgehend über die Unterschiede in der Modellpassung, das heißt hinsichtlich der Reliabilität der Ergebnisse, werden dabei insbesondere auch die Unterschiede in der Interpretation, das heißt hinsichtlich der Validität der Ergebnisse, diskutiert.

Cite

Citation style:

Brandt, Steffen: Unidimensional interpretation of multidimensional tests. 2016.

Rights

Use and reproduction:
No CC License (german copyright law applies)

Export