Browsing by Author "Széll Krisztián"

Now showing 1 - 2 of 2
  • Thumbnail Image
    Item
    Open Access
    Closed formula of test length required for adaptive testing with medium probability of solution
    (2023) T. Kárász Judit; Széll Krisztián; Takács Szabolcs
    Purpose Based on the general formula, which depends on the length and difficulty of the test, the number of respondents and the number of ability levels, this study aims to provide a closed formula for the adaptive tests with medium difficulty (probability of solution is p = 1/2) to determine the accuracy of the parameters for each item and in the case of calibrated items, determine the required test length given number of respondents. Design/methodology/approach Empirical results have been obtained on computerized or multistage adaptive implementation. Simulation studies and classroom/experimental results show that adaptive tests can measure test subjects’ ability to the same quality over half the test length compared to linear versions. Due to the complexity of the problem, the authors discuss a closed mathematical formula: the relationship between the length of the tests, the difficulty of solving the items, the number of respondents and the levels of ability. Findings The authors present a closed formula that provides a lower bound for the minimum test length in the case of adaptive tests. The authors also present example calculations using the formula, based on the assessment framework of some student assessments to show the similarity between the theoretical calculations and the empirical results. Originality/value With this formula, we can form a connection between theoretical and simulation results.
  • Thumbnail Image
    Item
    Open Access
    Cronbach-alfa: vele vagy nélküle?
    (2022) T. Kárász Judit; Nagybányai Nagy Olivér; Széll Krisztián; Takács Szabolcs
    Háttér és célkitűzések Tanulmányunkban arra vállalkozunk, hogy egy olyan eljárást mutassunk be, melynek segítségével megalapozottabban használható az eddig is széles körben alkalmazott Cronbach-alfa mutató. Módszer Elemzésünkben egy olyan, egyszerűen elkészíthető szimulációs eljárás alkalmazását javasoljuk, melynek segítségével az adatainkhoz igazodva egy, az adott helyzetben elvárt együttes konzisztenciaszint (át-lagos korrelációs szint) eléréséhez szükséges Cronbach-alfa viszonyítási pontot adhatunk. Eredmények Elemzésünk ugyanis rámutat arra, hogy nemcsak a kérdőívben használt itemek számától, hanem a kérdőívben alkalmazott Likert-skála értékeinek számától is függővé kellene tenni a Cronbach-alfa mutató viszonyítási pontját. Szintén eredménye az elemzésünknek, hogy az alkalmazott formulával nem a hagyományosan meghatározott 0,7-es értéket kapjuk, hanem mind a Likert-skálától, mind pedig az itemek számától, illetve az elvárt, itemek közötti kapcsolati erősségtől függővé lehet tenni az elvárt Cronbach-alfa értéket. Következtetések A javasolt algoritmus segítségével a Cronbach-alfa mutatónak egy olyan alkalmazását lehet megvalósítani, mely alkalmas arra, hogy a kérdőívünkhöz (a válaszadási Likert-skálához) igazodva, illetve a skála itemszáma alapján referenciapontot adhassunk e megbízhatósági mutatóhoz. Background and purpose In our study, we undertake to present a procedure that allows a more well-founded use of the Cronbach’s alpha index, which has been widely used so far. Method In our analysis, we propose the use of a simple simulation procedure, which can be used in a given situation to provide a Cronbach’s alpha reference point to achieve the expected overall consistency level (average correlation level). Results This is because our analysis points out that the Cronbach’s alpha index should be made dependent not only on the number of items, but also on the number of Likert scale values used in the questionnaire. It is also the result of our analysis that the applied formula does not give the traditionally determined value of 0.7, but the expected Cronbach’s alpha value dependent on both the Likert scale and the number of items, as well as the expected relationship strength between items. Conclusion With the help of the proposed algorithm, an application of the Cronbach’s alpha index can be implemented, which is suitable to add a reference point to this reliability index based on our questionnaire (the answer Likert scale) and the number of items on the scale