Verbal Self-reporting to Identify Reasoning Processes in Standardized Tests
Armel Brizuela Rodríguez, Karol Jiménez Alfaro, Nelson Pérez Rojas y Guaner Rojas Rojas
Universidad de Costa Rica, Costa Rica
Resumen Los estándares actuales, para la evaluación de la calidad psicométrica de las pruebas psicológicas y educativas, estipulan que una de las evidencias requeridas que justifican las inferencias derivadas de la aplicación de un test se refiere a las estrategias para contestar a los ítems que lo componen. Por lo tanto, el objetivo del presente artículo se propone presentar los resultados de una investigación, que consistió en la ejecución de entrevistas semiestructuradas a un conjunto de 15 estudiantes universitarios de primer ingreso, cuyos reportes orales fueron analizados con el objetivo de fundamentar un conjunto de estrategias para contestar los ítems verbales de la Prueba de Aptitud Académica de la Universidad de Costa Rica, que habían sido identificadas previamente. Los resultados indican que efectivamente los participantes emplearon las estrategias propuestas, lo cual constituye una evidencia de gran importancia sobre las habilidades de razonamiento que se miden con los ítems verbales de la Prueba de Aptitud Académica. Finalmente, se concluye con una discusión sobre los resultados acerca de la utilidad de los autorreportes verbales que recaban evidencias de validez para un test y sobre futuras investigaciones en esta línea.
Palabras clave: prueba de admisión, comprensión de lectura, procesos de respuesta, reporte verbal
Abstract Current standards for assessing the psychometric quality of psychological and educational tests stipulate that one indication required to justify the inferences derived from the application of a test are those related to answering strategies for the test items. Thus, this article presents the results of a study that involved the execution of semi-structured interviews with a group of 15 college freshmen, whose oral reports were analyzed to provide support for a set of strategies to answer previously identified verbal items from the “Academic Aptitude Test” (Prueba de Aptitud Académica) at the Universidad de Costa Rica. The results indicate that participants actually used the proposed strategies, which is important evidence about the reasoning skills measured by the Prueba de Aptitud Académica verbal items. Finally, we conclude with a discussion of the results, the usefulness of verbal self-reports to gather evidence for test validity and future research along these lines.
Keywords: Admission exam, Reading comprehension, Response processes, Verbal report
Referencias:
AERA (American Educational Research Association), APA (American Psychological Association) y NCME (National Council on Measurement in Education). (2014). Standards for Educational and Psychological Testing. Washington, Estados Unidos: American Educational Research Association.
Allen, B. & Horsley, M. (2014). A New Approach to Cognitive Metrics: Analysing the Visual Mechanics of Comprehension Using Eye-Tracking Data in Student Completion of High-Stakes Testing Evaluation. En M. Horsley, M. Eliot, B. Allen & R. Reilly (Eds.), Current Trends in Eye Tracking Research (pp. 287-296). Suiza: Springer.
Anguas, A. (2001). Identificación y validación del significado subjetivo en México: Fundamentos para el desarrollo de un instrumento de medición. Interamerican Journal of Psychology, 35(1), 163-183.
Aulls, M. (1978). Developmental and remedial reading in the middle grades. Boston: Allyn and Bacon.
Belinchón, M., Igoa, J. & Rivière, A. (1998). Psicología del lenguaje: Investigación y teoría. España: Editorial Trotta.
Borsboom, D., Mellenbergh, G.J. & Heerden, J. (2004). The Concept of Validity. Psychological Review, 111(4), 1061–1071.
Brizuela, A. & Montero, E. (2013). Predicción del nivel de dificultad en una prueba estandarizada de comprensión de lectura: aportes desde la psicometría y la psicología cognitiva. RELIEVE, 19(2), 1-23.
Castillo, M. & Padilla, J. (2013). How cognitive interviewing can provide validity evidence of the response processes to scale items. Social indicators research, 114(3), 963-975.
Cerdas, D. (2011). Construcción de una tabla de especificaciones para la parte matemática de la prueba de aptitud académica de la Universidad de Costa Rica, mediante la aplicación del modelo de Rasch (Tesis de maestría). Costa Rica: Universidad de Costa Rica.
Cohen, A. & Upton, T. (2007). ‘I want to go back to the text’: Response Strategies on the Reading Subtest of the New TOEFL. Language Testing, 24(2), 209-250.
Cromley, J. & Azevedo, R. (2006). Self-report of reading comprehension strategies: What are we measuring? Metacognition and Learning, 1(3), 229-247.
Cronbach, L.J. & Meehl, P.E. (1955). Construct Validity in Psychological Test. Psychological Bulletin, 52(2), 281-302.
Cui, Y. & Roduta, M. (2013). Validating Student Score Inferences With Person-Fit Statistic and Verbal Reports: A Person-Fit Study for Cognitive Diagnostic Assessment. Educational Measurement: Issues and Practice, 32(1), 34-42.
Del Teso, E. & Núñez, R. (1996). Semántica y pragmática del texto común. España: Cátedra.
Díaz, M., Cumba, E., Bernal, G., & Rivera, C. (2008). Desarrollo y propiedades psicométricas de la escala de autoeficacia para la depresión en adolescentes (EADA). Interamerican Journal of Psychology, 42(2), 218-227.
Duţă, O. (2009). Semántica Léxica y oposiciones de sentido: un enfoque teórico. Annals of the University of Craiova. Series Philology. Linguistics. Recuperado de www.ceeol.com
Embretson, S. & Gorin, J. (2001). Improving Construct Validity Cognitive Psychology Principles. Journal of Educational Measurement, 38(4), 343-368.
Embretson, S. E. (1996). The New Rules of Measurement. Psychological Assessment, 8(4), 341-349.
Ercikan, K., Arim, R., Law, D., Domene, J., Gagnon, F., & Lacroix, S. (2010). Application of think aloud protocols for examining and confirming sources of differential item functioning identified by expert reviews. Educational Measurement: Issues and Practice, 29(2), 24-35.
Ericsson, K. & Simon, H. (1993). Protocol Analysis. Estados Unidos: MIT Press.
Farr, R., Pritchard, R. & Smitten, B. (1990). A Description of What Happens When an Examinee Takes a Multiple- Choice Reading Comprehension Test. Journal of Educational Measurement, 27(3), 209-226.
Fox, M., Ericsson, K. & Best, R. (2011). Do Procedures for Verbal Reporting of Thinking Have to Be Reactive? A Meta-Analysis and Recommendations for Best Reporting Methods. Psychological Bulletin, 137(2), 316-344.
Garcés, M. (2006). Las operaciones de reformulación. Actas del XXXV Simposio Internacional de la Sociedad Española de Lingüística, España, 84-690-3383-2
Gorin, J. (2006). Test Design with Cognition in Mind. Educational Measurement: Issues and Practice, 25(4), 21-35.
Gorin, J. S. (2007). Reconsidering Issues in Validity Theory. Educational Researcher, 36(8), 456-462.
Gutiérrez, M. (1999). Inferencias en la comprensión del lenguaje. En M. Vega & F. Cuetos (Eds.), Psicolingüística del español (pp. 231-270). España: Editorial Trotta.
Haladyna, T. & Downing, S. (2004). Construct-Irrelevant Variance in High-Stakes Testing. Educational Measurement: Issues and Practice, 23(1), 17-27.
Hunt, E. (2011). Human Intelligence. Estados Unidos: Cambridge University Press.
Jiménez, K. & Morales, E. (2009-2010). Validez predictiva del Promedio de Admisión de la Universidad de Costa Rica y sus componentes. Actualidades en psicología, 23-24(110-111), 21-55.
Kintsch, W. (1998). Comprehension: A Paradigm for Cognition. Estados Unidos: Cambridge University Press.
Landis, J. R., & Koch, G. G. (1977). The measurement of observer agreement for categorical data. Biometrics, 33(1), 159-174.
Leighton, J. & Gierl, M. (2007a). Verbal Reports as Data for Cognitive Diagnostic Assessment. En J. Leighton y M. Gierl (Eds.), Cognitive Diagnostic Assessment for Education (pp. 146-172). Estados Unidos: Cambridge University Press.
Leighton, J. & Gierl, M. (2007b). Defining and evaluating models of cognition used in educational measurement to make inferences about examinees’ thinking processes. Educational Measurement: Issues and Practice, 26(2), 3-16.
Leighton, J. (2004). Avoiding misconception, misuse, and missed opportunities: The collection of verbal reports in educational achievement testing. Educational Measurement: Issues and Practice, 23(4), 6-15.
Lyons, J. (1968). Introduction to Theoretical Linguistics. Reino Unido: University Press.
Markus, K. & Boorsboom, D. (2013). Frontiers of Test Validity: Measurement, Causation, and Meaning. Estados Unidos: Routledge.
Martin, M. & Portolés, J. (2000). Los marcadores del discurso. En I. Bosque & V. Demonte (Eds.), Gramática descriptiva de la lengua española (pp. 4051-4213). España: Espasa-Calpe.
Martínez, C. & Nuñez, C. (2007). Entrevista de Prototipos de Apego Adulto (EPAA): Propiedades psicométricas de su versión en Chile. Interamerican Journal of Psychology, 41(3), 261-274.
McNamara, D. & Magliano, J. (2009). Towards a comprehensive model of comprehension. En B. Ross (Ed.), The psychology of learning and motivation (pp. 297-384). Estados Unidos: Academic Press.
Messick, S. (1995). Validity of Psychological Assessment. American Psychologist, 50(9), 741-749.
Molina, M. & Villalobos, J. (2010). Análisis de la estructura subyacente de la Prueba de Aptitud Académica (PAA) de la Universidad de Costa Rica [Reporte de investigación 723-A8-076]. Costa Rica: Universidad de Costa Rica.
Molina, M., Gallardo, E. & Cordero, R. (2011). Tiempo para graduarse en la Universidad de Costa Rica: Factores Socioeconómicos y académicos asociados [Reporte de investigación del proyecto B1075]. Costa Rica: Universidad de Costa Rica.
Montero, E. (2013). Referentes conceptuales y metodológicos sobre la noción moderna de validez de instrumentos de medición: implicaciones para el caso de personas con necesidades educativas especiales. Actualidades en Psicología, 27(114), 113-128.
Montero, E., Villalobos, J. & Valverde, A. (2007). Factores institucionales, pedagógicos, psicosociales y sociodemográficos asociados al rendimiento académico en la Universidad de Costa Rica: Un análisis multinivel. RELIEVE, 13(2), 215-234.
Murphy, L. (2003). Semantic Relations and the Lexicon. Reino Unido: Cambridge University Press.
Official Languages and Bilingualism Institute. (2015). Canadian Test of English for Scholars and Trainees. Canadá: University of Ottawa.
Padilla, J. & Benítez, I. (2014). Validity Evidence Based on Response Processes. Psicothema, 26(1), 136-144.
Powers, D. & Wilson, S. (1995). Answering the New SAT Reading Comprehension Questions without the Passages. Journal of Educational Measurement, 32(2), 105-129.
Programa Estado de la Nación. (2013). Cuarto Informe Estado de la Educación. Costa Rica: Programa Estado de la Nación. Recuperado de http://www.estadonacion.or.cr/estado-educacion/educacion-informe-ultimo
Remor, E. (2005). Desarrollo de una medida específica para la evaluación de la calidad de vida en pacientes adultos viviendo con hemofilia en América Latina: el Hemolatin-QoL. Revista Interamericana de Psicología, 39(2), 211-220.
Rodríguez, M., Fallas, S. & Morales, S. (2009). Destrezas cognoscitivas en los estudiantes de décimo año de Educación Diversificada en la resolución de ítemes de analogías [Informe final de investigación Nº 723- A2-165]. Costa Rica: Universidad de Costa Rica.
Rojas, L. (2013). Validez predictiva de los componentes del promedio de admisión a la universidad de costa rica utilizando el género y el tipo de colegio como variables control. Actualidades Investigativas en Educación, 13(1), 45-69.
Rupp, A., Ferne, T. & Choi, H. (2006). How Assessing Reading Comprehension with Multiple-Choice Questions Shapes the Construct: a Cognitive Processing Perspective. Language Testing, 23(4), 441-474.
Rupp, A., Templin, J. & Henson, R. (2010). Diagnostic Measurement: Theory, Methods, and Applications. Estados Unidos: The Guilford Press.
Sánchez, A. (2005). Los conectores discursivos: su empleo en redacciones de estudiantes universitarios costarricenses. Revista deFilología y Lingüística,31(2), 169-199.
Schroeder, S. (2011). What Readers Have and Do: Effects of Student’s Verbal Ability and Reading Time Components on Comprehension With and Without Text Availability. Journal of Educational Psychology, 103(4), 877-896.
Smith, V. & Molina, M. (2011). La entrevista cognitiva: Guía para su aplicación en la evaluación y mejoramiento de instrumentos de papel y lápiz. San José, Costa Rica: Instituto de Investigaciones Psicológicas.
Svetina, D., Gorin, J. & Tatsuoka, K. (2011). Defining and Comparing the Reading Comprehension Construct: A Cognitive-Psychometric Modeling Approach. International Journal of Testing, 11, 1-23.
Taylor, K. & Dionne, J. (2000). Accessing problem-solving strategy knowledge: The complementary use of concurrent verbal protocols and retrospective debriefing. Journal of Educational Psychology, 92(3), 413.
Villarreal, M. (2011). Construcción de un modelo psicométrico cognitivo para una prueba de inteligencia fluida (Tesis de maestría). Costa Rica: Universidad de Costa Rica.
Wang, C., & Gierl, M. (2011). Using the attribute hierarchy method to make diagnostic inferences about examinees’ cognitive skills in critical reading. Journal of Educational Measurement, 48(2), 165-187.