Metalinguistic reflection and its relation to the quality of scientific explanations

Hugo, Evelyn; Meneses, Alejandra; Montenegro, Maximiliano

Evelyn Hugo

conceptualización del estudio

metodología

diseño del estudio

análisis de los datos

aprobación de la versión final del manuscrito

responsable de todos los aspectos, incluida la garantía de su veracidad e integridad

Pontificia Universidad Católica de Chile. Facultad de Educación. Santiago - Chile.. E-mail: eshugo@uc.cl

https://orcid.org/0000-0001-6094-9689

Alejandra Meneses

conceptualización del estudio

metodología

diseño del estudio

análisis de los datos

aprobación de la versión final del manuscrito

responsable de todos los aspectos, incluida la garantía de su veracidad e integridad

Pontificia Universidad Católica de Chile. Campus Villarrica. Villarrica - Chile.. E-mail: amenesea@uc.cl

https://orcid.org/0000-0002-6563-5117

Maximiliano Montenegro

conceptualización del estudio

metodología

diseño del estudio

análisis de los datos

aprobación de la versión final del manuscrito

responsable de todos los aspectos, incluida la garantía de su veracidad e integridad

Universidad de la Serena. Instituto Multidisciplinario de Investigación y Postgrado. La Serena - Chile.. E-mail: maximiliano.montenegro@userena.cl

https://orcid.org/0000-0002-2587-1908

Conflicto de intereses

Nosotros, Evelyn Hugo, Alejandra Meneses y Maximiliano Montenegro, declaramos por la presente que no tenemos ningún conflicto de intereses en este estudio.

Dimensión	Definición	Puntaje	Kappa de Cohen
Dimensión	Identificar cambios asociados a…	Puntaje	Kappa de Cohen
1. Discursiva	registro científico, género explicación científica y fases discursivas.	0-2	1
2. Textual	propiedades textuales (extensión, completitud, especificidad, claridad, comprensibilidad).	0-2	0,84
3. Gramatical	categorías y fenómenos gramaticales (construcción oracional o frases).	0-2	1
4. Léxico-semántica	selección o significado de palabras.	0-2	1
5. Conceptual	aprendizaje o contenido de la explicación.	0-2	0,84
Total		0-10	0,91

		Unidad 1		Unidad 2
		(N=293)		(N=278)
		M	DE	M	DE
RM
	Longitud	19,73	15,77	12,05	9,99
	Dimensión discursiva	0,57	0,87	0,56	0,88
	Dimensión textual	0,21	0,43	0,17	0,40
	Dimensión gramatical	0	0	0	0
	Dimensión léxico-semántica	0,01	0,14	0,03	0,23
	Dimensión conceptual	0,87	0,88	0,40	0,65
	Total	1,38	1,33	0,93	1,03

Explicaciones científicas		(N=318)		(N=296)
	Calidad	0,64	0,19	0,69	0,21
	Longitud	39,61	18,45	46,74	21,93

	Unidad 1						Unidad 2
	Nivel 0		Nivel 1		Nivel 2		Nivel 0		Nivel 1		Nivel 2
Dimensión	N	%	N	%	N	%	N	%	N	%	N	%
Discursiva	201	68,6	18	6,1	74	25,3	194	69,8	12	4,3	72	25,9
Textual	236	80,5	54	18,4	3	1,0	235	84,5	40	14,4	3	1,1
Léxico-semántica	290	99,0	2	0,7	1	0,3	272	97,8	3	1,1	3	1,1
Conceptual	136	46,4	60	20,5	97	33,1	192	69,1	61	21,9	25	9,0

Dimensión Discursiva
Dimensión Conceptual		0	1	2
		No identifica cambios entre las producciones	Identifica cambios de manera genérica	Identifica al menos un cambio de manera específica
	0	El hueso tiene una partidura y por eso se mueve y eso es la acción.	Mi respuesta ahora es científica y antes no se veía tanto.	Mi explicación científica es que en la página tres no hay evidencia y en la página treinta ahí empezamos con la evidencia y sin evidencia no hay explicación científica y en la página tres es le falta la evidencia. Esa diferencia.
	No identifica cambios entre las producciones		Mi respuesta ahora es científica y antes no se veía tanto.
		89 casos (30,38%)	15 casos (5,12%)	32 casos (10,92%)
	1	Yo escribí que se movía con la circulación pero ahora sé cómo se mueve.	Porque antes yo no sabía nada y medido al tiempo fui aprendiendo de a poco y empecé a escribir más en las preguntas que decían y ahora hay muchos muy cambios, escribía poco y ahora que ya sé, puedo escribir las respuestas científicas.	Mi explicación cambió por no sabía los componentes, no sabía el proceso y evento, el conector, idea y propuesta, marcador de fuente y evidencia, supe los componentes gracias al video de la ala del pollo.
	Identifica cambios de manera genérica
		48 casos (16,38%)	03 casos (1,02%)	09 casos (3,07%)
	2	Mi explicación científica al principio no tenía idea de cómo se movía el antebrazo hacia el brazo pero ahora sé muy bien que tiene componentes llamados tendón, músculo ligamento y hueso.		Mi explicación científica cambió porque ya sé los componentes, ligamento, músculo, huesos y tendón, ya sé el sistema óseo y sistema muscular, ya sé todo y ahora puedo responder la pregunta ¿cómo se mueve el antebrazo hacia el brazo? y sé la evidencia, conector, idea propuesta y el proceso y conector.
	Identifica al menos un cambio de manera específica
		64 casos (21,84%)	0 casos (0%)	33 casos (11,26%)

Dimensión Discursiva
Dimensión Conceptual		0	1	2
		No identifica cambios entre las producciones	Identifica cambios de manera genérica	Identifica al menos un cambio de manera específica
	0	Porque se disuelve con el calor o con otro material.	Que en la página cuatro no lo hice científicamente y en la página treinta y dos sí lo hice científicamente.	Cambió mucho en idea propuesta, evidencia y marcador de fuente.
	No identifica cambios entre las producciones	Porque se disuelve con el calor o con otro material.
		118 casos (42,45%)	10 casos (3,6%)	64 casos (23,02%)
	1	Antes no sabía nada de los contenidos.	Mi explicación cambió demasiado porque antes no sabíamos nada. No sabíamos cómo hacer una explicación científica.	En todo, ahora hay proceso, evento y lo demás. Antes no sabía nada de la materia.
	Identifica cambios de manera genérica	Antes no sabía nada de los contenidos.
		57 casos (20,50%)	01 caso (0,36%)	03 casos (1,08%)
	2	Yo no sabía antes que había diferencias entre temperaturas e interacción entre cuerpos.	En lo que cambia mi explicación es en que yo no escribí la transferencia ni escribí una explicación científica.	Mi explicación científica cambió mucho. Ahora puse que hay dos cuerpos, que hay uno con mayor temperatura y otro con menor temperatura que entran en contacto y el de menos temperatura pasa de sólido a líquido. También me faltó la evidencia y marcador de fuente.
	Identifica al menos un cambio de manera específica
		19 casos (6,83%)	01 caso (0,36%)	05 casos (1,80%)

Dimensión Textual
Dimensión Conceptual		0	1	2
		No identifica cambios entre las producciones	Identifica cambios de manera genérica	Identifica al menos un cambio de manera específica
	0	Ahora el hueso se mueve debido a que el músculo está conectado al hueso por el tendón entonces el músculo se contrae y el hueso se levanta.	La nueva explicación científica es más completa que cuando empezamos la unidad.	Que en la página treinta ahora veo que está mucho más completa que la tres y es mucho más larga.
	No identifica cambios entre las producciones
		100 casos (34,13%)	35 casos (11,95%)	01 caso (0,34%)
	1	Ahora el hueso se mueve debido a que el músculo está conectado al hueso por el tendón entonces el músculo se contrae y el hueso se levanta.	Se hizo más larga, se hizo más completa y se llenó más la hoja. Ahora me siento que aprendí más.
	Identifica cambios de manera genérica
		47 casos (16,09%)	13 casos (4,44%)	0 casos (0%)
	2	Mi respuesta cambió porque aprendí mucho con las cosas del antebrazo se mueve hacia el brazo y aprendí muchas cosas más. Yo aprendí del ligamento, hueso, del tendón, músculo.	La explicación es mucho más completa porque uno no sabía del tendón y ligamento dos que había evidencia pregunta función etcétera.	Cambió mucho porque y solo escribía diez palabras pero ahora no porque he aprendido sobre el brazo y antebrazo el modelo de la naturaleza y lo de tendón y ligamento y cómo se mueve el brazo y antebrazo.
	Identifica al menos un cambio de manera específica
		89 casos (30,38%)	06 casos (2,05%)	02 caso (0,68%)

Dimensión Textual
Dimensión Conceptual		0	1	2
		No identifica cambios entre las producciones	Identifica cambios de manera genérica	Identifica al menos un cambio de manera específica
	0	Porque se disuelve con el calor o con otro material.	Mejoró y se ha vuelto más específica	La verdad cambió mucho, había hecho seis páginas y ahora ocho, escribí proceso, evento, evidencias, etcétera.
	No identifica cambios entre las producciones	Porque se disuelve con el calor o con otro material.	Mejoró y se ha vuelto más específica
		157 casos (56,47%)	33 casos (11,87%)	02 casos (0,72%)
	1	Yo aprendí más en el semestre.	Que en la página cuatro es más corto y aparte no sabíamos y tuvimos que escribir lo que creíamos y no todo era correcto, como en la treinta y dos y treinta y uno.
	Identifica cambios de manera genérica	Yo aprendí más en el semestre.
		54 casos (19,42%)	07 casos (2,52%)	0 casos (0%)
	2	Cambió bastante porque yo al principio no sabía nada pero pasamos otras materias nuevas. Por ejemplo: el hielo se derrite a través del agua caliente.		Cambió mucho porque en la página cuatro eran menos palabras porque tan solamente puse se derrite con el sol porque el sol derrite el hielo.
	Identifica al menos un cambio de manera específica
		24 casos (8,63%)	0 casos (0%)	01 caso (0,36%)

Variable		1	2	3	4	5	6
Unidad 1
1.	Dimensión discursiva (presencia)
2.	Dimensión textual (presencia)	,019
3.	Dimensión conceptual	,067	-,265^*
4.	Suma RM	,525^*	,276^*	,734^*
5.	Longitud RM	,503^*	,013	,452^*	,562^*
6.	Calidad explicación científica	,570^*	,123	,231^*	,452^*	,426^*
7.	Longitud explicación científica	,516^*	,113	,273^*	,462^*	,532^*	,743^*
Unidad 2
1.	Dimensión discursiva (presencia)
2.	Dimensión textual (presencia)	-,036
3.	Dimensión conceptual	-,227^*	-,191
4.	Suma RM	,405^*	,372^*	,616^*
5.	Longitud RM	,329^*	,083	,209^*	,363^*
6.	Calidad explicación científica	,370^*	,050	,010	,222^*	,342^*
7.	Longitud explicación científica	,534^*	,027	-,042	,268^*	,405^*	,793^*

Modelo	G.L.	G.L. res.	F	p	R ²	AIC	BIC
Unidad 1
1	2	218	7,07	0,008	0,031	464,99	475,17
2	3	219	39,08	0,000	0,263	458,43	472,04
3	2	218	171,85	0,000	0,441	344,14	354,32
4	4	218	94,14	0,000	0,564	343,71	360,72
Unidad 2
5	2	262	15,49	0,000	0,056	610,75	621,48
6	3	219	16,39	0,000	0,130	507,17	520,78
7	2	262	391,48	0,000	0,599	384,63	395,36
8	2	220	337,73	0,000	0,606	329,62	339,83
9	3	151	123,76	0,000	0,621	244,09	256,24

Unidad 1	Modelo 1		Modelo 2		Modelo 3		Modelo 4
	β	(EE)	β	(EE)	β	(EE)	β	(EE)
Intercepto	0,20*	(0,06)	0,10*	(0,05)	0,14*	(0,04)	0,08*	(0,04)
Suma RM	0,22*	(0,08)
Dimensión discursiva (presencia)			0,35*	(0,04)			0,15*	(0,04)
Dimensión textual (presencia)
Dimensión conceptual			0,21*	(0,04)			0,06	(0,04)
Explicación-longitud					0,53*	(0,04)	0,52*	(0,04)
R²	0,031		0,263		0,441		0,564
*Unidad 2*	Modelo 5		Modelo 6		Modelo 7		Modelo 8
	β	(EE)	β	(EE)	β	(EE)	β	(EE)
Intercepto	0,14*	(0,05)	0,10*	(0,05)	0,09*	(0,03)	0,08*	(0,03)
Suma RM	0,19*	(0,05)
Dimensión discursiva (presencia)			0,29*	(0,05)
Dimensión textual (presencia)
Dimensión conceptual			0,08	(0,05)
Explicación-longitud					0,64*	(0,03)	0,65*	(0,04)
R²	0,056		0,130		0,599		0,606

Unidad 1	Modelo 9
	β	(EE)
Intercepto	0,06	(0,04)
Dimensión discursiva (presencia)
Dimensión textual (presencia)
Dimensión conceptual	0,12*	(0,05)
Explicación-longitud
*Unidad 2*
Dimensión discursiva (presencia)
Dimensión textual (presencia)
Dimensión conceptual
Explicación-longitud	0,65*	(0,05)
R²	0,621

Pregunta orientadora	La reflexión, ¿identifica cambios en la dimensión discursiva entre las producciones considerando el género discursivo o el registro?
2	1	0
La reflexión IDENTIFICA al menos UN CAMBIO de MANERA ESPECÍFICA entre las producciones considerando el género discursivo o el registro.	La reflexión IDENTIFICA cambios de MANERA GENÉRICA entre las producciones considerando el género discursivo o el registro.	La reflexión NO identifica cambios entre las producciones considerando el género discursivo o el registro.
2	1	0
Me faltó el *conector, la idea propuesta,* los agentes, *la evidencia.*	*Ahora tiene todas las partes de una explicación científica,* es más completa y es más larga.	Se hizo más larga, se hizo más completa y se llenó más la hoja. Ahora me siento que aprendí más.
La explicación es mucho más completa porque uno no sabía del tendón y ligamento dos *que había evidencia* función etcétera.	Cambió mucho la explicación, *ahora conocemos la explicación científica.*	Porque ahora entendí lo que no sabía y sé sobre los huesos y el antebrazo hacia el brazo.
Yo puse que se derretía con el sol. Me faltó todo *la evidencia, marcador de fuente, conector, idea propuesta* y en la página treinta y dos no me faltó nada.	Que escribí menos y *no escribí como una pregunta científica,* y yo no sabía tanto y ahora sé más y no sabía los componentes y yo escribía chiquitito y ahora escribo más grande.
Mi explicación científica cambió porque no sabía que había *evento, conector, idea propuesta, marcador de fuentes* y *evidencia* y también *no contestaba científicamente*	Cambió mucho porque *no lo escribí tan científicamente.*

Pregunta orientadora	La reflexión, ¿identifica cambios en la dimensión textual entre las producciones considerando la extensión, la completitud, la especificidad, la claridad, la comprensibilidad o el sentido del texto?
2	1	0
La reflexión IDENTIFICA al menos UN CAMBIO de MANERA ESPECÍFICA entre las producciones en la dimensión textual considerando la extensión, la completitud, la especificidad, la claridad, la comprensibilidad o el sentido del texto.	La reflexión IDENTIFICA cambios de MANERA GENÉRICA entre las producciones en la dimensión textual considerando la extensión, la completitud, la especificidad, la claridad, la comprensibilidad o el sentido del texto.	La reflexión NO identifica cambios entre las producciones en la dimensión textual.
2	1	0
La verdad cambió mucho, *había hecho seis páginas y ahora ocho,* escribí proceso, evento, evidencias, etcétera.	En la página cuatro *di una explicación muy pequeña* y le faltó proceso y evento, conector, idea propuesta, marcador de fuente y evidencia y la página treinta y dos *está más completa.*	No había puesto el marcador de fuente, la evidencia, el conector y la idea propuesta. También me faltaban los componente y el sistema óseo y el sistema muscular.
En la página cuatro *escribí dos palabras y no se entendía bien qué hacía que cambiara,* pero en *la treinta y dos es más larga y puse todo lo que se necesita para que se entienda.*	Que mis preguntas *son más llenas.*	Que antes no sabía sobre la transferencia. También me faltó idea propuesta y marcador de fuente y evidencia.
Cambió mucho porque y*solo escribía diez palabras* [pero ahora no porque he aprendido sobre el brazo y antebrazo el modelo de la naturaleza y lo de tendón y ligamento y cómo se mueve el brazo y antebrazo y *mi respuesta está completa.*	Bastante porque cuando uno explica algo que no sabe**no pone algo tangrande** , pero cuando uno ya lo sabe *le pone los detalles.*	Debido al calor o temperatura.
Mi explicación científica de antes estaba mal *porque no tenía nada con sentido al mover el antebrazo hacia el brazo y ahora sí pongo cosas con sentido al antebrazo hacia el brazo.*

Pregunta orientadora	La reflexión, ¿identifica cambios en la dimensión gramatical entre las producciones considerando la construcción de oraciones, las frases o las categorías gramaticales?
2	1	0
La reflexión IDENTIFICA al menos UN CAMBIO de MANERA ESPECÍFICA entre las producciones en la dimensión gramatical (construcción de oraciones, frases, categorías gramaticales, entre otros).	La reflexión IDENTIFICA cambios de MANERA GENÉRICA entre las producciones en la dimensión gramatical (construcción de oraciones, frases, categorías gramaticales, entre otros).	La reflexión NO identifica cambios entre las producciones en la dimensión gramatical.
2	1	0
Cambió, los componentes cambiaron, *tiene oraciones más largas* , no tenía proceso y evento, conector, idea propuesta, marcador de fuente, evidencia. No sabía nada del sistema óseo y sistema muscular, antes no sabía nada de eso y ahora sí gracias a las clases, pero ahora sí lo sé gracias a las clases. Es mucha la diferencia en la página cuatro y la página treinta y tres.	Antes escribí *más desordenadas las palabras* no ponía tanta atención a qué palabras ponía.	Mi explicación científica cambió porque no sabía lo que era proceso y evento, conector, idea propuesta, marcador de fuente, evidencia y los componentes.
INV: mi explicación de ahora es mejor. *Ocupo frases completas.*		Antes escribía poco, aprendí marcador de fuente y evidencia y dónde están los músculos, el ligamento, los tendones y hueso.

Pregunta orientadora	La reflexión, ¿identifica cambios en la dimensión léxico-semántica entre las producciones considerando la selección o el significado de las palabras?
2	1	0
La reflexión IDENTIFICA al menos UN CAMBIO de MANERA ESPECÍFICA entre las producciones en la dimensión de las palabras desde su elección o significado.	La reflexión IDENTIFICA cambios de MANERA GENÉRICA entre las producciones en la dimensión de las palabras desde su elección o significado.	La reflexión NO identifica cambios entre las producciones en la dimensión léxico-semántica.
2	1	0
Cambió porque yo *antes no escribía con palabras científicas* y ahora cuando tenemos que dar una explicación científica *escribo con palabras científicas* entonces sí cambió mi explicación.	Cambió de menos completa a más completa, pero con más información y con *palabras claves.*	En que yo tengo un lápiz y lo meto al hielo y se hace agua.
En que *ahora me puedo expresar con palabras científicas* y antes no podía y no las conocía como: *preocupo* , evento, conector, idea propuesta, marcador de fuente, evidencia. Esas son palabras entre otras ideas: *función, conexión, características, componente, sistema.*	Cambió porque me ordené más para hacer esta respuesta científica y en esta *ocupé más palabras que fueron las que me enseñaron.*	Aprendí que el antebrazo se mueven hacia el brazo y me divertí.
Cambió con más información y con*palabras que explican cómo cambia una materia de sólido a líquido y no de otra cosacomo al principio que puse que era el sol. Ahora puse que era latransferencia de energía entre dos cuerpos*.		Siento que aprendí más.

Pregunta orientadora	La reflexión, ¿identifica cambios en la dimensión del aprendizaje o del contenido de la explicación entre las producciones?
2	1	0
La reflexión IDENTIFICA al menos UN CAMBIO de MANERA ESPECÍFICA entre las producciones considerando el aprendizaje situado en el contenido específico de las explicaciones.	La reflexión IDENTIFICA cambios de MANERA GENÉRICA entre las producciones considerando el aprendizaje.	La reflexión NO identifica cambios entre las producciones considerando el aprendizaje o el contenido de las explicaciones.
2	1	0
*Sí por ante no sabía esos contenido que estudié. La mano caliente y el hielo frío.*	*Yo antes no sabía esto,* pero *ahora ya lo sé,* pero no tanto.	Me faltó el conector, la idea propuesta, los agentes, la evidencia.
Cambió mucho porque y solo escribía diez palabras pero *ahora no porque he aprendido sobre el brazo y antebrazo el modelo de la naturaleza y lo de tendón y ligamento y cómo se mueve el brazo y antebrazo.*	Se alargó la información y escribí correctamente, porque *antes no sabía cómo ocurrió.*	Que en la de antes escribí poco y ahora mucho.
Mi explicación cambió *porque antes no sabía cómo se movía el antebrazo hacia el brazo y ahora sí lo sé y es por el sistema óseo y el sistema muscular.*	Que escribí menos y no escribí como una pregunta científica y no puse el proceso y el evento y *yo no sabía tanto y ahora sé más y no sabía los componentes* y yo escribía chiquitito y ahora escribo más grande y no puse el conector.	El calor derrite el hielo.
Porque *el hielo absorbe el calor así se derretirse y se convierte en agua eso no sabía al principio y ahora sé más como expliqué.*
Yo antes *no sabía que en el que hay dos músculos, pero ahora sé que hay dos músculos en nuestro brazo y antebrazo* y sé más ahora que he aprendido más y no sabía que hay sistema muscular y el sistema óseo y que aprendí más que antes yo no sabía y antes pensaba que teníamos rótula en los antebrazo y brazo que los unía, pero era un ligamento quien los unía como el tendón que mueve el brazo y el antebrazo y gracias a ti universidad.

[1] Conflicto de intereses

Nosotros, Evelyn Hugo, Alejandra Meneses y Maximiliano Montenegro, declaramos por la presente que no tenemos ningún conflicto de intereses en este estudio.

Brasil

Brasil

Metalinguistic reflection and its relation to the quality of scientific explanations

ABSTRACT