¿Qué productos de edtech ayudan a los estudiantes a aprender mejor, en base a datos estadísticamente significativos, replicados y verificados?

Answer 1

Este es un problema que he estado obsesionado durante los últimos cuatro años, al momento de escribir esta respuesta.

Llegué a la conclusión de que es extremadamente difícil, si no imposible, obtener este tipo de información.

¿Por qué?

1. ¿Qué métricas debes usar? ¿Las puntuaciones del alumno en la aplicación? No todos los proveedores de aplicaciones estarán dispuestos o serán capaces de proporcionar estos datos. Incluso si lo tiene, normalizarlo para compararlo con miles de otras aplicaciones es una hazaña monumental. ¿Qué hay de los resultados de los exámenes estandarizados del estudiante? Esas métricas ya son cuestionables, como cualquier educador le dirá.
2. ¿Cómo conduces una evaluación científicamente controlada? Hay muchos factores que influyen en la educación de un estudiante, desde los maestros hasta los padres, los compañeros, los materiales de instrucción, los factores socioeconómicos, la genética y, bueno, entiendes el punto. Determinar si una aplicación específica ha hecho una diferencia perceptible es un desafío significativo. Algunos proveedores ya lo intentan, pero saber cómo funcionará una aplicación en un aula o en un hogar lleno de distracciones en comparación con un laboratorio prístino son cosas muy diferentes.
3. ¿Cómo explicas las diferencias individuales? Algunos estudiantes irán a un juego y aprenderán mucho de él, otros simplemente aprenderán cómo engañar al juego. Algunos sobresaldrán con solo un poco de orientación práctica, otros necesitarán atención constante. El rendimiento de una aplicación depende mucho del aprendiz. ¿Significa esto que la aplicación es efectiva o inefectiva? Desafortunadamente, una talla no sirve para todos.
4. ¿Cómo explican los productos que cambian rápidamente? Supongamos que encuentra una manera de realizar una prueba científicamente controlada en un entorno de clase utilizando una métrica confiable. La probabilidad de que el desarrollador lea su informe e incorpore sus hallazgos es muy alta. Las aplicaciones se están mejorando y evolucionando constantemente. ¿Qué significa eso para tu investigación? Está desactualizado en el momento en que se lanza una nueva versión.

Hay algunos esfuerzos fantásticos y nobles en curso para resolver este desafío, aunque creo que todos estamos muy lejos. Ese estándar de oro de datos y pruebas es muy difícil de obtener de una manera repetible, confiable, personalizada y escalable.

Una solución involucra el uso de rúbricas a través de las cuales evaluar todas estas aplicaciones. Aunque la evaluación requiere el trabajo manual de alguien capacitado en evaluaciones pedagógicas, es un proxy razonable de la calidad, si no la verdadera eficacia. Muchos servicios actuales de revisión de edtech utilizan algún tipo de rúbrica, con algunas diferencias en amplitud y profundidad.

Otro implica revisiones en profundidad escritas por un individuo con una buena comprensión del dominio de la aplicación. Esto es similar a las revisiones de productos que se ven en las guías de electrónica más populares. Dichas revisiones se limitan a la experiencia y los prejuicios del revisor, aunque al menos pueden proporcionar información de alguien que ha utilizado, pinchado y pinchado la aplicación.

Una de las soluciones más débiles es el uso de calificaciones . Dado que son relativamente fáciles de obtener de los revisores, aprovechan la inteligencia colectiva de la multitud. Las calificaciones también son fáciles de entender de un vistazo y de usar como un filtro básico. Sin embargo, no proporcionan ningún contexto. Algunos servicios evitan esto al ofrecer múltiples dimensiones de calificación, pero también pueden sufrir el problema de promediar calificaciones muy positivas y muy negativas.

Estas soluciones se ubican en un espectro con la sabiduría de las multitudes en un extremo y la sabiduría de los expertos en el otro.

Si cree que el valor pedagógico de una aplicación educativa se puede obtener de la multitud, pruebe el modelo de Yelp. Si cree que el valor pedagógico debe ser evaluado por expertos, pruebe el modelo Consumer Reports. Los servicios de revisión de Edtech están empleando actualmente estrategias en todo el espectro porque alcanzar un verdadero estándar de oro con datos y pruebas reales es muy difícil.

¿Serán suficientes estas soluciones? ¿Alguien será capaz de romper el patrón oro? No estoy seguro de que sea posible, pero sinceramente espero que alguien lo haga.

PD: publiqué esta respuesta el 20 de julio de 2014 en mi blog, la mayoría de los cuales he reproducido aquí en esta respuesta de Quora.

Answer 2

Existe un poco de contradicción en la pregunta en sí misma, ya que las empresas de nueva creación generalmente no tienen mucha información sobre el uso de sus productos … DEBEN (deben probar y usar la investigación para informar el desarrollo del producto), pero con demasiada frecuencia ellos no Además, es vital tener en cuenta que no importa qué buena sea una herramienta, es cómo la incorpora el profesor y qué tan bien se le proporciona al maestro el PD para aprender sobre la herramienta, junto con muchos otros factores (como el acceso de los estudiantes). a la tecnología), que determinará qué tan efectivo es un producto.

Supongo que un buen ejemplo sería el aula invertida. Después de aprender y escribir sobre herramientas y recursos durante años a fines de la década del 2000, se me hizo cada vez más obvio que pocas de las tecnologías que existían hacían una gran diferencia por sí mismas … realmente se trataba de cómo se usan. Cuando me topé con el aula invertida y combiné el aprendizaje en general, rápidamente se hizo evidente que esta era una forma en que se podían usar muchas herramientas diferentes de “tecnología educativa” para tener un impacto significativo en la enseñanza y el aprendizaje, con la ayuda de la tecnología como herramienta (y el cuerpo de investigación que apoya la eficacia del aprendizaje invertido está creciendo rápidamente).

Lo siento por la larga respuesta, pero esta no es realmente una pregunta simple :).

Answer 3

Estoy de acuerdo con las respuestas de Mike, Kelly y Don.

Esto no es algo que esté disponible de la gran cantidad de productos edtech disruptivos y significativos que hay. Creo que necesitaremos tener más datos estandarizados producidos por todos estos productos increíbles que están siendo adoptados rápidamente por escuelas innovadoras. Procedente de una primera plataforma de análisis móvil, en la que trabajamos con algunas compañías de tecnología de la información sorprendentes como HookedOnPhonics, School4One, Pezo, Curiousity y muchos más. Sé que sus plataformas están cambiando la forma en que los estudiantes aprenden desde una edad muy temprana a adultos de todas las edades. Esto también incluye la manera en que los maestros entienden la comprensión y el compromiso de los alumnos con el plan de estudios.

Dicho esto, si usted es un desarrollador de EdTech App, definitivamente tiene las herramientas con productos analíticos como CleverTap para comprender los comportamientos de aprendizaje / comprensión de sus estudiantes. Puede, literalmente, realizar un seguimiento de cada evento que sea un punto de datos significativo en la curva de aprendizaje de los alumnos. Compañías como CleverTap no comparten ninguno de esos datos porque pertenecen al editor de la aplicación. Creo que a medida que empresas más innovadoras como Kahn Academy, 2U y todas las plataformas de e-learning incorporen métricas de compromiso, comenzaremos a ver un movimiento para evaluaciones estandarizadas de su éxito en estudiantes e instructores.

CleverTap incorporará encuestas de evaluación dentro de nuestra pila de tecnología muy pronto para que los instructores puedan evaluar directamente qué tan efectivas son las herramientas de aprendizaje dentro de la aplicación. Si desea ver cómo las empresas edTech pueden involucrar mejor a sus estudiantes en aplicaciones educativas, consulte mi publicación anterior.

Answer 4

La respuesta corta es ninguna. Es bastante claro que la tecnología en sí no hace ninguna diferencia. La forma en que se usa puede hacer una diferencia, pero hay poca evidencia empírica que lo respalde. En mi opinión, simplemente hay demasiadas variables para “probar” nada