Primera evaluación de usabilidad

Para comprobar la usabilidad de nuestros diseños, hemos realizado varios test de usabilidad a usuarios. Los usuarios entrevistados han sido 8 en total, siendo 5 alumnos y 3 delegados, los cuales han probado los 3 diseños presentados en distinto orden y respondiendo además, a una serie de cuestiones acerca de la impresión causado por nuestros diseños. Estas preguntas eran las ya planteadas pero hemos añadido la pregunta sobre que dispositivo le parece más cómodo de usar al usuario (¿Qué dispositivo te parece más cómodo a la hora de llevar a cabo la reclamación o tramitarla?) para recabar información.

Test realizados a los alumnos

Tarea 1: Un profesor no corrige las prácticas dentro del plazo fijado sistemáticamente y quieres que quede reflejado, ¿cómo lo harías?
Tarea 2: Quieres cambiar la matrícula de una asignatura porque su horario final no te viene bien, ¿cómo lo harías?
Tarea 3: Quieres comprobar en qué ha quedado tu reclamación, ¿cómo lo harías?

Pregunta 1: ¿Cuál ha sido la mayor dificultad que has encontrado en el sistema?
Pregunta 2: ¿Alguna parte del sistema te parece innecesaria o poco intuitiva a la hora de usarla?
Pregunta 3: ¿Tienes algún comentario acerca del sistema?
Pregunta 4: ¿Incluirías algo de los anteriores prototipos probados?
Pregunta 5: ¿Qué dispositivo te parece más cómodo a la hora de llevar a cabo la reclamación o tramitarla?

(Hacer clic en el nombre para ver los detalles del test)

• Elena Gómez: Estudiante de Máster en la FIUPM. Test realizado el Lunes 14 en el cuarto de Delegación de Alumnos.
• Laura Fernández: Estudiante de Doctorado en la FIUPM. Test realizado el Lunes 14 en el cuarto de Delegación de Alumnos.
• Manuel Hernández: Estudiante de Grado, segundo curso, en la FIUPM. Test realizado el Viernes 18 en la biblioteca.
• Francisco Siles: Estudiante de Grado, tercer curso, en la FIUPM. Test realizado el Jueves 17 en el cuarto de ASCFI.
• Yaroslav Vovchyna: Estudiante de Grado, segundo curso, en la FIUPM. Test realizado el Jueves 17 en el cuarto de ASCFI.

Test realizados a los delegados

Tarea 4: Tu eres el encargado de PISADO, comprueba cuántos nuevos tienes y tramita uno de ellos, contacta con un profesor y comprueba de nuevo su estado.
Tarea 5: Tu eres el encargado de Expone-Solicita, comprueba cuántos nuevos tienes, tramita uno de ellos y responde al alumno.
Tarea 6: Consulta cuantos PISADOs de Felicitación han llegado el último año para Xavier Ferré.

Las preguntas realizadas a los delegados son las mismas ya mencionadas en la parte de los alumnos.

(Hacer clic en el nombre para ver los detalles del test)

• Antonio Sangillao. Secretario de Delegación de Alumnos. Test realizado el Lunes 14 en el cuarto de Delegación de Alumnos.
• Juan Manuel Moratilla: Subdelegado de Delegación de Alumnos. Test realizado el Lunes 14 en el cuarto de Delegación de Alumnos.
• Ramón Toral: Subdelegado de Delegación de Alumnos. Test realizado el Lunes 14 en el cuarto de Delegación de Alumnos.

Análisis de los diseños

A continuación procederemos a un análisis sobre los errores comunes que realizaron los usuarios, tanto alumnos como delegados.

Análisis del diseño 1

Los principales errores cometidos por los alumnos a lo hora de usar el sistema web son:

• Los usuarios piensan que sea cual sea el problema deben rellenar la hoja de reclamaciones.
• Los usuarios se confunden con el botón realizar una reclamación del menú principal de alumno ya que se confunde con la reclamación como documento.
• Los usuarios no hacen uso de los botones de ayuda hasta que no han fallado alguna vez, y no los localizan con facilidad.
• A la hora de consultar el estado de un trámite los usuarios pulsan sobre el trámite que quieren consultar en lugar de sobre el botón estado.
• A la hora de consultar el estado de un trámite no pueden distinguir unos documentos de otros ya que falta información.
• Cuando los usuarios consultan un trámite no aparece la información que ellos pusieron en el documento, sino solo el estado del mismo (en trámite, archivado).

Los principales problemas que encuentran los delegados a la hora de usar el sistema web son:

• Los usuarios no saben cuándo salen de un documento si este ha pasado a En Trámite.
• Los usuarios tienen problemas para encontrar las bandejas de en trámite y archivo, ya que no localizan el menú desplegable del lateral en el que se encuentran estas opciones.
• El hecho de que los documentos se pongan en trámite solo con abrirlos sin indicar nada hace que algunos usuarios le den a archivar el documento cuando lo que quieren es ponerlo en trámite.
• Los usuarios no asocian el botón responder a interesado cuando quieren contactar con un profesor, secretaría etc.
• A la hora de responder al alumno, fallan al elegir el botón adecuado y eligen responder al interesado en lugar de responder.
• En las estadísticas los usuarios no pueden ver documentos concretos y se ven forzados a retroceder y acceder al archivo a través de la bandeja de entrada.
• El hecho de que en las estadísticas sea necesario escribir los datos genera confusión acerca de lo que hay que poner.

Análisis del diseño 2

En primer lugar, mostraremos los errores comunes cometidos por los alumnos en el diseño del cajero son:

• Problema con el significado del icono de la bombilla.
• El usuario a la hora de consultar un documento, una vez abierto uno, no podía volver atrás.
• El usuario tenía problemas para distinguir cada uno de sus documentos cuando consultaba sus trámites.
• El usuario a la hora de volver al menú principal cuando consulta un documento, sale del sistema ya que sólo hay un botón de salir.

A continuación mostraremos los errores comunes realizados en el diseño del cajero por los delegados:

• El delegado no distingue entre los documentos de los que se encarga.
• Problema con el significado del icono de la bombilla.
• El botón de "En trámite" es poco intuitivo y no sabes lo que pasa con el documento una vez seleccionado.
• Problemas con el botón de "Contactar con el profesor" si se desea contactar con otro responsable.
• No sabe en qué ventana se encuentra por falta de títulos en las mismas.
• El delegado no puede ver las respuestas enviadas por el alumno.
• El delegado no puede volver atrás en los documentos abiertos.

 

Análisis del diseño 3

Los principales problemas que encuentran los alumnos a la hora de usar el móvil son:

• Los usuarios no saben qué documento deben realizar, tendiendo siempre a la realización de la hoja de reclamaciones.
• Los usuarios no utilizan la ayuda hasta que no han fallado al elegir el documento y no siempre la asocian con el icono ?.
• Los usuarios no entienden el significado de algunos campos dentro de los documentos de los trámites.
• A la hora de consultar los trámites Los usuarios tratan de pulsar sobre el documento, en lugar de seleccionar el documento y pulsar siguiente.
• El diseño no tiene la opción de responder al delegado encargado del trámite.

Los principales problemas que se han encontrado los delegados acerca del uso de la interfaz móvil son:

• El diseño junta en la bandeja de entrada todos los tipos de documentos lo que hace que los usuarios tengan problemas a la hora de encontrar los que son para ellos.
• Los usuarios tienen problemas para distinguir los documentos nuevos de los documentos en trámite en la bandeja de entrada ya que aparecen todos juntos, lo que además puede generar gran confusión en el caso de que hallan muchos documentos nuevos.
• Los usuarios tienen problemas distinguiendo el estado de los documentos de bandeja de entrada.
• Los usuarios no saben si un documento se ha puesto en trámite, ya que la información va pasando de pantalla en pantalla hasta que se sale del documento.
• Los usuarios tienen problemas con el hecho de tener que seleccionar el documento y darle a siguiente, ya que esperan que solo pulsando sobre el documento este aparezca.
• Al final de las pantallas de información de un documento aparece siempre la ventana de correo para enviar a un alumno a un responsable o a otro delegado, lo que es un problema si aún no se quiere mandar a nadie el documento.
• La ventana para enviar correo es única independientemente de a quien se quiera mandar el documento lo que hace que los usuarios tengan que conocer la dirección de correo del destinatario, lo que provoca que los usuario deban dar marcha atrás a la información del documento para ver el correo.
• El cuadro donde se debe poner la dirección del destinatario esta etiquetado como reenvío, lo que hace que los usuarios no tengan claro que es lo que se debe poner ahí.
• Los usuarios no entienden que para enviar el correo halla que pulsar el botón guardar.

Diseño elegido

Según los datos recogidos por las entrevistas tanto a alumnos como a delegados, puede observarse que el número de errores que realizaron los usuarios en el diseño móvil fue mayor respecto a los diseños Web y del cajero, teniendo este el menor número de errores. Por otro lado, los errores que se producen en el diseño del móvil provocan una mayor pérdida de tiempo.

Hemos seleccionado el diseño Web combinándolo con la interfaz del cajero, debido a que la interacción del cajero funciona mejor en la parte de los delegados puesto que la de los alumnos es similar, pero los usuarios prefieren el diseño Web ya que no desean estar limitados por la rigidez de un sistema fijo.

En cuanto a la parte del alumno, estará basada en la interfaz del diseño Web con las siguientes modificaciones:

• Los botones de ayuda que se encuentran al lado de cada enlace al documento marcado por un símbolo de interrogación, será cambiado por un botón de +info, debido a que los usuarios han encontrado más visible el botón de +info.
• Deberemos cambiar los nombres de pisado y reclamación por parte informativo sobre la actividad docente y hoja de reclamaciones respectivamente, ya que los usuarios suelen seleccionar reclamación a la hora de hacer el pisado.
• A la hora de enviar el documento se mostrará por pantalla una ventana indicando si se está seguro de que se quiere enviar el documento.
• El botón de "Realizar una reclamación" será cambiado por todos los enlaces a los que lleva dicho botón.
• El botón de "Consultar una reclamación" se llamará "Consultar trámites".
• Los trámites realizados incluirán además del Tipo del documento añadiremos la fecha y el interesado, siendo este el profesor al que va dirigido el pisado, o secretario si es un expone-solicita, etc.
• Un click en el enlace de los documentos de la consulta, accede al estado del mismo, en lugar de tener un hipervínculo.
• Al consultar un trámite se mostrará la información que contiene el documento escrita por el alumno más el estado de la misma, ya que antes sólo se mostraba el estado(en trámite o archivado).
• Poner un título en las ventanas de los alumnos para saber que se está realizando en cada momento.

En la parte de la interfaz del delegado, también utilizaremos la interfaz del cajero con algunas modificaciones:

• Los documentos dentro de la bandeja de entrada del delegado deberán diferenciarse aparte de la fecha, por el nombre del alumno.
• Los documentos con nueva información deberán estar iluminados además de tener el icono de la bombilla del diseño.
• Dentro del documento el botón "En trámite" se renombrará por "Tramitar" ya que resultaba poco intuitivo.
• Dentro del documento el botón "Contactar con el profesor" deberá llamarse "Contactar con el responsable".
• A la hora de salir del documento una vez seleccionado, añadiremos un botón "Atrás" en lugar de dar al botón de tramitar para cerrar el documento.
• Al seleccionar la opción del botón "En trámite" no deberá cerrarse el documento y deberá mostrarse un mensaje indicando que el documento está en trámite.
• Al seleccionar el botón "Atrás" en caso de que aún no se haya seleccionado la opción de "En trámite" deberá mostrarse un mensaje indicando de si se desea salir del documento indicando que no se ha tramitado.
• Dentro del documento añadiremos un botón "Respuestas del alumno" para ver las respuestas enviadas por el alumno.
• Añadir el botón de "logout" para salir del sistema.
• Poner un título en las ventanas de delegado para saber que se está realizando en todo momento.

Por último, además se realizarán cambios teniendo en cuenta heurísticas del diseño y accesibilidad del mismo.

Planificación de la primera evaluación de usabilidad

Para la evaluación de la usabilidad utilizaremos tests de usabilidad, en los que se encargará a alumnos y delegados que lleven a cabo ciertas tareas sin influir en cómo las realizan, con el objetivo de ver como los futuros usuarios usarán realmente el sistema y detectar posibles problemas de usabilidad.

Se medirán distintos parámetros como:

• El tiempo que se tarda en realizar una tarea
• El número de errores y en qué puntos se sitúan.
• Consecuencias de los errores, tales como pérdida de tiempo etc.
• El número de acciones que se necesitan para realizar una tarea.

El número de usuarios que realizaran los tests será, en el caso de alumnos, de entre 6 y 12 dependiendo del número de voluntarios que consigamos encontrar. Por otra parte el número de delegados entrevistados no podrán superar los 5 ya que existen 6 delegados en Delegación de Alumnos siendo uno de ellos miembro de nuestro equipo.

Todos los usuarios probarán nuestros tres diseños porque será poco probable encontrar suficientes como para poder dividirlos en grupos diferenciados. Los diseños serán mostrados a cada usuario en distinto orden respecto a los demás, ya que, o por aprendizaje o porque al usuario ha generado una preferencia por un modelo anterior, puede influir en los resultados.

El reparto de roles que se usará en los tests será el siguiente:

Facilitador - Francisco de la Vega García

"Ordenador" - Adrián Pinilla Carretero

Observadores - Rodrigo Medrano Calderón y David Medrano Calderón


Las tareas que se pedirá que realicen a los alumnos serán:

Tarea 1 - Un profesor no corrige las prácticas dentro del plazo fijado sistemáticamente y quieres que quede reflejado, ¿cómo lo harías?

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entrar al sistema.
• Elegir correctamente el tipo de documento.
• Elegir los datos de profesor y rellenar el formulario.
• Enviar y salir.

Tarea 2 - Quieres cambiar la matrícula de una asignatura porque su horario final no te viene bien, ¿cómo lo harías?

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entrar al sistema.
• Elegir correctamente el tipo de documento.
• Rellenar los datos.
• Explicar correctamente el problema.
• Enviar y salir.

Tarea 3 - Quieres comprobar en qué ha quedado tu reclamación, ¿cómo lo harías?

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entrar al sistema.
• Entrar en Consultas.
• Acceder al documento concreto.
• Leer el contenido.
• Si no está satisfecho, responder.

Las tareas que se pedirá que realicen a los delegados serán:

Tarea 4 - Tu eres el encargado de PISADO, comprueba cuántos nuevos tienes y tramita uno de ellos, contacta con un profesor y comprueba de nuevo su estado.

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entrar al sistema.
• Localizar cuales son los nuevos.
• Abrir uno de ellos.
• Comprobar los datos.
• Enviar mensaje al profesor.
• Ponerlo en trámite correctamente.
• Acceder a En Trámite.
• Leerlo y mantenerlo En Trámite.
• Salir del sistema.

Tarea 5 - Tu eres el encargado de Expone-Solicita, comprueba cuántos nuevos tienes, tramita uno de ellos y responde al alumno.

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entrar al sistema.
• Localizar cuales son los nuevos.
• Abrir uno de ellos.
• Comprobar los datos.
• Enviar mensaje a Jefatura de Estudios.
• Ponerlo en trámite correctamente.
• Salir del sistema.

Tarea 6 - Consulta cuantos PISADOs de Felicitación han llegado el último año para Xavier Ferré.

Para esta tarea verificaremos que se llevan a cabo correctamente las siguientes subtareas:

• Entra al sistema.
• Entrar a estadísticas.
• Localizar al profesor.
• Elegir las fechas.
• Acceder a los archivados.
• Comprobar que son Felicitaciones.
• Salir del sistema.

Por último una vez que los usuarios hayan terminado con las tareas se les realizará una serie de preguntas con el objetivo de obtener más información acerca de la usabilidad del sistema, realizando preguntas como:

• ¿Cuál ha sido la mayor dificultad que has encontrado en el sistema?
• ¿Alguna parte del sistema te parece innecesaria o poco intuitiva a la hora de usarla?
• ¿Tienes algún comentario acerca del sistema?
• ¿Incluirías algo de los anteriores prototipos probados?

Es posible que surjan nuevas preguntas a lo largo del test dependiendo de las acciones de los usuarios.

Análisis del espacio del problema

¿Qué problemas tenemos actualmente?

-Entrega de formulario bajo horarios de delegación de alumnos.
-La entrega del formulario ha de hacerse en delegación de alumnos (desplazamiento)
-Perdida de documentos.
-Pérdida de tiempo en comprobación de campos indispensables de la reclamación
-Pérdida de tiempo en clasificación de la reclamación y en su posterior asignación al delegado responsable.
-Falta de información acerca de la cumplimentación del formulario.
-Falta de documentos de un tipo adecuado a la reclamación.
-Almacenar las reclamaciones ocupa espacio físico.


Soluciones que presenta el diseño

-Sin restricciones de horario (el servido esta conectado de forma continua)
-Sin restricciones de localización (se entrega por vía telemática).
-Ágil tratamiento de reclamaciones (ya que podremos enviarlo a otro delegado registrado en el sistema).
-No hay perdida o extravío de documentos (el formulario se almacena en una base de datos)
-No hay límite de reclamaciones (no es necesario una hoja a cumplimentar)
-Comprobación automática de campos (no hace falta revisar el documento para ver si ha sido cumplimentado de forma correcta)
-No tendremos límite de espacio ya que las reclamaciones se irán guardando en una base de datos.

Nuevo

-Consulta de los trámites: El alumno debía ir a delegación para realizar una comprobación de su reclamación, gracias a la consulta de trámites de nuestro servidor web, el alumno podrá realizar un seguimiento de su trámite cuando él lo desee.

-Estadísticas: Podremos realizar estadísticas sobre las reclamaciones.