Recibido 12 de Marzo 2022 | Arbitrado y aceptado 12
de Marzo 2022 | Publicado el 18 de Abril 2022 RESUMEN La
gestión de la calidad de productos de software académicos universitarios
es un factor importante para el éxito en los proyectos de desarrollo de
software. La calidad, como parte de una cultura profesional, es necesaria
desarrollarla desde el inicio de la formación universitaria. Esta investigación plantea un modelo de
medición y evaluación de calidad para la característica de usabilidad de
productos de software académicos universitarios basado en la familia de
las normas ISO/IEC 25000; específicamente en la norma ISO/IEC 25040. Como parte del modelo se elabora el Test
de Usuario, instrumento basado en la norma ISO/IEC 25010 para la medición
de la usabilidad considerando las subcaracterísticas que la conforman. Finalmente,
se presenta la medición y evaluación de cinco productos software
académicos finales del curso Algoritmos y Programación del programa de
Informática de la Universidad Nacional de Trujillo aplicando el modelo
propuesto. De los cinco productos software de juego evaluados a nivel de
característica de usabilidad, 3 juegos alcanzaron el criterio de decisión
de evaluación de buena calidad, 1 juego de regular calidad y solo un juego
de alta calidad Palabras
clave: Modelo de calidad,
usabilidad, productos de software, normas ISO/IEC 25000, normas ISO/IEC
25040, normas ISO/IEC 25010 ABSTRACT Quality
management of university academic software products is an important factor
for success in software development projects. Quality, as part of a
professional culture, must be developed from the beginning of university
education. This research proposes a quality measurement and evaluation
model for the usability characteristic of university academic software
products based on the family of ISO/IEC 25000 standards; specifically in
the ISO/IEC 25040 standard. As part of the model, the User Test is
developed, an instrument based on the ISO/IEC 25010 standard for measuring
usability considering the sub-characteristics that comprise it. Finally,
the measurement and evaluation of five final academic software products of
the Algorithms and Programming course of the Computer Science program of
the National University of Trujillo is presented, applying the proposed
model. Of the five game software products evaluated at the level of
usability characteristics, 3 games reached the evaluation decision
criterion of good quality, 1 game of fair quality and only one game of
high quality. Keywords: Quality model, usability, software products,
ISO/IEC 25000 standards, ISO/IEC 25040 standards, ISO/IEC 25010 standards. RESUMO Por
fim, é apresentada a medição e avaliação de cinco produtos de software
acadêmicos finais do curso de Algoritmos e Programação do programa de
Ciência da Computação da Universidade Nacional de Trujillo, aplicando o
modelo proposto. Dos cinco produtos de software de jogos avaliados ao
nível das características de usabilidade, 3 jogos atingiram o critério de
decisão de avaliação de boa qualidade, 1 jogo de qualidade regular e
apenas um jogo de alta qualidade. Palavras-chave: Modelo de qualidade, usabilidade, produtos de
software, normas ISO/IEC 25000, normas ISO/IEC 25040, normas ISO/IEC
25010.
A gestão da qualidade de produtos de
software acadêmico universitário é um fator importante para o sucesso em
projetos de desenvolvimento de software. A qualidade, como parte de uma
cultura profissional, deve ser desenvolvida desde o início da formação
universitária. Esta pesquisa propõe um modelo de medição e avaliação de
qualidade para a característica de usabilidade de produtos de software
acadêmico universitário baseado na família de padrões ISO/IEC 25000;
especificamente na norma ISO/IEC 25040. Como parte do modelo, é
desenvolvido o Teste do Usuário, instrumento baseado na norma ISO/IEC
25010 para medição de usabilidade considerando as subcaracterísticas que a
compõem.
Introducción
Cada
día se implementan una gran variedad de productos software en diferentes áreas
de la sociedad y su funcionamiento previsto y correcto es fundamental para el
éxito empresarial y/o la seguridad humana. Por lo tanto, el desarrollo de software
de calidad que cumpla las necesidades y expectativas de los usuarios finales es
de gran importancia.
La
calidad del producto software se puede interpretar como el grado en que dicho producto
satisface los requisitos de sus usuarios aportando de esta manera un
valor.
La
calidad del software es una cultura que debe inicializar su desarrollo desde la
formación académica universitaria para ello es necesario implementar un modelo
de medición y evaluación de calidad del software que permita la medición de las
características de calidad de los productos de software académicos universitarios
y el planteamiento de procesos de mejora continua. El modelo de calidad del
software que se propone en la presente investigación está basado en las normas
ISO.
Las normas ISO (Organización Mundial
para la Estandarización) son aquellas guías que otorgan ciertas especificaciones, de aspecto mundial, a los productos,
servicios y sistemas de una compañía
para garantizar la máxima calidad y eficiencia en sus resultados y
funcionamiento. (Organización Internacional
de Normalización [ISO] 25000, 2022).
La
Organización Mundial para la Estandarización presenta la familia ISO/IEC 25000,
conocida como SQuaRE (System
and Software Quality Requirements
and Evaluation), Según Naranjo et al. (2020), “la SQuaRE es un conjunto de normas que permite evaluar las
características de calidad del producto software en un marco que permite
obtener valores cuantitativos de dicho proceso con el fin de determinar el
nivel de calidad del producto” (p.178).
La
familia ISO/IEC 25000 es el resultado de la evolución de otras normas
anteriores, especialmente de las normas ISO/IEC 9126, que describe las
particularidades de un modelo de calidad del producto software, e ISO/IEC
14598, que abordaba el proceso de evaluación de productos software. Esta
familia de normas ISO/IEC 25000 se encuentra compuesta por cinco divisiones que
se muestra en la figura 1.
Figura 1: Divisiones de la norma ISO/IEC 25000
División para la
gestión de la calidad: ISO/IEC 2500n.
Los
estándares que forman esta división definen modelos, términos y definiciones
comunes, utilizadas por los demás estándares que conforman esta norma.
División para el
modelo de calidad: ISO/IEC 2501n.
En
esta sección se proporcionan modelos de calidad interna, externa y la calidad
de uso del producto de software.
Actualmente,
esta división se encuentra formada por:
· ISO/IEC 25010: describe el modelo de calidad
para el producto software y para la calidad en uso. Esta norma presenta las
características y subcaracterísticas de calidad
frente a las cuales se va a evaluar el producto software.
· ISO/IEC 25012: define un modelo general para
la calidad de los datos, aplicable a aquellos datos que se encuentran
almacenados de manera estructurada y forman parte de un Sistema de Información.
División para la medición
de la calidad: ISO/IEC 2502n.
Los
estándares que forman parte de esta división, incluyen
un modelo de referencia de calidad del producto software, definiciones
matemáticas de las métricas de calidad y una guía práctica para su aplicación. Además,
presenta la manera de cómo aplicar estas métricas para determinar la calidad
interna, externa y en uso del software.
División para los requisitos
de calidad: ISO/IEC 2503n.
Los
estándares que componen esta parte ayudan a definir los requerimientos de
calidad que se pueden utilizar para cumplir con los requisitos de calidad del
producto de software que se va a desarrollar o como entrada al proceso de
evaluación
División para la evaluación
de calidad: ISO/IEC 2504n.
Los
estándares pertenecientes a esta división,
proporcionan requisitos, recomendaciones y guías para la evaluación de un
producto software, ya sea realizada por evaluadores independientes, compradores
o desarrolladores.
Esta
división contiene los siguientes estándares:
ISO/IEC
25040: Proceso de evaluación.
ISO/IEC
25041: Guía de evaluación para desarrolladores, compradores y evaluadores
independientes. (ISO 25000, 2022).
Una
medida de calidad representa la cuantificación de las características y subcaracterísticas de la calidad (Perdomo y Zapata, 2021).
La norma
ISO/IEC 25010 categoriza la calidad del producto en ocho características que se
detallan en la figura 2.
Figura
2: Características de calidad de un producto software según la norma ISO/IEC
25010
El
presente estudio está referido a la medición y evaluación de la característica
de usabilidad y tiene por finalidad proponer un marco metodológico para medir y
evaluar la calidad de la usabilidad en productos académicos universitarios
basados en la norma ISO/IEC 25040 y elaborar un Test
del Usuario para la medición de la usabilidad basado en la norma ISO/IEC 25010.
La usabilidad
es la capacidad del producto software para ser entendido, aprendido, usado y
resultar atractivo para el usuario, cuando se usa bajo determinadas condiciones
(ISO 25000, 2022).
La
usabilidad según la norma ISO/IEC 25010 se subdivide en las siguientes subcaracterísticas:
Capacidad para reconocer su adecuación. Capacidad del producto que permite al
usuario entender si el software es adecuado para sus necesidades.
Capacidad de aprendizaje. Capacidad del producto que permite al usuario aprender su aplicación.
Capacidad para ser usado. Capacidad del producto que permite al usuario operarlo y controlarlo con
facilidad.
Protección contra errores de usuario. Capacidad del sistema para proteger a los
usuarios de hacer errores.
Estética de la interfaz de usuario. Capacidad de la interfaz de usuario de agradar
y satisfacer la interacción con el usuario.
Accesibilidad. Capacidad del producto que permite que sea utilizado por usuarios
con determinadas características y discapacidades.
Material y métodos
OBJETO DE ESTUDIO
Población: La investigación tuvo como objeto de
estudio a los trabajos académicos finales del curso Algoritmos y programación
del programa de Informática de la Universidad Nacional de Trujillo
Muestra: La muestra coincide con la población.
INSTRUMENTOS RECOLECCION DE DATOS
Instrumento de medición de la usabilidad del
producto de software basado en la norma ISO/IEC 25010: Test de
Usuario
MÉTODOS Y TÉCNICAS
Tipo de estudio
Se realizó un estudio no experimental de corte
transversal, debido a que no hubo manipulación de variables y la recolección de
datos fue en un solo momento.
Colocar referencias sobre metodología de la
investigación
Metodología
Para el desarrollo de este trabajo se elaboró un
modelo de calidad de software basado en la norma ISO/IEC 25040 que propone un
modelo de referencia general para la evaluación, considerando las entradas al
proceso de evaluación, las restricciones y los recursos necesarios para obtener
las correspondientes salidas.
Esaki et al. (2013) afirman que “este proceso
estandarizado se puede utilizar tanto para evaluar la calidad de productos de
software comerciales como la calidad de productos de software a medida y puede
ser utilizado durante o después del proceso de desarrollo o en la adquisición”
(p.100).
Según ISO (2022), este modelo de calidad consta de
las siguientes etapas.
Etapa 1:
Establecer los requisitos de la evaluación
1.1. Establecer
el propósito de la evaluación
En esta tarea se documenta el propósito por el que
la organización quiere evaluar la calidad de su producto software (asegurar la
calidad del producto, decidir si se acepta un producto, determinar la
viabilidad del proyecto en desarrollo, comparar la calidad del producto con
productos de la competencia, etc.).
1.2. Obtener
los requisitos de calidad del producto
En esta tarea se identifican las partes interesadas
en el producto software (desarrolladores, posibles adquirientes, usuarios,
proveedores, etc.) y se especifican los requisitos de calidad del producto
utilizando un determinado modelo de calidad.
1.3. Identificar
las partes del producto que se deben evaluar
Se deben identificar y documentar las partes del
producto software incluidas en la evaluación. El tipo de producto a evaluar
(especificación de requisitos, diagramas de diseño, documentación de las
pruebas, etc.) depende de la fase en el ciclo de vida en que se realiza la
evaluación y del propósito de ésta.
1.4. Definir
el rigor de la evaluación
Se debe definir el rigor de la evaluación en
función del propósito y el uso previsto del producto software, basándose, por
ejemplo, en aspectos como el riesgo para la seguridad, el riesgo económico o el
riesgo ambiental. En función del rigor se podrá establecer qué técnicas se
aplican y qué resultados se esperan de la evaluación.
Etapa 2:
Especificar la evaluación
En esta etapa se especifican los módulos de
evaluación (compuestos por las métricas, herramientas y técnicas de medición) y
los criterios de decisión que se aplicarán en la evaluación.
2.1. Seleccionar
los módulos de evaluación
En esta tarea el evaluador selecciona las métricas
de calidad, técnicas y herramientas (módulos de evaluación) que cubran todos
los requisitos de la evaluación. Dichas métricas deben permitir que, en función
de su valor, se puedan realizar comparaciones fiables con criterios que
permitan tomar decisiones.
2.2. Definir
los criterios de decisión para las métricas
Se deben etapa los criterios de decisión para las
métricas seleccionadas. Dichos criterios son umbrales numéricos que se pueden
relacionar con los requisitos de calidad y posteriormente con los criterios de
evaluación para decidir la calidad del producto. Estos umbrales se pueden
establecer a partir de benchmarks, límites de control estadísticos,
datos históricos, requisitos del cliente, etc.
2.3. Definir
los criterios de decisión de la evaluación
Se deben definir criterios para las diferentes
características evaluadas a partir de las subcaracterísticas y métricas de
calidad. Estos resultados a mayor nivel de abstracción permiten realizar la
valoración de la calidad del producto software de forma general.
Etapa 3: Diseñar
la evaluación
En esta etapa se define el plan con las actividades
de evaluación que se deben realizar.
3.1. Planificar
las actividades de la evaluación
Se deben planificar las actividades de la
evaluación teniendo en cuenta la disponibilidad de los recursos, tanto humanos
como materiales, que puedan ser necesarios. En la planificación, se debe tener
en cuenta el presupuesto, los métodos de evaluación y estándares adaptados, las
herramientas de evaluación, etc.
Etapa 4:
Ejecutar la evaluación
En esta etapa se ejecutan las actividades de
evaluación obteniendo las métricas de calidad y aplicando los criterios de
evaluación.
4.1. Realizar las mediciones
Se deben realizar las mediciones sobre el producto
software y sus componentes para obtener los valores de las métricas
seleccionadas e indicadas en el plan de evaluación. Todos los resultados
obtenidos deberán ser debidamente registrados.
4.2. Aplicar
los criterios de decisión para las métricas
Se aplican los criterios de decisión para las
métricas seleccionadas sobre los valores obtenidos en la medición del producto.
4.3. Aplicar
los criterios de decisión de la evaluación
En esta última tarea se deben aplicar los criterios
de decisión a nivel de características y subcaracterísticas de calidad, produciendo
como resultado la valoración del grado en que el producto software cumple los
requisitos de calidad establecidos.
Etapa 5:
Concluir la evaluación
En esta etapa se concluye la evaluación de la
calidad del producto software, realizando el informe de resultados que se
entregará al cliente y revisando con éste los resultados obtenidos.
5.1. Revisar
los resultados de la evaluación
Mediante esta tarea, el evaluador y el cliente de
la evaluación (en caso de existir) realizan una revisión conjunta de los resultados
obtenidos, con el objetivo de realizar una mejor interpretación de la
evaluación y una mejor detección de errores.
5.2. Crear
el informe de evaluación
Una vez revisados los resultados, se elabora el
informe de evaluación, con los requisitos de la evaluación, los resultados, las
limitaciones y restricciones, el personal evaluador, etc.
5.3. Revisar
la calidad de la evaluación y obtener feedback
El evaluador revisará los resultados de la
evaluación y la validez del proceso de evaluación, de los indicadores y de las
métricas aplicadas. El feedback de la revisión debe servir para mejorar
el proceso de evaluación de la organización y las técnicas de evaluación
utilizadas.
5.4. Tratar
los datos de la evaluación
Una vez finalizada la evaluación, el evaluador debe
realizar el adecuado tratamiento con los datos y los objetos de la evaluación
según lo acordado con el cliente (en caso de ser una tercera parte),
devolviéndolos, archivándolos o eliminándolos según corresponda.
Resultados
A
continuación, se detalla los resultados de la aplicación del modelo de medición
y evaluación de los productos de software académicos universitarios.
Etapa 1:
Establecer los requisitos de la evaluación
1.1. Establecer
el propósito de la evaluación
El
propósito de la evaluación fue verificar que el producto de software académico
de elaborar un juego como proyecto final para el curso de Algoritmos y
Programación del I ciclo de la carrera de Informática de la Universidad
Nacional de Trujillo cumpla con los estándares de calidad de usabilidad
establecidas en la norma ISO/IEC 25010.
1.2. Obtener
los requisitos de calidad del producto
Los requisitos de calidad para la característica de
usabilidad fueron determinados por el docente responsable del curso Algoritmos y
Programación teniendo en cuenta las subcaracterísticas de la usabilidad que
plantea la norma ISO/IEC 25010.
Las subcaracterísticas de usabilidad que se consideraron para
evaluar se muestran en la tabla 1.
Tabla 1
Subcaracterísticas de usabilidad a evaluar.
|
Subcaracterística
de usabilidad |
Simbología de subcaracterística |
|
Capacidad
para reconocer su adecuación |
CapAd |
|
Capacidad de
aprendizaje |
CapAp |
|
Capacidad
para ser usado |
CapUs |
|
Protección
contra errores de usuario |
ProtErr |
|
Estética de
la interfaz de usuario |
EstInt |
|
Accesibilidad |
Acc |
1.3. Identificar
las partes del producto que se deben evaluar
Las partes del producto software académico
universitario de un juego que se evaluaron fueron el ejecutable y la
documentación de las pruebas.
1.4. Definir
el rigor de la evaluación
Para que el producto
software académico universitario tenga la condición de aprobado debe obtener
como criterio de decisión de evaluación de buena o alta calidad
Etapa 2:
Especificar la evaluación
2.1. Seleccionar
los módulos de evaluación
A
cada subcaracterística de usabilidad el docente del
curso atribuyó un nivel de importancia. El nivel de importancia se encuentra
definido en la tabla 2.
Tabla 2
Nivel de Importancia para la valoración de
cada subcaracterística de la usabilidad
|
Nivel de
importancia |
Simbología |
Significado |
|
Alto |
A |
El grado de
importancia de la característica y subcaracterística es alto por ende se
realizará las mediciones |
|
Medio |
M |
La
característica y subcaracterística no es tan relevante pero puede o no ser
medida dependiendo del criterio del evaluador |
|
Bajo |
B |
La
característica y subcaracterística no tiene relevancia y no será medida |
|
No Aplica |
NA |
Este valor
se dará a la característica y subcaracterística que no se pueden medir
dependiendo de diferentes factores |
El
docente del curso, teniendo en cuenta la tabla 2, procedió a valorar las subcaracterísticas de usabilidad del producto software
académico de un juego. Esta valoración sirvió de base para determinar las
ponderaciones para obtener la medida de la usabilidad del producto software.
Tabla 3
Valoración de las subcaracterísticas de usabilidad
|
Subcaracterística
de usabilidad |
Nivel de Importancia |
|
Capacidad
para reconocer su adecuación |
M |
|
Capacidad de
aprendizaje |
M |
|
Capacidad
para ser usado |
A |
|
Protección
contra errores de usuario |
A |
|
Estética de
la interfaz de usuario |
A |
|
Accesibilidad |
B |
Luego se elaboró el Test
del Usuario que se presenta en la tabla 4. Este test constituye el instrumento
de medición de la usabilidad considerando los indicadores para cada una de sus
subcaracterísticas según
la norma ISO/IEC 25010.
Tabla 4
Test del Usuario para la medición de la usabilidad del producto software
académico universitario: elaboración de un juego
|
Subcaracterística
de usabilidad |
Indicador |
|
Capacidad
para reconocer su adecuación |
Grado de
diversión del juego Gratificación
de la recompensa del juego |
|
Capacidad de
aprendizaje |
Claridad en
la redacción de las instrucciones del juego Presentación
de ayudas y mensajes orientativos |
|
Capacidad
para ser usado |
Facilidad
del uso del juego Facilidad
para abandonar el juego cuando el usuario desee. |
|
Protección
contra errores de usuario |
Prevención
de errores con mensajes de alerta para el uso adecuado del juego Detección de
errores de entrada con mensajes orientativos para superarlos. |
|
Estética de
la interfaz de usuario |
Combinación
de textos, gráficos y animaciones suficientes Combinación
de colores/fondos visualmente agradables |
|
Accesibilidad |
Por ser
valorado con un nivel de importancia bajo, esta subcaracterística no tiene
relevancia y no será medida |
2.2. Definir
los criterios de decisión para las métricas
Para realizar la medición de la
usabilidad del producto software académico universitario: elaboración de un juego se aplicó el Test del Usuario
utilizando la escala de Likert, con una escala
del 1 al 4.
Según la valoración obtenida
de cada indicador, utilizando la escala de Likert, se determinaron los
criterios de decisión para las métricas que se presenta en la tabla 5.
Tabla 5
Criterios de decisión para las métricas.
|
Escala |
Puntuación |
Criterio de decisión para las métricas |
|
1 |
0 puntos |
Bajo |
|
2 |
2 puntos |
Regular |
|
3 |
3 puntos |
Bueno |
|
4 |
5 puntos |
Excelente |
2.3.
Definir los criterios de decisión de la evaluación
La puntuación de cada subcaracterística de
usabilidad está dada por la sumatoria de las puntuaciones obtenidas de los
indicadores que corresponden a cada subcaracterística según la tabla 4.
Para determinar la medida de la característica
de usabilidad se tiene en cuenta los niveles de importancia asignadas a cada
subcaracterística según la tabla 3. La puntuación de las subcaracterísticas
valoradas como nivel de importancia Medio (M) se multiplica por 1 y la
puntuación de las subcaracterísticas valoradas como nivel de importancia Alto
(A) se multiplica por 2; siendo la ecuación de la medida de usabilidad la
siguiente:
Ecuación 1
Los criterios de decisión de la evaluación para
cada subcaracterística se determinaron según el rango de puntuación obtenido de
la sumatoria de las puntuaciones de los indicadores que conforman cada
subcaracterística. Estos criterios de decisión de la evaluación para cada
subcaracterística se presentan en la tabla 6.
Tabla 6
Criterio de decisión de
la evaluación para las subcaracterísticas de usabilidad
|
Rango de puntuación |
Criterio de decisión de la evaluación para las
subcaracterísticas |
|
[ 10 – 9
puntos] |
Alta Calidad |
|
] 9 – 6
puntos] |
Buena
Calidad |
|
] 6 – 2
puntos] |
Regular
Calidad |
|
] 2 – 0
puntos] |
Mala Calidad |
Los criterios de decisión de la evaluación para la característica
de usabilidad del producto software se determinaron según el rango de
puntuación obtenido aplicando la ecuación 1. Estos criterios de decisión de la evaluación
para la característica de usabilidad se detallan en la tabla 7.
Tabla 7
Criterio de decisión de
la evaluación para la característica de usabilidad
|
Rango de
puntuación |
Criterio de decisión de la evaluación para la
característica de usabilidad |
|
[80 – 70
puntos] |
Alta Calidad |
|
[69 - 40
puntos] |
Buena
Calidad |
|
[39 – 20
puntos] |
Regular
Calidad |
|
[19 – 0
puntos] |
Mala Calidad |
Etapa 3:
Diseñar la evaluación
En esta actividad se definió la relación de las
actividades de evaluación a realizarse.
3.1. Planificar
las actividades de la evaluación
Las actividades de la
evaluación del producto software de un juego fueron las siguientes:
a)
Presentación del
programa ejecutable por los estudiantes.
b)
Definir escenarios
para medir la usabilidad del software
c)
El docente del curso
tomará el rol de usuario y contestará el Test del Usuario
(tabla 4) para la medición de la usabilidad del producto software académico universitario:
elaboración de un juego.
Etapa 4:
Ejecutar la evaluación
4.1. Realizar las mediciones
Se realizó las mediciones de producto software
académicos correspondientes a cinco juegos. Las mediciones se presentan en la
tabla 8.
Tabla 8
Mediciones de
producto software académicos
|
Subcaracterísticas de usabilidad |
Indicador |
Juego |
||||
|
El
Ahorcado |
Yan Ken
Po |
Tres
en Raya |
Memorex |
Nave
Espacial |
||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
2 |
3 |
5 |
3 |
5 |
|
Gratificación de la recompensa del
juego |
3 |
3 |
5 |
5 |
5 |
|
|
Capacidad de aprendizaje |
Claridad en la redacción de las
instrucciones del juego |
3 |
3 |
3 |
2 |
3 |
|
Presentación de ayudas y mensajes
orientativos |
2 |
3 |
2 |
2 |
2 |
|
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
3 |
3 |
3 |
5 |
|
Facilidad para abandonar el juego
cuando el usuario desee |
3 |
2 |
3 |
2 |
5 |
|
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
2 |
3 |
3 |
2 |
3 |
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
3 |
2 |
3 |
2 |
5 |
|
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
5 |
3 |
3 |
2 |
5 |
|
Combinación de colores/fondos
visualmente agradables |
5 |
3 |
3 |
2 |
5 |
|
4.2. Aplicar
los criterios de decisión para las métricas
Considerando la tabla 5, se aplican los criterios
de decisión para las métricas según los puntajes obtenidos de los indicadores
del Test de Usuario, lo cual se detalla en la tabla 9.
Tabla 9
Aplicación
de los criterios de decisión para las métricas a las mediciones de producto software académicos
|
Subcaracterísticas de usabilidad |
Indicador |
Juego |
||||
|
El
Ahorcado |
Yan Ken
Po |
Tres
en Raya |
Memorex |
Nave
Espacial |
||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
regular |
bueno |
excelente |
bueno |
excelente |
|
Gratificación de la recompensa del
juego |
bueno |
bueno |
excelente |
excelente |
excelente |
|
|
Capacidad de aprendizaje |
Claridad en la redacción de las instrucciones
del juego |
bueno |
bueno |
bueno |
regular |
bueno |
|
Presentación de ayudas y mensajes
orientativos |
regular |
bueno |
regular |
regular |
regular |
|
|
Capacidad para ser usado |
Facilidad del uso del juego |
bueno |
bueno |
bueno |
bueno |
excelente |
|
Facilidad para abandonar el juego
cuando el usuario desee |
bueno |
regular |
bueno |
regular |
excelente |
|
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
regular |
bueno |
bueno |
regular |
bueno |
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
bueno |
regular |
bueno |
regular |
excelente |
|
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
excelente |
bueno |
bueno |
regular |
excelente |
|
Combinación de colores/fondos
visualmente agradables |
excelente |
bueno |
bueno |
regular |
excelente |
|
4.3. Aplicar
los criterios de decisión de la evaluación
A nivel de subcaracterísticas se realiza la suma de
las puntuaciones adquiridas por los indicadores que conforman cada una de las
subcaracterísticas, obteniendo un valor por cada subcaracterística. A este
valor se aplica los criterios de decisión de la evaluación según la tabla 6.
Teniendo en cuenta los valores consolidados por
cada subcaracterística de la usabilidad, se aplica la ecuación 1 obteniendo un
valor a nivel de la característica de usabilidad. A este valor se aplica los
criterios de decisión de la evaluación según la tabla 7. Las tablas del 10 al 14
presentan los criterios de decisión de la evaluación a nivel de la
característica de usabilidad y a nivel de sus subcaracterísticas para cada uno
de los productos software académicos evaluados en esta investigación.
Tabla 10
Criterios de
decisión de la evaluación a nivel de la característica de usabilidad y a nivel
de sus subcaracterísticas del juego El Ahorcado
|
Subcaracterísticade usabilidad |
Indicador |
Juego:
El Ahorcado |
|||||
|
A
nivel de subcaracterísticas |
A
nivel de característica
de usabilidad |
||||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
2 |
5 |
Regular Calidad |
1*5 |
52 |
Buena Calidad |
|
Gratificación de la recompensa del
juego |
3 |
||||||
|
Capacidad de aprendizaje |
Claridad en la redacción de las instrucciones
del juego |
3 |
5 |
Regular Calidad |
1*5 |
||
|
Presentación de ayudas y mensajes
orientativos |
2 |
||||||
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
6 |
Buena Calidad |
2*6 |
||
|
Facilidad para abandonar el juego
cuando el usuario desee |
3 |
||||||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
2 |
5 |
Regular Calidad |
2*5 |
||
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
3 |
||||||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
5 |
10 |
Alta Calidad |
2*10 |
||
|
Combinación de colores/fondos
visualmente agradables |
5 |
||||||
Tabla 11
Criterios de
decisión de la evaluación a nivel de la característica de usabilidad y a nivel
de sus subcaracterísticas del juego Yan Ken Po
|
Subcaracterísticade usabilidad |
Indicador |
Juego:
Yan Ken Po |
|||||
|
A
nivel de subcaracterísticas |
A
nivel de característica
de usabilidad |
||||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
3 |
6 |
Buena Calidad |
1*6 |
44 |
Buena Calidad |
|
Gratificación de la recompensa del
juego |
3 |
||||||
|
Capacidad de aprendizaje |
Claridad en la redacción de las instrucciones
del juego |
3 |
6 |
Buena Calidad |
1*6 |
||
|
Presentación de ayudas y mensajes
orientativos |
3 |
||||||
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
5 |
Regular Calidad |
2*5 |
||
|
Facilidad para abandonar el juego
cuando el usuario desee |
2 |
||||||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
3 |
5 |
Regular Calidad |
2*5 |
||
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
2 |
||||||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
3 |
6 |
Buena Calidad |
2*6 |
||
|
Combinación de colores/fondos
visualmente agradables |
3 |
||||||
Tabla 12
Criterios de
decisión de la evaluación a nivel de la característica de usabilidad y a nivel
de sus subcaracterísticas del juego Tres en raya
|
Subcaracterísticade usabilidad |
Indicador |
Juego:
Tres en raya |
|||||
|
A
nivel de subcaracterísticas |
A
nivel de característica
de usabilidad |
||||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
5 |
10 |
Alta Calidad |
1*10 |
51 |
Buena Calidad |
|
Gratificación de la recompensa del
juego |
5 |
||||||
|
Capacidad de aprendizaje |
Claridad en la redacción de las
instrucciones del juego |
3 |
5 |
Regular Calidad |
1*5 |
||
|
Presentación de ayudas y mensajes
orientativos |
2 |
||||||
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
6 |
Buena Calidad |
2*6 |
||
|
Facilidad para abandonar el juego
cuando el usuario desee |
3 |
||||||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
3 |
6 |
Buena Calidad |
2*6 |
||
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
3 |
||||||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
3 |
6 |
Buena Calidad |
2*6 |
||
|
Combinación de colores/fondos
visualmente agradables |
3 |
||||||
Tabla 13
Criterios de
decisión de la evaluación a nivel de la característica de usabilidad y a nivel
de sus subcaracterísticas del juego Memorex
|
Subcaracterísticade usabilidad |
Indicador |
Juego:
Memorex |
|||||
|
A
nivel de subcaracterísticas |
A
nivel de característica
de usabilidad |
||||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
3 |
8 |
Buena Calidad |
1*8 |
38 |
Regular Calidad |
|
Gratificación de la recompensa del
juego |
5 |
||||||
|
Capacidad de aprendizaje |
Claridad en la redacción de las instrucciones
del juego |
2 |
4 |
Regular Calidad |
1*4 |
||
|
Presentación de ayudas y mensajes
orientativos |
2 |
||||||
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
5 |
Regular Calidad |
2*5 |
||
|
Facilidad para abandonar el juego
cuando el usuario desee |
2 |
||||||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
2 |
4 |
Regular Calidad |
2*4 |
||
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
2 |
||||||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
2 |
4 |
Regular Calidad |
2*4 |
||
|
Combinación de colores/fondos
visualmente agradables |
2 |
||||||
Tabla 14
Criterios de
decisión de la evaluación a nivel de la característica de usabilidad y a nivel
de sus subcaracterísticas del juego Nave Espacial
|
Subcaracterísticade usabilidad |
Indicador |
Juego:
Nave Espacial |
|||||
|
A
nivel de subcaracterísticas |
A
nivel de característica
de usabilidad |
||||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
5 |
10 |
Alta Calidad |
1*10 |
71 |
Alta Calidad |
|
Gratificación de la recompensa del
juego |
5 |
||||||
|
Capacidad de aprendizaje |
Claridad en la redacción de las
instrucciones del juego |
3 |
5 |
Regular Calidad |
1*5 |
||
|
Presentación de ayudas y mensajes
orientativos |
2 |
||||||
|
Capacidad para ser usado |
Facilidad del uso del juego |
5 |
10 |
Alta Calidad |
2*10 |
||
|
Facilidad para abandonar el juego
cuando el usuario desee |
5 |
||||||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
3 |
8 |
Buena Calidad |
2*8 |
||
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
5 |
||||||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
5 |
10 |
Alta Calidad |
2*10 |
||
|
Combinación de colores/fondos
visualmente agradables |
5 |
||||||
En la tabla 15, se presenta los criterios de la
evaluación para cada subcaracterística de usabilidad teniendo en cuenta la
medición de los cinco productos software académicos universitarios.
Tabla 15
Criterios de
la evaluación para cada subcaracterística de usabilidad teniendo en cuenta la
medición de los cinco productos software académicos universitarios.
|
Subcaracterística de usabilidad |
Indicador |
Juego |
Promedio
por indicador |
Promedio
por subcaract |
Criterio por subcaract |
||||
|
El
Ahorcado |
Yan Ken
Po |
Tres
en Raya |
Memo rex |
Nave
Espacial |
|||||
|
Capacidad para reconocer su
adecuación |
Grado de diversión del juego |
2 |
3 |
5 |
3 |
5 |
3.6 |
3.9 |
Regular Calidad |
|
Gratificación de la recompensa del
juego |
3 |
3 |
5 |
5 |
5 |
4.2 |
|||
|
Capacidad de aprendizaje |
Claridad en la redacción de las
instrucciones del juego |
3 |
3 |
3 |
2 |
3 |
2.8 |
5 |
Regular Calidad |
|
Presentación de ayudas y mensajes
orientativos |
2 |
3 |
2 |
2 |
2 |
2.2 |
|||
|
Capacidad para ser usado |
Facilidad del uso del juego |
3 |
3 |
3 |
3 |
5 |
3.4 |
6.4 |
Buena Calidad |
|
Facilidad para abandonar el juego
cuando el usuario desee |
3 |
2 |
3 |
2 |
5 |
3 |
|||
|
Protección contra errores de usuario |
Prevención de errores con mensajes de
alerta para el uso adecuado del juego |
2 |
3 |
3 |
2 |
3 |
2.6 |
5.6 |
Regular Calidad |
|
Detección de errores de entrada con
mensajes orientativos para superarlos |
3 |
2 |
3 |
2 |
5 |
3 |
|||
|
Estética de la interfaz de usuario |
Combinación de textos, gráficos y
animaciones suficientes |
5 |
3 |
3 |
2 |
5 |
3.6 |
7.2 |
Buena Calidad |
|
Combinación de colores/fondos
visualmente agradables |
5 |
3 |
3 |
2 |
5 |
3.6 |
|||
Etapa 5:
Concluir la evaluación
Después haber realizado
el proceso de medición y evaluación se determinó las siguientes conclusiones:
a)
De los cinco productos
software de juego evaluados a nivel de característica de usabilidad 3 juegos alcanzaron
el criterio de decisión de evaluación de buena calidad, 1 juego de regular
calidad y solo un juego de alta calidad.
b)
Según el rigor de la
evaluación definido en la etapa 1.4, se determinó que de los cinco productos
software evaluados 4 alcanzaron la condición de aprobados que fueron El
Ahorcado, Yan Ken Po, Tres en Raya y Nave Espacial y un producto software
obtuvo la condición de desaprobado que fue el juego Memorex.
c)
A nivel de sub
características de usabilidad se concluyó que tres subcaracterísticas registraron
el criterio de decisión de evaluación de regular calidad y dos
subcaracterísticas de buena calidad.
d)
Las subcaracterísticas
que alcanzaron el criterio de decisión de evaluación de regular calidad fueron:
·
Capacidad para reconocer su adecuación
· Capacidad de aprendizaje
· Protección contra errores de usuario
e)
Las subcaracterísticas
que alcanzaron el criterio de decisión de evaluación de buena calidad fueron:
· Capacidad para ser usado
· Estética de la interfaz de usuario
f)
Se recomienda retroalimentar a los estudiantes en temas de las subcaracterísticas que obtuvieron el criterio de decisión de evaluación de regular calidad
g)
Para un próximo proceso de medición y evaluación de productos software se
recomienda constituir un grupo tres usuarios imparciales para que a ellos se le
aplique el Test de Usuario.
CONCLUSIONES
1. Se elaboró un instrumento: Test de Usuario
para medir la usabilidad de productos de software académicos considerando las subcaracterísticas según la norma ISO/IEC 25010
2. Se aplicó el modelo de medición y evaluación
de productos de software académicos basados en la norma ISO/IEC 25040 a cinco
juegos que fueron los informes finales del curso de Algoritmos y Programación.
Los resultados de esta medición y su respectiva evaluación se encuentran
detallados en el presente artículo en el desarrollo de la etapa 5 del modelo
propuesto.
Referencias
Esaki,
K., Azuma, M., & Komiyama, T. (2013). Introduction of Quality Requirement and Evaluation Based on ISO/IEC SQuaRE Series of Standard. Communications
in Computer and Information
Science, 94–101. doi:10.1007/978-3-642-35795-4_12
Naranjo
Sánchez, B. A. ., Tinoco Arichavala,
M. J. ., & Vega Bravo , D. E. . (2020). Análisis de la usabilidad del
sistema web de terapias cognitivas sanamentics. Revista
Boletín Redipe, 9(5), 175–187. https://doi.org/10.36260/rbr.v9i5.986
Organización
Internacional de Normalización [ISO] 25000. (2022, 26 de marzo). Calidad de
software y datos. https://iso25000.com/
Perdomo, Wilder, & Zapata,
Carlos M.. (2021). Software quality measures and their relationship with the states of the
software system alpha. Ingeniare.
Revista chilena de ingeniería, 29(2), 346-363. https://dx.doi.org/10.4067/S0718-33052021000200346