Usability evaluation of the Agente Escuta application: translational research
Avaliação da usabilidade do aplicativo Agente Escuta: uma pesquisa translacional
Alice Andrade Lopes Amorim; Kátia de Freitas Alvarenga; Lilian Cássia Bórnia Jacob; Eliene Silva Araújo;
Abstract
Purpose
To evaluate the usability and satisfaction of users with the interface of the ‘Agente Escuta’ application, in addition to identifying problems and possibilities for improvement.
Methods
Descriptive exploratory translational study, characterized by a usability test with a quantitative and qualitative approach, subdivided into three stages: (I) prior evaluation of usability by 10 judges, including students, primary care professionals, professors and researchers in Information Technology and Speech Therapy; (II) evaluation of the application by the target audience, that is, community health agents from six municipalities in Rio Grande do Norte; (III) evaluation of the satisfaction of the agents who used the application in their work routine. The System Usability Scale and the Net Promoter Score were used, in addition to a qualitative evaluation of the opinions.
Results
Usability was rated as excellent by judges, regardless of category. In the evaluation by community health agents, usability was considered good and there was no effect of the city of origin. It was found that the perception of the judges and the target audience were different, with a lower score for the participants in the second stage. However, most would give positive publicity to the product. The heuristic with the highest score was ease of memorization and participants in the third stage were interested in continuing to use the tool in practice, even after the end of the study.
Conclusion
The Agente Escuta prototype showed good usability and satisfaction and aspects that could be improved in future solutions were identified.
Keywords
Resumo
Objetivo
Avaliar a usabilidade e satisfação dos usuários com a interface do aplicativo “Agente Escuta”, além de identificar problemas e possibilidades de melhorias.
Método
Estudo translacional exploratório descritivo, caracterizado por um teste de usabilidade com abordagem quanti-qualitativa, subdividido em três etapas: (I) avaliação prévia da usabilidade por 10 juízes, incluindo estudantes, profissionais da atenção primária, docentes e pesquisadores em Tecnologia da Informação e Fonoaudiologia; (II) avaliação do aplicativo pelo público-alvo, agentes comunitários de saúde de seis municípios potiguares; (III) Avaliação da satisfação dos agentes que utilizaram o aplicativo na rotina de trabalho. Utilizou-se o System Usability Scale e pelo Net Promoter Score, além de uma avaliação qualitativa das opiniões.
Resultados
A usabilidade foi avaliada como excelente pelos juízes, independentemente da categoria. Na avaliação pelos agentes comunitários de saúde, a usabilidade foi considerada boa e não houve efeito do município de origem. Constatou-se que a percepção dos juízes e do público-alvo foram distintas, com menor escore para os participantes da segunda etapa, no entanto, a maioria dariam publicidade positiva ao produto. A heurística com maior pontuação foi a facilidade de memorização e os participantes da terceira etapa mostraram-se interessados em continuar utilizando a ferramenta na prática, mesmo após o término do estudo.
Conclusão
O protótipo do Agente Escuta apresentou boa usabilidade e satisfação e foram identificados aspectos que poderão ser aprimorados em soluções futuras.
Palavras-chave
References
- Real FJ, DeBlasio D, Rounce C, Henize AW, Beck AF, Klein MD. Opportunities for and barriers to using smartphones for health education among families at an urban primary care clinic. Clin Pediatr. 2018;57(11):1281-5. http://dx.doi.org/10.1177/0009922818772157 PMid:29681167.
- Brasil. Ministério da Saúde. Portaria nº 2.488, de 21 de outubro de 2011. Institui a Política Nacional de Atenção Básica. Diário Oficial da União; Brasília; 21 out. 2011.
- WHO: World Health Organization [Internet]. Genebra: WHO; c2023 [citado em 2022 Ago 22]. Disponível em: https://www.who.int/news-room/fact-sheets/detail/deafness-and-hearing-loss
- Wagner J, Bonamigo AW, Oliveira F, Machado MS. Monitoramento da audição e da linguagem na atenção primária à saúde: projeto piloto. Cien Saude Colet. 2017;22(11):3599-606. http://dx.doi.org/10.1590/1413-812320172211.30182016 PMid:29211165.
- Coco L, Piper R, Marrone N. Feasibility of community health workers as teleaudiology patient-site facilitators: a multilevel training study. Int J Audiol. 2021;60(9):663-76. http://dx.doi.org/10.1080/14992027.2020.1864487 PMid:33403874.
- Oliveira MTD, Alvarenga KF, Costa KTL, Regini VBG, Balen AS, Jacob-Corteletti LCB, et al. Effectiveness of an online continuing education course in infant hearing health for primary care professionals. Int J Audiol. 2023;62(5):453-61. http://dx.doi.org/10.1080/14992027.2022.2050821 PMid:35343871.
- Brasil. Ministério da Saúde. Secretaria de Atenção Primária à Saúde [Internet]. Brasília: Ministério da Saúde; c2023 [citado em 2022 Abr 29]. Disponível em: https://aps.saude.gov.br/ape/informatizaaps
- Brasil. [Internet]. Brasília: Serviços e Informações do Brasil; c2020 [citado em 2022 Abr 29]. Disponível em: https://www.gov.br/pt-br/apps/e-sus-ad
- Brasil. [Internet]. Brasília: Serviços e Informações do Brasil; c2020 [citado em 2022 Abr 29]. Disponível em: https://www.gov.br/pt-br/apps/e-sus-territorio
- Suen JJ, Bhatnagar K, Emmett SD, Marrone N, Kleindienst Robler S, Swanepoel W, et al. Hearing care across the life course provided in the community. Bull World Health Organ. 2019;97(10):681-90. http://dx.doi.org/10.2471/BLT.18.227371 PMid:31656333.
- van Tonder J, Swanepoel W, Mahomed-Asmail F, Myburgh H, Eikelboom RH. Automated smartphone threshold audiometry: validity and time efficiency. J Am Acad Audiol. 2017;28(3):200-8. http://dx.doi.org/10.3766/jaaa.16002 PMid:28277211.
- Maramba I, Chatterjee A, Newman C. Methods of usability testing in the development of eHealth applications: a scoping review. Int J Med Inform. 2019;126:95-104. http://dx.doi.org/10.1016/j.ijmedinf.2019.03.018 PMid:31029270.
- Northern J, Downs MP. Hearing in children. 6. ed. San Diego: Plural Publishing; 2014. Behavioral hearing testing of children; p. 247-308.
- Brasil. Ministério da Saúde. Secretaria de Atenção à Saúde. Departamento de Ações Programáticas Estratégicas [Internet]. Brasília: Ministério da Saúde; c2012 [citado em 2022 Mar 16]. Disponível em: https://bvsms.saude.gov.br/bvs/publicacoes/diretrizes_atencao_triagem_auditiva_neonatal.pdf
- WHO: World Health Organization [Internet]. Ear and hearing care: planning and monitoring of national strategies. Genebra: WHO; 2019 [citado em 2022 Abr 16]. Disponível em: https://www.who.int/publications/i/item/ear-and-hearing-care-planning-and-monitoring-of-national-strategies
- CDC: Centers for Disease Control and Prevention [Internet]. Road Atlanta: CDC; c2019 [citado em 2022 Abr 16]. Disponível em: https://www.cdc.gov/ncbddd/actearly/pdf/other-lang/Brazilian-Portuguese-Checklists_LTSAE-P.pdf
- Alvarenga KF, Araújo ES, Melo TM, Martinez MAN, Bevilacqua MC. Questionário para monitoramento do desenvolvimento auditivo e de linguagem no primeiro ano de vida. CoDAS. 2013;25(1):16-21. http://dx.doi.org/10.1590/S2317-17822013000100004 PMid:24408165.
- Nielsen J, Landauer TK. A mathematical model of the finding of usability problems. In: SIGCHI Conference on Human Factors in Computing Systems - CHI ’93; 1993 Abr 24-29; Amsterdã, Países Baixos. Anais. Nova York: Association for Computing Machinery; 1993. p. 206-13. http://dx.doi.org/10.1145/169059.169166
- Zhou L, Bao J, Setiawan IMA, Saptono A, Parmanto B. The mHealth App Usability Questionnaire (MAUQ): development and validation study. JMIR Mhealth Uhealth. 2019;7(4):e11500. http://dx.doi.org/10.2196/11500 PMid:30973342.
- Martins AI, Rosa AF, Queirós A, Silva A, Rocha NP. European Portuguese validation of the System Usability Scale (SUS). Procedia Comput Sci. 2015;67:293-300. http://dx.doi.org/10.1016/j.procs.2015.09.273
- Aguinis H, Burgi-Tian J. Measuring performance during crises and beyond: the performance promoter score. Bus Horiz. 2021;64(1):149-60. http://dx.doi.org/10.1016/j.bushor.2020.09.001 PMid:32981944.
- Araújo ES, Jacob-Corteletti LCB, Abramides DVM, Alvarenga K F. Community health workers training on infant hearing health: information retention. Rev CEFAC. 2015;17:445-53.
- Sánchez D, Adamovich S, Ingram M, Harris FP, de Zapien J, Sánchez A, et al. The potential in preparing community health workers to address hearing loss. J Am Acad Audiol. 2017;28(6):562-74. http://dx.doi.org/10.3766/jaaa.16045 PMid:28590899.
- O’Donovan J, Nakku D, Nyanzi D, Nakasagga E, Hamala R, Namanda AS, et al. Training, supervision and performance of Community Health Workers in the delivery of ear and hearing care to 321 community members in rural Uganda. Clin Otolaryngol. 2021;46(6):1193-9. http://dx.doi.org/10.1111/coa.13815 PMid:34032012.
- Patel B, Thind A. Usability of mobile health apps for postoperative care: systematic review. JMIR Perioper Med. 2020;3(2):e19099. http://dx.doi.org/10.2196/19099 PMid:33393925.
- Fundação Getulio Vargas. Escola de Administração de Empresas de São Paulo [Internet]. São Paulo: FGV EAESP; c2020 [citado em 2021 Ago 5]. Disponível em: https://eaesp.fgv.br/producao-intelectual/pesquisa-anual-uso-ti
- Islam MN, Karim MM, Inan TT, Islam AKMN. Investigating usability of mobile health applications in Bangladesh. BMC Med Inform Decis Mak. 2020;20(1):19. http://dx.doi.org/10.1186/s12911-020-1033-3 PMid:32013965.
- Ratanjee-Vanmali H, Swanepoel W, Laplante-Lévesque A. Patient uptake, experience, and satisfaction using web-based and face-to-face hearing health services: process evaluation study. J Med Internet Res. 2020;22(3):e15875. http://dx.doi.org/10.2196/15875 PMid:32196459.