A Systematic Review of Machine Learning for Assessment and Feedback of Treatment Fidelity

espanolRESUMEN Se ha puesto de manifiesto que muchos tratamientos psicologicos tienen un coste efectivo y son eficaces siempre que se apliquen con fidelidad. La evaluacion de esta y el feedback son caros y exigen mucho tiempo. El aprendizaje automatico se ha utilizado para evaluar la fidelidad al tratamiento, aunque su fiabilidad y capacidad de generalizacion no esten claras. Recopilamos y analizamos todas las aplicaciones de aprendizaje automatico con el fin de evaluar el comportamiento verbal de todos los profesionales de ayuda, con el acento particular en la fidelidad al tratamiento de los terapeutas. Llevamos a cabo busquedas en nueve bases de datos electronicas para enfoques automaticos de codificacion de comportamiento verbal en terapia y contextos semejantes. Llevamos a cabo el cribado, la extraccion y la evaluacion de la calidad por duplicado. Cincuenta y dos estudios cumplian nuestros criterios de inclusion (el 65.3% en psicoterapia). Los metodos de codificacion automatica resultaban mejor que el azar y algunos de ellos mostraban un desempeno casi al nivel humano, que tendia a ser mejor con conjuntos mas grandes de datos, un numero de codigos menor, codigos conceptualmente simples y cuando predecian indices al nivel de sesion que los de tipo declaracion. Escasos estudios cumplian las directrices de buena praxis en aprendizaje automatico. Este presento unos resultados alentadores, sobre todo donde habia conjuntos de datos grandes y anotados y un escaso numero de caracteristicas concretas que codificar, modos expansibles de evaluar la fidelidad y facilitar a los terapeutas un feedback individualizado, rapido y objetivo. EnglishABSTRACT Many psychological treatments have been shown to be cost-effective and efficacious, as long as they are implemented faithfully. Assessing fidelity and providing feedback is expensive and time-consuming. Machine learning has been used to assess treatment fidelity, but the reliability and generalisability is unclear. We collated and critiqued all implementations of machine learning to assess the verbal behaviour of all helping professionals, with particular emphasis on treatment fidelity for therapists. We conducted searches using nine electronic databases for automated approaches of coding verbal behaviour in therapy and similar contexts. We completed screening, extraction, and quality assessment in duplicate. Fifty-two studies met our inclusion criteria (65.3% in psychotherapy). Automated coding methods performed better than chance, and some methods showed near human-level performance; performance tended to be better with larger data sets, a smaller number of codes, conceptually simple codes, and when predicting session-level ratings than utterance-level ones. Few studies adhered to best-practice machine learning guidelines. Machine learning demonstrated promising results, particularly where there are large, annotated datasets and a modest number of concrete features to code. These methods are novel, cost-effective, scalable ways of assessing fidelity and providing therapists with individualised, prompt, and objective feedback.