Conectar
Our main objective is to assess the inter-reviewer reliability (IRR) reported in published systematic literature reviews (SLRs). Our secondary objective is to determine the expected IRR by authors of SLRs for both human and machine-assisted reviews.
We performed a review of SLRs of randomised controlled trials using the PubMed and Embase databases. Data were extracted on IRR by means of Cohen’s kappa score of abstract/title screening, full-text screening and data extraction in combination with review team size, items screened and the quality of the review was assessed with the A MeaSurement Tool to Assess systematic Reviews 2. In addition, we performed a survey of authors of SLRs on their expectations of machine learning automation and human performed IRR in SLRs.
After removal of duplicates, 836 articles were screened for abstract, and 413 were screened full text. In total, 45 eligible articles were included. The average Cohen’s kappa score reported was 0.82 (SD=0.11, n=12) for abstract screening, 0.77 (SD=0.18, n=14) for full-text screening, 0.86 (SD=0.07, n=15) for the whole screening process and 0.88 (SD=0.08, n=16) for data extraction. No association was observed between the IRR reported and review team size, items screened and quality of the SLR. The survey (n=37) showed overlapping expected Cohen’s kappa values ranging between approximately 0.6–0.9 for either human or machine learning-assisted SLRs. No trend was observed between reviewer experience and expected IRR. Authors expect a higher-than-average IRR for machine learning-assisted SLR compared with human based SLR in both screening and data extraction.
Currently, it is not common to report on IRR in the scientific literature for either human and machine learning-assisted SLRs. This mixed-methods review gives first guidance on the human IRR benchmark, which could be used as a minimal threshold for IRR in machine learning-assisted SLRs.
CRD42023386706.
Resumen: El análisis de la evolución de las teorías de enfermería considerando los contextos y la secuencia evolutiva lleva a considerar la construcción disciplinar de la enfermería como una ciencia resultante de un recorrido histórico.
Resumen: En el período de la Primera República en Portugal, durante la Primera Guerra Mundial, se implantó la reeducación profesional, basada en la experiencia pedagógica de la Casa Pia de Lisboa, y fue particularmente importante en la recuperación de soldados mutilados. Objetivo: Interpretar y analizar las prácticas de las enfermeras en la reeducación profesional de los soldados portugueses en el Instituto Santa Izabel de Reeducación de Mutilados de Guerra de la Casa Pia de Lisboa durante la Primera Guerra Mundial. Metodología: Utilización del método histórico para sintetizar el relato histórico. Resultados: Se encuentran importantes referencias en los Anuarios de la Casa Pia de Lisboa a las funciones desempeñadas por las enfermeras, a saber: "la propaganda que las enfermeras hacían a los heridos sobre las ventajas de la reeducación"; el "tratamiento de masoterapia"; "los tratamientos de masaje" y también al "importantísimo papel" de las señoras (enfermeras) en la "pequeña enfermería" dirigida por el Dr. V. Pontes, donde había un pequeño servicio de "masoterapia", un taller de "prótesis provisionales" y un laboratorio de examen de aptitudes. Conclusión: Esto confirma que las enfermeras desempeñaron un papel importante en los servicios de "reeducación preparatoria" del Instituto de Reeducación de Mutilados Santa Izabel, de la Casa Pia de Lisboa, interviniendo de forma diferenciada y eficaz, mereciendo un buen reconocimiento.
FreshRSS 