Evidence-based practice aims to use the best available clinical evidence, coupled with professional clinical experience and patient values ​​and preferences for decision-making in clinical practice, widely recognized in the medical field, has also spread to other areas of health, including speech therapy. Systematic reviews (SR) and meta-analyzes are at the top of the evidence pyramid, providing the highest level of evidence to verify the effectiveness of interventions. They seek to collect all evidence that fits pre-defined eligibility criteria to verify a specific research question. The use of well-defined and explicit methods is aimed at minimizing biases, which is their main difference with literature reviews, thus providing more reliable results, with which conclusions can be made and decisions made.

SR help health professionals stay current, provide evidence for decision -making, allow for the assessment of the risks and benefits of interventions, provide support for the development of care guidelines, and provide information on previous studies for potential sources of new research funding. Given this, the production of quality SR can directly impact the quality of health care. The definition of quality criteria in the development and reporting of SR aims to encourage the improvement of the scientific production in speech therapy, as well as to subsidize clinical speech pathologists in the identification of good sources of support for their practice. It is of fundamental importance, then, that speech-language pathologists know how to delineate SR of quality, as well as to look for scientific evidences in corrected revisions.

The Cochrane Collaboration is an international organization that aims to support informed decision-making in clinical practice by preparing, maintaining and promoting accessibility to systematic reviews, one of the organizations that work with the production of evidence today. This organization defines criteria for SR planning and execution, being the main reference in this area. In the same way that the Consolidated Standards of Reporting Trials (CONSORT) helps in the elaboration of randomized clinical trials, a good SR should be reported according to the Guideline PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyzes) in order to ensure transparency and quality in the preparation and publication.

We will discuss methods for elaborating a SR Cochrane: The development of a SR starts with a well-defined research question. In general, it contains a careful selection of the criteria defined by the acronym PICO (T): Participant (s), Intervention (s), Comparator (s), Outcome (s) and Type of study. The research question guides the definition of the search strategy and the eligibility criteria of the studies.

We indicate that the search should be performed, minimally, in the bibliographic databases: Medline, The Cochrane Central Register of Controlled Trials and EMBASE, but with indication of search in the largest number of specific literary bases of the studied subject, in which the searches must search high sensitivity, and may result in relatively low accuracy, as there is no consensus established in the literature. Keywords should be identified in the Medical Subject Headings (MeSH) and EMTREE (Embase Subject headings). The inclusion of gray literature is important to reduce the influence of publication bias on the results of systematic reviews and contributes to exposure of underestimated risks in published studies. It is indicated that the selection of studies should be done by at least two independent reviewers. The grounds for exclusion of the full texts evaluated should be recorded and set out in the article.

For a typical selection of studies, Green et al. guide you to: Merge search results using reference management software and remove duplicate records from the same report, examine titles and summaries, and remove obviously irrelevant items, acquire the full text of relevant reports, and examine them against criteria of SR eligibility. If the eligibility criteria are unclear, it may be appropriate to request more information, such as missing results. Finally, make final decisions about inclusion in the study and proceed with data collection.

They also bring the importance of the application of an instrument to evaluate the risk of bias of the articles included in the research. Bias is a systematic error in the conduct of the study, with the risk of overestimating or underestimating the true effect of the intervention / exposure. The Cochrane Collaboration recommends the use of a specific tool to assess the risk of bias in each included study. The judgment should be performed by at least 2 independent reviewers, who rate bias as “low risk,” “high risk,” or lack sufficient information in the study, “uncertain risk.”

Finally, meta-analysis should be performed, if possible. Combining information from all relevant studies, one can estimate the effects of a given intervention or exposure more accurately than each study individually. However, it also has the potential to deceive, particularly if the study designs used, their biases and the variation between studies are not carefully considered. The variation between studies (heterogeneity) should be considered, although most Cochrane reviews do not have enough studies to allow reliable investigation of the reasons for this. In the speech-language field, many studies are identified published in national and international journals, and, often, there is no statistical significance of the data, due to the low number of patients studied. The meta-analysis comes against this, providing evidence or not, some information of interest with the pooled analysis of the studies found.

Cochrane presents recent speech-language contributions of SR. Rimoli et al. conducted a study to verify the efficacy of treatments for laryngeal granulomas and, through the meta-analysis, identified that there is no evidence to prove any type of treatment in this population. Mitchell et al. studied interventions to improve speech in post-stroke patients and did not find randomized clinical trials, but only limited evidence to suggest a beneficial effect on levels of speech impairment. This research also becomes important, because it identifies to speech-language pathologists that the practices used in clinical practice with these patients and this specific objective are not based on evidence, without scientific evidence of its benefits.

Many judgments are needed in the process of preparing a Cochrane review or meta-analysis, and they should be followed in pursuit of quality scientific evidence. In order to generate consistent information in the speech-language pathology, it becomes important to apply the steps described above, making SR performed by speech therapists more consistent and with greater credibility in national and international literature.

A prática baseada em evidência visa à utilização da melhor evidência clínica disponível, somada à experiência clínica profissional e valores e preferências dos pacientes para a tomada de decisão na prática clínica, amplamente reconhecida na área médica, disseminou-se também em outras áreas da saúde, incluindo a fonoaudiologia. Revisões sistemáticas (RS) e metanálises estão no topo da pirâmide de evidência, provendo o mais alto nível de evidência para verificar a efetividade de intervenções. Buscam coletar toda evidência que se adequa a critérios de elegibilidade pré-definidos para verificar uma questão de pesquisa específica. O uso de métodos bem definidos e explícitos visa à minimização de vieses, sendo esta sua principal diferença com revisões bibliográficas da literatura, fornecendo assim resultados mais confiáveis, com os quais conclusões podem ser feitas e decisões tomadas.

As RS auxiliam os profissionais da saúde a se manterem atualizados, fornecem evidências para a tomada de decisão, permitindo o julgamento dos riscos e dos benefícios das intervenções, dão subsídio para o desenvolvimento de diretrizes assistenciais, assim como proporcionam informações sobre estudos prévios para potenciais fontes de financiamentos de novas pesquisas. Visto isso, a produção de RS de qualidade pode impactar diretamente a qualidade do cuidado em saúde. A definição de critérios de qualidade no desenvolvimento e relato de RS visa incentivar a melhora da produção científica em fonoaudiologia, bem como subsidiar fonoaudiólogos clínicos na identificação de boas fontes de embasamento para sua prática. É de fundamental importância então que os fonoaudiólogos saibam delinear RS de qualidade, bem como procurar por evidências científicas em revisões elaboradas de forma correta.

A Colaboração Cochrane é uma organização internacional que visa subsidiar a tomada de decisão bem informada na prática clínica, preparando, mantendo e promovendo acessibilidade a revisões sistemáticas, uma das organizações que trabalham com a produção de evidências atualmente. Esta organização define critérios para o planejamento e execução de RS, sendo a principal referência nesta área. Da mesma forma que o Consolidated Standards of Reporting Trials (CONSORT) auxilia na elaboração de ensaios clínicos randomizados, uma boa RS deve ser reportada conforme o Guideline PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses) com o objetivo de assegurar transparência e qualidade na elaboração e na publicação.

Discorreremos sobre métodos para elaboração de uma RS Cochrane: O desenvolvimento de uma RS inicia com uma questão de pesquisa bem definida. De maneira geral, ela contém uma seleção cuidadosa dos critérios definidos pelo acrônimo PICO(T): Participante(s), Intervenção(ões), Comparador(es), Desfecho(s) (Outcomes) e Tipo de estudo. A questão de pesquisa norteia a definição da estratégia de busca e critérios de elegibilidade dos estudos.

Indicamos que a busca deve ser realizada, minimamente, nas bases de dados bibliográficos: Medline, The Cochrane Central Register of Controlled Trials e EMBASE, mas com indicação de busca no maior número de bases literárias específicas do assunto estudado, nas quais as pesquisas devem buscar alta sensibilidade, podendo resultar em precisão relativamente baixa, pois ainda não há consenso estabelecido na literatura. As palavras-chave devem ser identificadas no MeSH (Medical Subject Headings) e EMTREE (Embase Subject headings). A inclusão de literatura cinza é importante para reduzir a influência do viés de publicação nos resultados de revisões sistemáticas e contribui para exposição de riscos subestimados em estudos publicados. É indicado que a seleção dos estudos seja feita por, no mínimo, dois revisores independentes. Os motivos de exclusão dos textos completos avaliados devem ser registrados e expostos no artigo.

Para uma típica seleção de estudos, Green et al. orientam a: mesclar resultados de pesquisa usando o software de gerenciamento de referência e remover registros duplicados do mesmo relatório, examinar títulos e resumos e remover itens obviamente irrelevantes, adquirir o texto completo de relatórios relevantes e examiná-los seguindo os critérios de elegibilidade da RS. Se os critérios de elegibilidade não forem claros, pode ser apropriado solicitar mais informações, como resultados ausentes. Enfim, tomar decisões finais sobre a inclusão no estudo e proceder à coleta de dados.

Também trazem a importância da aplicação de instrumento para avaliação do risco de viés dos artigos incluídos na pesquisa. O viés é um erro sistemático na condução do estudo, com o risco de superestimar ou subestimar o verdadeiro efeito da intervenção/exposição. A Colaboração Cochrane recomenda a utilização de uma ferramenta específica para avaliar o risco de viés em cada estudo incluído. O julgamento deve ser realizado por minimamente 2 avaliadores independentes, que classificam o viés como “baixo risco”, “alto risco” ou se não tiverem informações suficientes no estudo, “risco incerto”.

Por fim, a metanálise deve ser realizada, se possível. Combinando informações de todos os estudos relevantes, pode-se estimar os efeitos de uma determinada intervenção ou exposição de forma mais precisa do que cada estudo individualmente. No entanto, ela também tem o potencial de enganar, particularmente se os desenhos de estudo utilizados, seus vieses e a variação entre os estudos não forem cuidadosamente considerados. A variação entre estudos (heterogeneidade) deve ser considerada, embora a maioria das revisões Cochrane não tenha estudos suficientes para permitir a investigação confiável das razões para isso. No âmbito fonoaudiológico, muitos estudos são identificados publicados em periódicos nacionais e internacionais, e, muitas vezes, não há significância estatística dos dados, devido ao baixo número de pacientes estudados. A metanálise vem de encontro a isso, proporcionando evidenciar, ou não, alguma informação de interesse com a análise agrupada dos estudos encontrados.

A Cochrane apresenta recentes contribuições fonoaudiológicas de RS. Rimoli et al. realizaram um estudo objetivando verificar a eficácia dos tratamentos para granulomas laríngeos e, através da realização da metanálise, identificaram que não há evidências que comprovem qualquer tipo de tratamento nessa população. Mitchell et al. estudaram intervenções para melhorar a fala em pacientes pós-acidente vascular encefálico e não encontraram ensaios clínicos randomizados, e sim apenas evidências limitadas para sugerir um efeito benéfico sobre os níveis de comprometimento da fala. Essa pesquisa também se torna importante, pois identifica aos fonoaudiólogos que as práticas utilizadas na atuação clínica com esses pacientes e esse objetivo específico não são baseadas em evidências, sem comprovação científica de seus benefícios.

Muitos julgamentos são necessários no processo de preparação de uma revisão Cochrane ou meta-análise, e eles devem ser seguidos em busca de evidências científicas de qualidade. A fim de gerar informações consistentes no âmbito fonoaudiológico, torna-se importante a aplicação das etapas descritas anteriormente, tornando as RS realizadas por fonoaudiólogos mais consistentes e com maior credibilidade perante a literatura nacional e internacional.