Hip disability and osteoarthritis outcome score (HOOS): um estudo de validação intercultural da versão na língua portuguesa

Resumo

Objetivo Escalas traduzidas e validadas são de grande importância, pois podem ser utilizadas por pesquisadores que estudam diferentes populações com o mesmo problema. O objetivo do presente estudo foi traduzir, adaptar culturalmente e validar a escala Hip Disability and Osteoarthritis Outcome Score (HOOS) para a língua portuguesa.

Métodos O HOOS foi traduzido do inglês para a língua portuguesa, traduzido de volta para o inglês e submetido a um comitê de especialistas. Foi administrado a 100 pacientes com osteoartrite de quadril. A avaliação psicométrica incluiu a análise fatorial; medidas de confiabilidade interna, confiabilidade de teste-reteste em 7 dias e a comparação de validade de conteúdo com a versão brasileira da Escala de Dor Crônica Graduada (GCPS, na sigla em inglês).

Resultados A análise fatorial demonstrou uma solução de cinco fatores. A confiabilidade de teste-reteste mostrou um alto grau de consistência interna para as 5 subescalas (dor e dificuldades físicas, 0,97 no 1° dia e 0,93 aos 7 dias; dor e dificuldade em sentar, deitar e levantar, 0,93 no 1° dia e 0,89 aos 7 dias; dificuldade em flexionar o joelho, 0,92 no 1° dia e 0,83 aos 7 dias; dificuldade de caminhada, 0,88 no 1° dia e 0,87 aos 7 dias; qualidade de vida, 0,80 no 1° dia e 0,35 aos 7 dias). A validade de conteúdo foi estabelecida durante a comparação da versão brasileira da GCPS.

Conclusões Uma versão brasileira do HOOS foi desenvolvida com confiabilidade e validade adequadas. Isso facilitará a avaliação clínica do quadril em uma grande população de pacientes e entre diferentes culturas.

Palavras-chave

osteoartrite do quadril - reproducibilidade de resultados - validade dos testes - linguagem - Brasil

Introdução

Os distúrbios musculoesqueléticos representam a maior preocupação em saúde pública, bem como as principais causas de incapacidade, ausência no trabalho e aumento dos custos de saúde.[1] A osteoartrite é conhecida como uma doença social caracterizada por dor, inflamação e rigidez, devido ao acometimento da cartilagem articular, dos tecidos moles e dos ossos. Além disso, a osteoartrite representa um grande desafio terapêutico para os profissionais de saúde, já que várias causas são atribuídas à doença.[2] Um dos principais problemas para o profissional de saúde é a escolha do instrumento a ser usado para medida dos desfechos.

Nos últimos anos, os instrumentos de desfechos utilizados em estudos observacionais ortopédicos têm aumentado.[3] Há algumas escalas e questionários específicos, que são instrumentos muito importantes para que os profissionais de saúde esclareçam o status funcional, as dificuldades e as habilidades de realização das atividades diárias do paciente com osteoartrite.[4] Muitos desses instrumentos estão disponíveis apenas em inglês, o que pode gerar dificuldades na troca de informações.

Ao serem traduzidos e validados, esses questionários automaticamente se tornam uma ferramenta para uso em estudos multicêntricos, permitindo que os pesquisadores avaliem o status funcional em uma ampla gama de diferentes populações linguísticas.[5] Um dos instrumentos mais utilizados para pesquisa e avaliação clínica é a escala chamada Hip Dysfunction and Osteoarthritis Outcome Score (HOOS). A HOOS foi desenvolvida como uma ferramenta para avaliação da opinião dos pacientes sobre seus problemas de quadril e outros problemas associados. Foi criado para utilização em casos de incapacidade funcional do quadril, com ou sem osteoartrite.[6] Essa escala foi bastante usada em estudos anteriores que investigaram o estado funcional do quadril.[7] [8] Até onde temos conhecimento, a versão original sueca do HOOS[6] foi traduzida para o francês,[9] dinamarquês, holandês,[10] lituano e coreano.[11] Essas traduções facilitam as comparações transculturais de incapacidade funcional entre populações de idiomas distintos. Além de uma boa tradução linguística, as escalas destinadas ao uso em diferentes populações devem ser culturalmente adaptadas para manter a validade do instrumento em diferentes contextos culturais.[12] Hoje, os pacientes com indicação de ATQ (artroplastia total do quadril) exigem mais do que apenas as atividades diárias habituais.[13] O número de pacientes com osteoartrite no Brasil é grande. O Brasil é um país com mais de 180 milhões de pessoas, o que justifica a necessidade de escalas de desfechos validadas para o português brasileiro. Além disso, o Brasil gradualmente aumenta sua participação mundial em ensaios clínicos, o que reforça a necessidade de instrumentos traduzidos e validados para o português brasileiro.

No presente estudo, descrevemos a tradução, a adaptação cultural e a validação de uma versão em português brasileiro da Hip Dysfunction and Osteoarthritis Outcome Score (HOOS).

Métodos

Ética

A aprovação do comitê de ética em pesquisa de nossa instituição foi obtida antes do início deste projeto. Todos os participantes do estudo assinaram o termo de consentimento livre e esclarecido antes da inclusão no estudo.

Hip Dysfunction and Osteoarthritis Outcome Score

A versão sueca original da HOOS é composta por cinco subescalas: dor, outros sintomas, função na vida diária (ADL), função em esporte/recreação (Sport/Rec) e qualidade de vida (QoL, na sigla em inglês) relacionada ao quadril. No total, são 40 questões: 3 itens são relacionados a sintomas e dificuldades do quadril; 2 itens dizem respeito à quantidade de rigidez articular sentida pelo paciente; 10 itens se referem à dor no quadril; 17 itens dizem respeito à função física (capacidade de se movimentar e cuidar de si mesmo); 4 itens são relacionados à função física quando o paciente está mais ativo; e os 4 últimos itens se referem à qualidade de vida relacionada ao quadril. As questões também avaliam como o paciente se sentiu durante a última semana. As opções de resposta são padronizadas (cinco alternativas em escala Likert), e cada questão é pontuada de zero a quatro. A pontuação normalizada (em que 100 indica a ausência de sintomas e zero indica sintomas extremos) é calculada para cada subescala. A tradução do HOOS para o português brasileiro, conforme discutido nas seções a seguir, foi realizada de acordo com as recomendações da American Academy of Orthopedic Surgeons para a adaptação transcultural de medidas de estado de saúde.[14]

Tradução inicial para o português brasileiro

O HOOS foi inicialmente traduzido do inglês para o português do Brasil. Três traduções foram realizadas por tradutores bilíngues, cuja língua materna era o português.[15] Dois tradutores estavam cientes dos conceitos específicos do questionário, enquanto o terceiro não tinha conhecimento nem foi informado acerca dos conceitos.

Síntese da tradução

Uma síntese das três versões traduzidas foi produzida, gerando uma tradução comum. Os três tradutores e um observador documentaram o processo de síntese e resolveram todos os conflitos de maneira consensual.

Retrotradução para o Inglês

Dois tradutores bilíngues diferentes, cuja língua materna era o inglês e que não conheciam os conceitos do HOOS, retrotraduziram a versão sintetizada do questionário para a língua inglesa. A retrotradução foi usada para assegurar a tradução confiável do conteúdo original da escala.

Comitê de especialistas

A tradução sintetizada e as versões retrotraduzidas da escala foram analisadas por um comitê formado por especialistas clínicos, psicométricos e linguísticos. O comitê era composto por três indivíduos bilíngues, falantes nativos de português brasileiro; dois norte-americanos bilíngues, cuja língua mãe era o inglês; dois especialistas em língua portuguesa brasileira; e dois médicos bilíngues. Os membros do comitê desenvolveram uma versão pré-final do questionário HOOS em português brasileiro para testes em campo.

Avaliação qualitativa

Para determinar se outros ajustes eram necessários, a versão preliminar do questionário HOOS foi aplicada em uma primeira avaliação a um grupo de 20 pacientes atendidos por apresentarem patologias do quadril. Pedimos para os pacientes lerem cada item em voz alta e, em seguida, perguntamos sua compreensão sobre o significado do item. Uma versão final do questionário em português brasileiro foi finalmente obtida e aprovada pelo comitê de especialistas.

Teste da versão final

A versão final do instrumento foi administrada a 100 pacientes[16] [17] com incapacidade do quadril e osteoartrite avaliados em um hospital de grande porte no sul do Brasil. Pacientes com idade inferior a 42 anos ou acima de 89 anos foram excluídos do estudo, pois o HOOS não é aplicável a pacientes nessas faixas etárias. Os pacientes de teste-reteste foram escolhidos de maneira aleatória com uma tabela de números randômicos gerados por linguagem R.[18]

Avaliação das propriedades psicométricas

A consistência interna da HOOS-BR foi examinada com o teste alfa de Cronbach. Valores alfa acima de 0,70 foram considerados aceitáveis.[19] As confiabilidades de teste-reteste foram analisadas em 7 dias (n = 20). A validade (definida como a capacidade do instrumento de medir o que se pretendia) também foi analisada. A escala foi correlacionada à versão em português brasileiro da Escala Graduada de Dor Crônica (Graded Chronic Pain Scale [GCPS]-BR), esperando correlações positivas entre cada uma das subescalas da GCPS-BR e as subescalas da HOOS-BR. A GCPS trata-se de um questionário de oito itens usada em vários estudos[20] [21] [22] para análise da persistência, intensidade e incapacidade associada à dor.[23] Sua validade foi analisada em populações norte-americanas e britânicas,[24] [25] e seu construto possui itens que medem cada um dos principais componentes da classificação internacional de funcionalidade, incapacidade e saúde da Organização Mundial da Saúde.[26] A GCPS foi escolhida porque os pacientes incluídos no estudo têm dor crônica, e consideramos que qualquer outra escala já traduzida culturalmente para o português brasileiro não captura toda a extensão do construto medido pela HOOS. Por fim, a estrutura fatorial da HOOS foi analisada.

Métodos estatísticos

Todas as análises estatísticas foram realizadas em software Stata/SE (versão 9.0) para Windows (Stata, College Station, TX, Estados Unidos). A princípio, análises descritivas com médias, porcentagens, e intervalos de confiança de 95% foram utilizadas para o estabelecimento das características demográficas e clínicas da amostra. Os coeficientes de correlação intraclasse foram usados para exame da confiabilidade de teste-reteste da escala e os coeficientes de confiabilidade alfa de Cronbach foram calculados para cada subescala. A validade do instrumento foi determinada por análises de correlação e teste t, e a estrutura fatorial foi submetida à análise fatorial com rotação varimax.

Resultados

Características basais

A maioria dos participantes era do sexo feminino (n = 53; 53,0%), caucasiana (n = 98; 98,0%) e com baixo nível de escolaridade (65% tinham ensino básico, mas este era incompleto) ([Tabela 1]).

Tabela 1

Dados demográficos	N = 100 (%)
Idade (média ± desvio-padrão)	59,38 ± 8,77
Sexo
Masculino	47 (47%)
Feminino	53 (53%)
Etnia
Branca	98 (98%)
Negra	2 (2%)
Educação
Ensino fundamental incompleto	65 (65%)
Ensino fundamental	15 (15%)
Ensino médio incompleto	3 (3%)
Ensino médio	14 (14%)
Ensino superior incompleto	3 (3%)

Características psicométricas do HOOS

Análise fatorial da HOOS

Os 40 itens da HOOS foram submetidos à análise fatorial (com rotação varimax) ([Tabela 2]). A HOOS produziu uma solução de cinco fatores. A solução fatorial mais interpretável da HOOS tinha cinco fatores. As 5 subescalas foram identificadas como dor e dificuldades físicas (15 itens), dor e dificuldade em sentar, deitar, e levantar (9 itens), movimentos do quadril (8 itens), dificuldade de caminhada (5 itens) e qualidade de vida (3 itens). Após a identificação dos fatores, novos procedimentos de confiabilidade e validação foram realizados, inclusive uma comparação das subescalas recém-identificadas com as da GCPS-BR.

Tabela 2

Fator 1: Dor e dificuldades físicas
Fator 2: Dor e dificuldade em sentar, deitar e levantar
Fator 3: Movimentos do quadril
Fator 4: Dificuldade de caminhada
Fator 5: Qualidade de vida
Item	Fator 1	Fator 2	Fator 3	Fator 4	Fator 5
1		0,605
2				0,489
3	0,498
4		0,537
5		0,525
6			0,630
7	0,585
8	0,541
9	0,512
10			0,521
11		0,613
12		0,690
13	0,669
14				0,539
15	0,505
16	0,582
17			0,594
18	0,711
19	0,677
20			0,693
21	0,598
22	0,680
23	0,825
24	0,695
25	0,690
26	0,693
27		0,659
28			0,786
29		0,664
30		0,699
31			0,543
32		0,577
33			0,791
34			0,707
35				0,672
36				0,613
37					0,708
38					0,660
39					0,571
40				0,499

Índices de confiabilidade da escala

Os índices de confiabilidade de teste-reteste, medidos pelos coeficientes de correlação intraclasse (ICC, na sigla em inglês), foram 0,972 no 1° dia (n = 14), e 0,937 em 7 dias (n = 14); na subescala dor e dificuldades físicas, 0,939 no 1° dia (n = 9), e 0,897 em 7 dias (n = 9); na subescala dor e dificuldade em sentar, deitar, e levantar, 0,924 no 1° dia (n = 8), e 0,839 em 7 dias (n = 8); na subescala movimentos do quadril, 0,884 no 1° dia (n = 5), e 0,875 em 7 dias (n = 5); na subescala dificuldade de caminhada e 0,800 no 1° dia (n = 3), e 0,354 em 7 dias (n = 3) na subescala qualidade de vida ([Tabela 3]).

Tabela 3

Subescala do Instrumento	Teste (dia 1)	Teste (dia 7)
Dor e dificuldades físicas	0,972	0,937
Dor e dificuldade em sentar, deitar e levantar	0,939	0,897
Movimentos do quadril	0,924	0,839
Dificuldade de caminhada	0,884	0,875
Qualidade de vida	0,800	0,354

Correlação entre a HOOS e a GCPS

As pontuações da HOOS apresentaram correlações estatisticamente significativas, nas direções esperadas, com todas as subescalas da GCPS ([Tabela 4]). O padrão mais convincente foi observado na pontuação de incapacidade (r = -0,700, p < 0,0001). (r = -0,700, p < 0,0001). A subescala dor e dificuldades físicas demonstrou forte correlação com a intensidade da dor característica (r = -0,631, p < 0,0001), pontuação de incapacidade (r = -0,644, p < 0,0001) e dias de incapacidade (r = -0,358, p < 0,0001). A correlação da subescala dor e dificuldade em sentar, deitar, e levantar foi significativa com todas as subescalas da GCPS. As subescalas movimentos do quadril, dificuldade de caminhada e qualidade de vida também foram relacionadas a com todas as subescalas da GCPS.

Tabela 4

Subescala do Instrumento	GCPS: Intensidade da Dor Característica	GCPS: Pontuação de Incapacidade	GCPS: Dias de Incapacidade
HOOS: Dor e dificuldades físicas	−0,631; < 0,001	−0,644; < 0,001	−0,358; < 0,001
HOOS: Dor e dificuldade em sentar, deitar e levantar	−0,559; < 0,001	−0,644; < 0,001	−0,354; < 0,001
HOOS: Movimentos do quadril	−0,602; < 0,001	−0,639; < 0,001	−0,514; < 0,001
HOOS: Dificuldade de caminhada	−0,613; < 0,001	−0,700; < 0,001	−0,391; < 0,001
HOOS: Qualidade de vida	−0,569 < 0,001	−0,569; < 0,001	−0,295; < 0,003

Discussão

A HOOS-BR demonstrou confiabilidade e validade de escala adequadas, e sua análise fatorial gerou uma solução de cinco fatores. Tanto as subescalas convencionais quanto as recém-identificadas da versão em português brasileiro demonstraram confiabilidade interna suficiente e os dois grupos de subescalas apresentaram correlações significativas com praticamente todas as subescalas relevantes da GCPS-BR.

Neste estudo, os coeficientes de consistência interna do HOOS-BR foram notáveis. Ornetti et al.[9] também relataram coeficientes de confiabilidade aceitáveis nas cinco subescalas da versão francesa da HOOS (0,83 na subescala Dor, 0,84 na subescala outros sintomas, 0,86 na subescala ADL, 0,89 na subescala Sport/Rec, e 0,89 na subescala QoL relacionada ao quadril). Da mesma forma, De Groot et al.[10] relataram coeficientes de confiabilidade da versão alemã da HOOS de 0,74 na subescala dor, 0,95 na subescala outros sintomas, 0,98 na subescala ADL, 0,91 na Sport/Rec, e 0,75 na subescala QoL relacionada ao quadril em pacientes com osteoartrite do quadril. Além disso, Ornetti et al.[12] relataram em um estudo de validade comparativa e responsividade do HOOS-PS uma versão reduzida da HOOS uma consistência interna de 0,79 segundo o alfa de Cronbach.

Os índices de confiabilidade, medidos pela correlação intraclasse, mostraram boa confiabilidade; o mesmo foi observado com a HOOS-D,[9] que demonstrou boa confiabilidade na subescala dor (ICC = 0,88) e excelente confiabilidade nas subescalas outros sintomas (ICC = 0,97), ADL (ICC = 0,94), Sport/Rec (ICC = 0,96) e QoL relacionada ao quadril (ICC = 0,97) em um período médio de 7,6 dias em um grupo de 49 pacientes com osteoartrite do quadril. Ornetti et al.[9] também demonstraram a confiabilidade satisfatória nas subescalas dor (ICC = 0,83), outros sintomas (ICC = 0,84), ADL (CCI = 0,86), Sport/Rec (ICC = 0,89) e QoL relacionada ao quadril (ICC = 0,86) duas semanas depois, um período considerado curto o suficiente para prevenir a mudança clínica da dor e da incapacidade da osteoartrite do quadril.

Assim, nossos resultados, que sugerem que a HOOS-BR é um instrumento internamente estável, são condizentes com os resultados das validações da tradução francesa e alemã da escala.

Acredita-se que a HOOS original possua cinco subescalas (dor, outros sintomas, ADL, Sport/Rec e QoL relacionada ao quadril) em sua estrutura fatorial. Na análise fatorial da HOOS-BR aqui relatada, examinamos cinco modelos concorrentes e uma solução de cinco fatores levou à separação mais clara entre os fatores. As cinco subescalas que surgiram foram denominadas Dor e Dificuldades Físicas, Dor e Dificuldade de Sentar, Deitar, e Levantar, Movimentos do Quadril, Dificuldade de Caminhada e Qualidade de Vida.

Um dos métodos que usamos para estabelecer a validade do construto da HOOS-BR foi compará-lo às subescalas de GCPS-BR. Todas as subescalas da HOOS-BR se correlacionaram, nas direções esperadas, com todas as subescalas da GCPS-BR, em concordância com a HOOS original, que também demonstrou validade de construto quando correlacionado a SF-36. A validade do construto da versão holandesa da HOOS[9] foi determinada por sua comparação a SF-36, Oxford Hip Score (OHP) e Visual Analog Scale (VAS, Escala Análoga Visual) para dor. As maiores correlações entre o HOOS-D e as escalas de validade foram observadas nas subescalas destinadas à medida de construtos similares em uma amostra de 39 pacientes com osteoartrite do quadril. Da mesma forma, Ornetti et al.[9] avaliaram as relações entre a versão francesa das subescalas HOOS, VAS para dor e o índice de Lequesne em uma amostra de 32 pacientes com osteoartrite do quadril. Uma forte correlação foi observada entre todas as subescalas HOOS e o índice de Lequesne ou VAS de dor que mediram construtos semelhantes.

A HOOS-BR avalia bem as incapacidades causadas pela osteoartrite, o que explica a forte correlação entre todas as subescalas da HOOS e a subescala de incapacidade de GCPS-BR.

Apesar do delineamento experimental cuidadoso do estudo, algumas limitações podem ser apontadas, como o recrutamento de pacientes em um único hospital universitário que pode não representar toda a população com osteoartrite do quadril. O curto intervalo entre as aplicações dos testes de confiabilidade também poderia implicar em um viés de memória. Outra limitação a ser considerada é o pequeno número de pacientes que retornaram para a avaliação de teste-reteste.

Conclusão

Em resumo, traduzimos, adaptamos culturalmente e validamos a HOOS-BR. A análise fatorial gerou uma solução de cinco fatores. A confiabilidade e a validade adequadas da escala foram demonstradas. Uma versão em português brasileiro da HOOS facilitará a avaliação do quadril em uma grande população de pacientes em estudos multinacionais.

Conflitos de interesse

Os autores declaram não haver conflitos de interesse.

• Referências

• 1 Machado GPM, Barreto SM, Passos VM, Lima-Costa MF. [Health and aging study: prevalence of chronic joint symptoms among the elderly in Bambuí]. Rev Assoc Med Bras (1992) 2004; 50 (04) 367-372
• 2 Goldring SR. Role of bone in osteoarthritis pathogenesis. Med Clin North Am 2009; 93 (01) 25-35 , xv
• 3 Poolman RW, Swiontkowski MF, Fairbank JC, Schemitsch EH, Sprague S, de Vet HC. Outcome instruments: rationale for their use. J Bone Joint Surg Am 2009; 91 (03) (Suppl. 03) 41-49
• 4 Saleh KJ, Mulhall KJ, Bershadsky B, Ghomrawi HM, White LE, Buyea CM. , et al. Development and validation of a lower-extremity activity scale. Use for patients treated with revision total knee arthroplasty. J Bone Joint Surg Am 2005; 87 (09) 1985-1994
• 5 Taylor MK, Pietrobon R, Menezes A, Olson SA, Pan D, Bathia N. , et al. Cross-cultural adaptation and validation of the Brazilian Portuguese version of the short musculoskeletal function assessment questionnaire: the SMFA-BR. J Bone Joint Surg Am 2005; 87 (04) 788-794
• 6 Klässbo M, Larsson E, Mannevik E. Hip disability and osteoarthritis outcome score. An extension of the Western Ontario and McMaster Universities Osteoarthritis Index. Scand J Rheumatol 2003; 32 (01) 46-51
• 7 Vaarbakken K, Ljunggren AE. Superior effect of forceful compared with standard traction mobilizations in hip disability?. Adv Physiother 2007; 9 (03) 117-128
• 8 Gossec L, Hawker G, Davis AM, Maillefert JF, Lohmander LS, Altman R. , et al. OMERACT/OARSI initiative to define states of severity and indication for joint replacement in hip and knee osteoarthritis. J Rheumatol 2007; 34 (06) 1432-1435
• 9 Ornetti P, Parratte S, Gossec L, Tavernier C, Argenson JN, Roos EM. , et al. Cross-cultural adaptation and validation of the French version of the Hip disability and Osteoarthritis Outcome Score (HOOS) in hip osteoarthritis patients. Osteoarthritis Cartilage 2010; 18 (04) 522-529
• 10 de Groot IB, Reijman M, Terwee CB, Bierma-Zeinstra SM, Favejee M, Roos EM. , et al. Validation of the Dutch version of the Hip disability and Osteoarthritis Outcome Score. Osteoarthritis Cartilage 2007; 15 (01) 104-109
• 11 Lee YK, Chung CY, Koo KH, Lee KM, Lee DJ, Lee SC. , et al. Transcultural adaptation and testing of psychometric properties of the Korean version of the Hip Disability and Osteoarthritis Outcome Score (HOOS). Osteoarthritis Cartilage 2011; 19 (07) 853-857
• 12 Ornetti P, Perruccio AV, Roos EM, Lohmander LS, Davis AM, Maillefert JF. Psychometric properties of the French translation of the reduced KOOS and HOOS (KOOS-PS and HOOS-PS). Osteoarthritis Cartilage 2009; 17 (12) 1604-1608
• 13 Nilsdotter AK, Lohmander LS, Klässbo M, Roos EM. Hip disability and osteoarthritis outcome score (HOOS)--validity and responsiveness in total hip replacement. BMC Musculoskelet Disord 2003; 4: 10
• 14 Beaton DE, Bombardier C, Guillemin F, Ferraz MB. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine 2000; 25 (24) 3186-3191
• 15 Hendricson WD, Russell IJ, Prihoda TJ, Jacobson JM, Rogan A, Bishop GD. , et al. Development and initial validation of a dual-language English-Spanish format for the Arthritis Impact Measurement Scales. Arthritis Rheum 1989; 32 (09) 1153-1159
• 16 Gorsuch RL. Factor analysis. Hillsdale: Erlbaum; 1983
• 17 MacCallum RC, Widaman KF, Preacher KJ, Hong S. Sample size in factor analysis: the role of model error. Multivariate Behav Res 2001; 36 (04) 611-637
• 18 The R Project for Statistical Computing [acesso em 20 de Janeiro, 2013]. Disponível em: http://www.r-project.org
• 19 Nunnally JC. Psychometric theory. New York: McGraw-Hill; 1978
• 20 Carroll LJ, Cassidy JD, Côté P. Depression as a risk factor for onset of an episode of troublesome neck and low back pain. Pain 2004; 107 (1-2): 134-139
• 21 Cassidy JD, Côté P, Carroll LJ, Kristman V. Incidence and course of low back pain episodes in the general population. Spine 2005; 30 (24) 2817-2823
• 22 Mercado AC, Carroll LJ, Cassidy JD, Côté P. Passive coping is a risk factor for disabling neck or low back pain. Pain 2005; 117 (1-2): 51-57
• 23 Von Korff M. Epidemiological and survey methods: assessment of chronic pain. In: Turk DC, Melzack R. , eds. Handbook of pain assessment. New York: Guildford Press; 2001: 603-618
• 24 Von Korff M, Stewart WF, Lipton RB. Assessing headache severity. New directions. Neurology 1994; 44 (06) (Suppl. 04) S40-S46
• 25 Smith BH, Macfarlane GJ, Torrance N. Epidemiology of chronic pain, from the laboratory to the bus stop: time to add understanding of biological mechanisms to the study of risk factors in population-based research?. Pain 2007; 127 (1-2): 5-10
• 26 Dixon D, Pollard B, Johnston M. What does the chronic pain grade questionnaire measure?. Pain 2007; 130 (03) 249-253