INTRODUÇÃO

No editorial de fevereiro de 2008, o editor científico da revista CLINICS informava, em alusão à citação de capa, que o periódico, com quatro anos de existência, havia sido indexado no Journal Citation Reports (JCR) do Institute for Scientific Informations (ISI)1. Ressaltava o editor que a inclusão na base de dados do ISI era a última indexação que faltava à CLINICS e, com ela, o Fator de Impacto (FI) da revista passaria a ser medido a partir de 2009. Destacava que FI extra-oficial da revista era 0,8, enfatizando que tal resultado, se confirmado, colocá-la-ia em boa posição frente às 23 revistas brasileiras indexadas naquela base de dados, dado o número restrito de revistas científicas nacionais com FI superior a 1,0.

Em recente comunicado, datado de 17/09/2009 e divulgado na internet para editores de revistas científicas e também para integrantes de seu mailing list, a revista Nature informava que havia alcançado o primeiro lugar no ranking de periódicos multidisciplinares de ciência, com um FI de 31,434 referente ao ano de 2008. Na sequência, vinham as revistas Cell, com FI de 31,253, e Science, com 28,103. Além do FI, outros dados bibliométricos também atestavam o sucesso da publicação. Ao final da mensagem, um desconto de 30% era oferecido a novos assinantes, como forma de comemorar o sucesso da revista, a mais bem classificada entre todas as da área.

Observa-se atualmente que o principal objetivo de editores científicos de revistas brasileiras2 é promover a inclusão do periódico nas bases de dados ISI e Medline, o que atesta o esforço para o aprimoramento da qualidade das publicações e a internacionalização evidente dos periódicos científicos brasileiros.

O propósito deste artigo é disseminar informações sobre os instrumentos bibliométricos mais importantes que vem sendo utilizados, em especial o FI, rememorando sua história e destacando sua relevância, mas também as restrições ao seu uso e sua influência nos meios acadêmico, editorial e científico.

Este texto contou com a participação de três editores científicos de revistas brasileiras que consideram relevante a divulgação dessas informações à comunidade científica e que destacam a necessidade de uma reflexão profunda sobre tema no contexto nacional.

Instrumentos bibliométricos

Bibliometria é o estudo dos aspectos quantitativos da produção intelectual, da disseminação e do uso da informação registrada3. A cientometria, por sua vez, é a ciência que se destina a analisar de forma abrangente a produção científica e tecnológica em diferentes áreas do conhecimento. Faz uso de diversos indicadores e instrumentos matemáticos para descrever e avaliar aspectos quantitativos dessa produção.

A cientometria é considerada um segmento da sociologia da ciência, sendo aplicada no desenvolvimento de políticas científicas. Envolve estudos quantitativos das atividades científicas, incluindo as publicações. Por conseguinte, sobrepõe-se à bibliometria3.

O FI é um dos instrumentos bibliométricos existentes, cujo objetivo precípuo é aferir a qualidade da produção científica, dos autores e das publicações, de modo a classificar presuntivamente os periódicos científicos inseridos no Journal Citations Reports do ISI4.

A adoção de formas padronizadas de codificação e organização de documentos para consulta e o uso objetivo das informações remonta a 1873, ano da criação do Shepards Citations, pela companhia de mesmo nome, localizada em Colorado Springs, EUA. O propósito da publicação era coletar documentações dos processos jurídicos em território norte-americano. Baseava-se em identificar precedentes que paulatinamente assomavam nos processos jurídicos que ocorriam nos 48 estados americanos existentes na época. Além desse periódico, a Shepards Citations Incorporation editava publicações especiais, dentre elas o Journal of the Patient Office Society5.

Em 1927, Gross e Gross sugeriram que fosse realizada a contagem do número das citações de cada artigo ou trabalho, com o objetivo de classificar e determinar a importância dos periódicos científicos da época6.

Em 1945, Vanevar Bush foi o primeiro autor a propor um método de coleta, sistematização e recuperação de dados7. Na sequência, teve início o Welsh Project, iniciativa do governo dos Estados Unidos que redundou na organização da National Library of Medicine tal como conhecemos atualmente. O projeto contou com a participação de Eugene Garfield5 que, em 1955, utilizou os conhecimentos advindos dessa experiência para idealizar o FI e fundar o ISI8. Logo em seguida foi publicado o Genetics Citation Index, que resultou na criação do Science Citation Index, em 1961, do qual derivou o Journal Impact factor, também conhecido como JIF ou simplesmente FI, um instrumento de seleção e avaliação de periódicos científicos9.

O cálculo do FI de uma revista em um determinado ano é obtido a partir do número de citações de seus artigos em todas as demais publicações, inseridas na base de dados do ISI dividido pelo número de artigos publicados por essa revista nos dois anos anteriores. Utilizando o exemplo da CLINICS, o primeiro fator de impacto da revista a ser publicado será em 2011, será relativo a 2010, sendo contabilizados para o cálculo os anos de 2009 e 2010.

Além do FI, existem mais de 30 índices bibliométricos e, dentre todos, o mais utilizado é o Índice de Imediatez (Ii), além do Índice de obsolescência, que retrata a vida média dos artigos do Journal of Citation Reports (JCR), que integra atualmente o portfólio da Thomson Reuters Company.

O Índice de Imediatez (Ii), também conhecido como Índice de Imediaticidade ou Fator de Impacto Imediato, refere-se à frequência com que os artigos de uma revista são citados por outras, no mesmo ano de publicação. Seu cálculo é simples e resulta da divisão do total de citações da referida revista nos demais periódicos abrangidos pelo ISI, pelo total de artigos publicados pela revista no mesmo ano. Pela primeira vez surge na literatura um índice entre aqueles já tradicionais que exprime com mais originalidade o número de artigos publicados por autor, o número total de citações e a avaliação do impacto das revistas em que os trabalhos são publicados.

O índice h é calculado com base na quantidade disponibilizado pelo ISI e é divulgado logo no primeiro ano de indexação de uma revista em sua base de dados.

Outro índice utilizado para quantificar a produtividade e o impacto da produção de cientistas, com base em seus artigos mais citados, é o índice h. Proposto em 2005 por Jorge E. Hirsch, seu primeiro propósito foi determinar a qualidade dos trabalhos de físicos teóricos. Paulatinamente, vem ganhando adeptos, embora ainda tenha de suplantar de artigos com um número de citações maior ou igual a um determinado valor. Para ter um índice h de 5, um pesquisador deverá ter publicado pelo menos cinco artigos com cinco ou mais citações.

O atributo principal da avaliação global da produtividade do autor independe do local de publicação. Assim, um autor que tenha publicado somente dois artigos, um deles na Nature, tendo conseguido um total de 238 citações, e outro em uma revista obscura e desconhecida, com duas citações, terá um índice h de 2, por não possuir mais de dois artigos com mais de duas citações.

Esta é a principal crítica ao índice h, pois o desempenho do autor poderá cair, mesmo com aumento de sua produção, a depender do local da publicação. "Publique para existir e seja citado para não desaparecer ou ser esquecido10." Isso leva o pesquisador a publicar para divulgar sua produção e ser citado para não ser esquecido".

O Fator de Impacto e a sua relevância

A fórmula para cálculo do FI tem como numerador o número de citações de artigos ou de comunicados científicos de um determinado periódico, no universo de todos periódicos nos dois anos anteriores, e como denominador, os artigos publicados pelo periódico no mesmo período9.

A importância do FI para o mercado editorial pode ser ilustrada pelo ocorrido com o Journal of the American Medical Association (JAMA), no início da década de 80. Considerado um periódico científico de grande prestígio na década de 60, o JAMA havia sofrido uma queda da popularidade.

George Lundberg, seu editor à época, ao constatar a redução do número de citações dos artigos da revista e consequente redução do FI, propôs mudanças na política editorial, que envolviam o conteúdo e a forma de submissão e de aceitação de artigos. Além disso, criou novas seções para a revista e passou a dedicar um grande cuidado na seleção dos artigos para publicação, principalmente aqueles passíveis de serem citados ou com potencial para entrar na composição do FI.

O editor também se tornou mais agressivo no contato com os autores considerados formadores de opinião, com o objetivo precípuo de atrair artigos para serem publicados no JAMA e citados em outros periódicos indexados na base de dados do ISI. Essa iniciativa, que se tornou clássica, ainda é o paradigma da atuação dos editores científicos no mercado editorial.

Outro aspecto a ser observado é o frisson com que os editores de revistas e publishers do mundo inteiro esperam a divulgação do FI na Philadelphia - USA, pelo ISI (apêndice), no meio do ano.

De uma simples medida da qualidade das revistas, ao longo do tempo o FI passou a ser utilizado como uma ferramenta acadêmica de avaliação da produtividade dos pesquisadores e também para obtenção de recursos para a pesquisa. Governos e agências de fomento de diversos países passaram a utilizar o FI como instrumento de decisão para alocação de recursos. Em suma, o FI tornou-se um guia da política científica.

Essa tendência foi observada durante vários anos no Reino Unido, onde o índice foi utilizado intensamente na pesquisa e na educação11,12. O mesmo está ocorrendo no Brasil, onde o FI evoluiu gradualmente para representar tanto o fator de impacto do periódico como um índice da produtividade dos pesquisadores. Atualmente, o índice é utilizado como ferramenta acadêmica e de classificação de pesquisadores e docentes que passaram a ser valorizados em função do número e do impacto de suas publicações.

A Coordenação de Aperfeiçoamento de Pessoal de nível superior (CAPES) publicou no ano passado uma nova forma de classificação e de estratificação dos periódicos científicos nacionais e internacionais. Em todas as áreas temáticas, essa classificação é composta de oito níveis, que vão de A1 e A2, considerados os mais altos, alcançados por poucas revistas, passando pelos níveis intermediários, B1 a B5, até o nível C, considerado o mais baixo13.

Nas bases de dados da National Library of Medicine, Pub Med/Medline, ISI e SciELO, Lilacs e outras. Para a estratificação, são utilizados parâmetros formais de avaliação de periódicos científicos, como formato, existência de número de registro no International Standard Serial Number (ISSN), periodicidade, conteúdo científico representativo, corpo editorial com qualificação, revisão pelos pares, além do seguimento das normas da Organização Mundial dos Editores Científicos (WAME), nova denominação do grupo de Vancouver. Outro aspecto avaliado foi a inserção dos periódicos.

Dentre os índices bibliométricos utilizados para estratificar as revistas, o mais importante é o FI. Seu uso colocou todos os periódicos nacionais da área de ciências da saúde abaixo de B2, por terem FI abaixo de 1,5. Os periódicos que não estão na base de dados da ISI foram considerados B4 e os que não estão na coleção SciELO, abaixo de B5.

Assim, o FI norteou a conduta do CAPES e esta passou a influenciar todos os programas de pós-graduação do país, que foram reclassificados. Programas de pós-graduação de várias instituições passaram a rever a produtividade do seu corpo docente e pontuar seus orientadores segundo a nova regra. Em vários deles, foram traçadas novas metas, obrigando orientadores e orientados a publicar seus resultados em revistas com classificação mais alta.

Algumas instituições têm exigido de seus alunos de doutorado publicações em revistas com classificação B1 ou superior, o que equivale à publicação em revistas com FI superior a 3,0. Em síntese, o FI passou a permear, dirigir e interferir na produção acadêmica e científica do país (quadro 1).




DISCUSSÃO

O FI foi idealizado como um índice bibliográfico para a literatura cientifica, com o objetivo de eliminar citações não criteriosas, fraudulentas, incompletas ou que contivessem dados obsoletos para uso acadêmico ou em futuros artigos8. Com o passar do tempo, entretanto, extrapolou essa função e, além de instrumento de qualificação de periódicos, passou também a ser o norteador de medidas educacionais, acadêmicas e de base em muitos países, como o Brasil, e também um parâmetro para orientar as decisões das agências de fomento científico na concessão de verbas a pesquisadores.

Na última década, a popularização do FI distorceu as decisões editoriais. Publicaram-se maus manuscritos, com erros considerados infames, porém passíveis de serem citados em periódicos com alto FI, em detrimento de outros de alto valor científico. Há autores que consideram que o FI exerce influência negativa preocupante, não só para os periódicos científicos, mas para o próprio desenvolvimento da ciência.

A forma de contagem e de determinação utilizada pelo FI, segundo vários autores, é mal construída e mal utilizada como medida de qualidade científica. Enumeramos a seguir alguns pontos comumente aventados para justificar a assertiva dos que consideram o índice inapropriado10,14-16:

A qualidade do material publicado não pode ser aferida através do tempo. A quantificação das citações pelo período de dois anos é arbitrária e foi determinada pelo ISI. Os artigos que compõem o denominador do cálculo do FI também são determinados pelo ISI e a regra de escolha desses artigos não é clara.

O número dos periódicos incluídos na base de dados é mínimo, em relação ao que na realidade é publicado.

Os artigos de revisão são geralmente os mais citados, em comparação aos artigos originais, o que favorece os periódicos que optam pela publicação desse tipo de contribuição, como parte de sua estratégia editorial.

O FI não discrimina as citações dos próprios autores, que representam cerca de 1/3 de todas as citações contabilizadas.

Erros são habituais nas listas de referências e isto ocorre em aproximadamente 1/4 de todas as referências citadas nos artigos, o que prejudica inevitavelmente a acurácia do FI.

Assumir que há correlação positiva entre as citações e o artigo produzido é equivocado, pois muitas vezes o artigo cita outros de fonte e qualidade duvidosas. A citação não pode ser considerada garantia de qualidade nem do artigo original, nem do citado.

As críticas exacerbadas em relação ao FI residem no fato de que o mesmo não deve ser utilizado como ferramenta de avaliação de pesquisa16,17, por seu tecnicismo excessivo, não relacionado com a qualidade científica ou o conteúdo dos artigos.

Além dos óbices já citados, o FI depende da área de abrangência de publicação da revista. As perspectivas dos periódicos das áreas básicas são melhores, quando comparadas às de outros que não estejam votadas para temas de sucesso ou de evidência em um determinado momento16, como ocorre atualmente com a área de terapia celular ou de células tronco.

Entretanto, as políticas editoriais exercem grande influência na evolução do FI das revistas científicas18. Em uma análise de sete periódicos médicos gerais (Arch Intern Med, BMJ, CMAJ, JAMA, Lancet, Med J Aust o N Engl J Med), em um período de 12 anos18, revelou que os editores participaram ativamente, captando artigos com alto impacto e oferecendo facilidades a determinados autores.

Por exemplo, no Swiss Medical Weekly (SMW) é comum encontrar ofertas de suporte de estatística e outras facilidades para atrair contribuições. A revista, ademais, alardeia que o seu FI ultrapassou a 1,5 e continua crescendo, o que estimula o envio de contribuições.

Essa política vem sendo contestada, assim como determinadas abordagens que ultrapassam os limites da ética, com o objetivo claro de manipular o FI19.

No primeiro caso, um hematologista acusou o editor de um periódico científico de tê-lo obrigado a inflar o número de referências com artigos publicados na revista. Em outro, editores associados de uma revista foram denunciados por obrigarem um autor a citar artigos irrelevantes no original que havia submetido. Há autores que alegam receber solicitações de editores para citar artigos submetidos a outras revistas. São mencionados ainda casos de inclusão nas referências de cartas ao editor19.

Na esteira desta discussão, várias propostas de substituição ou de modificação do uso do FI tem sido aventadas. Uma delas é do coeficiente de peso, o Weight Impact factor20., índice não difere muito do FI tradicional, mas valoriza os artigos publicados em revistas peso > de 1 e utiliza um período de três anos para avaliação, diferenciando e valorizando os artigos originais. Outra alternativa é o índice de prestígio ou Prestige factor (Pf), na mesma linha do anterior.10.

Apesar de todas as críticas, em 2006 o JCR analisou 6.088 periódicos, com um aumento de 32% no período de 10 anos21. Constatou que de fato houve um incremento recente e maior flexibilidade em aceitar novos periódicos, principalmente da América Latina, até então pouco representada no ISI22.

Considerado uma ferramenta imperfeita para aquilatar a produção científica do ponto de vista qualitativo, o uso o FI para avaliação dos pesquisadores tampouco é isento de riscos21,23. Para essa finalidade, a associação de ferramentas bibliométricas é fundamental24-26. Estudos têm demonstrado que existe algum grau de associação com as novas metodologias decorrentes do aumento do número de revistas eletrônicas e do acesso cada vez mais frequente aos artigos por esse meio27,28.


CONCLUSÃO

Ainda que sejam muitas as opiniões conflitantes sobre o FI29,30, existe um consenso desse índice, embora não seja uma ferramenta perfeita para medir a qualidade de um artigo ou a produção científica de docentes e pesquisadores, ainda não existe nada melhor30. Assim, o FI deve ser considerado como um recurso técnico viável para a avaliação científica.


REFERÊNCIAS BIBLIOGRÁFICAS

1 - Rocha e Silva M. In the February, 2008 issue of clinics. CLINICS 2008;63(1):1-2.

2 - Procianoy RS. The journal impact factor today. J Pediatr 2007;83(6):487.

3 - Tague-Sutcliffe J. An introdution to informetrics. Information processing & management 1992;28(1):1-3.

4 - Garfield E. Journal Impact factor: a brief review. CMAJ 1999;161(8):979-80.

5 - Smith DR. Historical Development of the journal impact factor and its relevance for occupational health. Industrial Health 2007;45:730-42.

6 - Gross PLK, Gross EM. College libraries and chemical education Science 1927;66:385-89. In Smith - Historical Development of the journal impact factor and its relevance for occupational health. Industrial health 2007;45:730-42.

7 - Bush V. As we may think. Atlantic montly 1945; 176:101-108. In Smith DR. Historical Development of the journal impact factor and its relevance for occupational health. Industrial Health 2007;45:730-42.

8 - Garfield E. Citation Indexes for Science. Science 1955;122:108-11.

9 - Garfield E. The history and meaning of the journal of the impact factor. JAMA 2006;295(91):90-3.

10 - Walter G, Bloch S, Hunt G, Fisher K. Counting on citations: a flawed way to measure quality. MJA 2003;178:280-1.

11 - Brown H. How impact factors changed medical publishing - and science. BMJ 2007;334:561-4.

12 - López-Abente G, Muñoz-Tinoco C. Time trends in the impact factor of public health journals. BMC public health 2005;5:24. DOI: 10.1186/1471-2458-25-24.

13 - Brasil Ministério da Educação-MEC Coordenação de Aperfeiçoamento de Pessoal de Nível Superior - CAPES, Diretoria de Avaliação, Reestruturação do Qualis 2008. www.capes.gov.br

14 - Greenwood DC. Reliability of journal impact factor rankings. BMC Medical Research Methodology 2007;7:48:1-6.

15 - Colquhoun D. Challenging the tyranny of impact factors. Nature 2003;423(6939):479.

16 - Seglen PO. Why the impact factor of journals not be used for evaluating research. British Medical Journal 1997;314(7079):498-502.

17 - Ha TC, Tan SB, SooK C. The journal impact factor: too much of an impact. Ann Acad Med Singapore 2006;35:911-6.

18 - Chew M, Villanueva EV, Van der Weyden MB. Life and times of the impact factor: retrospective analysis of trends for seven medical (1994-2005) and their editors views. J R Soc Med 2007;100:142-50.

19 - Sevinc A. Manipulating impact factor: an unethical issue or an editor´s choice? Swiss Med Wkl 2004;134:410.

20 - Habibzadeh F, Yadollahie M, Journal weighted impact factor: A proposal. Journal of Informetrics 2008;2:164-72.

21 - Andersen J, Belmon J, Cho CT. Journal impact factor in the era of expending literature. J Microbiol Immunol Infect 2006;39:436-43.

22 - Tellez-Zenteno JF, Morales-Buenrostro LE, Estanol B. Análisis del factor de impacto de las revistas científicas latinoamericanas Rev Med Chile 2007;135:480-7.

23 - Saha S, Saint S, Christakis DA. Impact factor: is a valid measure of journal quality? Med Libr Assoc 2003;91(1):42-6.

24 - Strehl L. O fator de impacto do ISI e a avaliação da produção científica aspectos conceituais e metodológicos. Ciência da
informação 2005;34(1):210-4.

25 - Coura JR, Willcox LCB. Fator de impacto produção científica e qualidade das revistas médicas brasileiras. Memórias do Instituto Oswaldo Cruz 2003;98(3):293-7.

26 - Mugnaini R. Caminhos para adequação da avaliação da produção científica brasileira: Impacto nacional versus internacional. Tese de doutorado apresentada ao Programa de Pós-graduação em Ciência da Informação, Escola de Comunicações e Artes da Universidade de São Paulo, 2006, São Paulo-253 p.

27 - Piwowar HA, Day RS, Fridsma DB. Sharing detailed research data is associated with increased citation rate. ThePlosONE2007;2(3)e308.doi:10.101371/journal. pone.0000308.

28 - Harnard S, Carr L. Earlier Web usage statistics as predictors of later citation impact. Journal of the American society for information science 2006;57(8):1060-72.

29 - Frank M. Impact factor: arbiter of excellence? J Med Libr Assoc 2003;91(1):4-6.

30 - Hoeffel C. Journal Impact factors. Allergy 1998;53:1225.










1. Editor da Revista Latino Americana de Marcapasso e Arritmia (Relampa).
2. Editor da Revista Brasileira de Hematologia e Hemoterapia (RBHH).
3. Editor da Revista Brasileira de Cirurgia Cardiovascular.

Endereço para correspondência:
Dr. Oswaldo Tadeu Greco
Rua Castelo d'Água, 3030 - Redentora
São José do Rio Preto - SP
E-mail: oswaldogreco@terra.com.br

Trabalho recebido em 08/2009 e publicado em 12/2009.



Anexo 1

Impact Factor confirms Nature is top research journal

Sexta-feira, 17 de Julho de 2009 12:14.

Impact Factor confirms Nature is top research journal. Journal is highest-ranked multidisciplinary science title once again.

Nature maintains its position as the number one weekly science journal, with a new Impact Factor of 31.434*.

Up from 28.751 last year, the new Impact Factor places Nature ahead of Science (28.103) and Cell (31.253), according to the 2008 Journal Citation Report (JCR). Nature also has the highest Eigenfactor; na alternative measure of journal impact, of all 6598 journals included the 2008 JCR.

The impact factor is a measure of the frequency with which the average article in a journal has been cited in a particular year. The impact factor helps to evaluate a journal's relative importance, especially when compared with others in the same field.

In a separate indicator of excellence, Nature was last week named 'journal of the century' by the BioMedical & Life Sciences Division (DBIO) of the Special Libraries Association (SLA). Voted for by DBIO's 686 members, the award was given to celebrate SLA's Centennial and recognizes the most influential journal of the last 100 years (1909-2009).

To celebrate we are offering you an exclusive 30% discount if yousubscribe to Nature this week.**

http://links.ealert.nature.com/ctt?kn=19&m=33636304&r=MTc3MTE5NDg5NwS2&b=2&j=NTMzOTU5MzQS1&mt=1&rt=0

*2008 Journal Citation Report (Thomson Reuters, 2009)

**applies to personal subscriptions only, taken before 1st July 2009