Les dix façons les plus courantes de rater la publication d'un article scientifique

Ecrivains consult - Texte 4 mains

Un récapitulatif des dix façons les plus courantes par lesquelles les propositions d'articles, à la fois qualitativement et quantitativement, échouent à répondre aux exigences de publication.

Par la rédactrice en chef du Journal for the Scientific Study of Religion (JSSR).

  

 Par Marie Cornwall

 

Depuis le début de mon activité de rédacteur en chef, j'ai lu près de 600 articles et notes de recherche. Avoir l'occasion d'éditer un journal comme le Journal for the Scientific Study (JSSR) of Religion donne une vue plongeante sur les forces et les faiblesses du champ de la sociologie des religions ainsi que sur ce qui constitue une solide contribution à la littérature scientifique et sociologique sur la religion. Ce que je propose ici est un récapitulatif des dix façons les plus courantes par lesquelles les propositions d'articles, à la fois qualitativement et quantitativement, échouent à répondre aux exigences de publication. Ces problèmes peuvent parfois être surmontés par une révision du texte avant de le proposer de nouveau. Les auteurs augmenteraient leurs chances d'acceptation et réduiraient le temps entre la proposition et la publication en faisant dès maintenant attention à quelques problèmes courants.

1°) A propos du titre et du résumé. Un titre engageant ainsi qu'un résumé concis et informatif sont d'une importance vitale pour le processus d'évaluation. Ce sont là les seules introductions que les évaluateurs potentiels reçoivent quand ils sont invités à lire un manuscrit. Ils sont occupés, et ont souvent déjà des manuscrits à revoir. Un titre informatif et un résumé bien écrit vont augmenter l'appétence suscitée par votre travail. Un rapport immédiat entre le lecteur et votre manuscrit entraînera une meilleure évaluation. Un résumé mal écrit signale un travail mal écrit ; et les lecteurs ne veulent pas lire de papiers mal écrits.

Les titres doivent contenir des mots clés signalant clairement le sujet de l'article. Il est à noter que les titres accrocheurs se retournent parfois contre leur auteur. Plus le titre est accrocheur, plus les mots clés peuvent manquer et plus il devient difficile de trouver des lecteurs. Par ailleurs, l'emploi de mots-clés appropriés dans un titre et un résumé va garantir que le manuscrit, une fois publié, sera bien référencé par les moteurs de recherche. L'article est alors lu et cité plus souvent.

2°) Ce que vous proposez « à emporter ». Pourquoi votre travail devrait-il être publié ? En quoi aide-t-il à l'accumulation de connaissance ? Pourquoi le lecteur devrait-t-il continuer à le lire ? Il y a deux façons d'être certain que ce que vous proposez « à emporter » est adéquat.

En premier lieu, on devrait trouver dans les quatre premières pages un paragraphe qui dise quelque chose comme : « cette recherche contribue à la littérature sur ... en ... ». Comme dans un bon conte ou dans une nouvelle, l'auteur devrait fournir quelques indications sur ce que l'on va trouver si l'on continue à lire. Plus cet exposé est direct plus le travail sera facile à évaluer. Si les lecteurs savent ce que le ou les auteurs essaient d'accomplir, ils seront plus aptes à juger si le travail atteint ses objectifs. Un bon indicateur de la façon dont le « produit à emporter » a été articulé est la diversité des réponses des lecteurs à un article. Quand l'auteur n'est pas au clair sur le rôle et l'angle de son projet, chacun offre sa propre perspective sur la direction que prend cet article. Quand j'entends de jeunes chercheurs se plaindre du fait que les lecteurs sont « partout », je conjecture qu'une partie du problème tient au fait que l'objet ainsi que l'intention de l'auteur ne sont pas clairs.

Prenez par exemple, le troisième paragraphe dans Lim, MacGregor et Putnam (un article publié dans le même numéro du JSSR – NDT). Ils évaluent de façon franche la contribution de leur article :

"Using a new panel data set on American religiosity, we take a more dynamic approach to the study of nones and look at the short-term stability of this self-identification among the same people interviewed twice over a two-year period. We introduce the idea of liminality as a framework for understanding the short-term instability of religious preferences. (2010:597)"

En second lieu, la conclusion doit commencer avec une proposition du type : « l'objet de cette recherche était de ... et nous avons fait ainsi en ... ». Un bon exemple de ce type de récapitulatif apparaît également dans Lim, MacGregor et Putnam :

"In this study, we have tried to advance our understanding of religious nones, the fastest growing religious category in America, by examining the stability of their religious identity with new panel data. Many studies have observed that the number of nones in national surveys has increased rapidly, but disagreed on why they claim the "no religion" preference and what their increasing number means for religion in America. (2010:613)"

Se concentrer sur ce qui est "à emporter" est plus important que l'on pourrait imaginer. Suivre ce schéma aide l'auteur à connecter les différents points de son propos. Trop souvent, les auteurs écrivent une conclusion qui s'éloigne des résultats, esquissant des propositions étayées de façon inadéquate par les données de l'article. Mais, si l'auteur dans la conclusion revient sur l'objectif originel et sur la façon dont celui-ci est atteint, il se place suffisamment lui-même dans le processus scientifique pour résister au fait d'aller au-delà des données. S'il y a un domaine dans lequel les jeunes universitaires n'ont pas reçu assez d'entraînement, c'est bien dans l'écriture des conclusions de leurs articles de recherche.

3) Théories, cadres de référence et perspectives. Je demande aux lecteurs de répondre par oui ou par non à la question suivante : ce manuscrit apporte-t-il une contribution théorique substantielle ? Neuf fois sur dix, les lecteurs me répondent "non". Une réponse négative ne s'oppose pas forcément à la révision et à la resoumission, voire à la publication d'un article. Cependant, ce qui nous est soumis pêche souvent de ce point de vue là. Trois problèmes sont particulièrement communs.

Premièrement, le(s) auteur(s) ne disent rien sur ce qui a guidé la sélection des variables, la stratégie d'analyse ou la construction des conclusions. Le destin de ces papiers est d'être rejeté par les lecteurs. Même si l'article est éventuellement publié comme note de recherche, on n'en reste pas moins tenus d'offrir aussi bien une explication adéquate des assertions que l'on défend que de la façon dont ont a procédé à l'analyse.

En second lieu, des auteurs peuvent se réclamer d'une théorie, mais l'appliquer incorrectement, démontrant ainsi un manque de connaissance du champ lui-même ou de la direction vers laquelle s'oriente le savoir à ce moment là. Dans certains cas, les lecteurs recommandent parfois aux auteurs de réduire leur article à une note de recherche, particulièrement si les conclusions en sont intéressantes et pourraient, appuyées par des recherches empiriques, guider de futurs travaux.

Dans le troisième cas de figure, les auteurs présentent clairement une théorie, identifient des éléments de validation et spécifient des hypothèses. L'interprétation des résultats et analyses restent cependant au niveau du test des hypothèses et de l'association entre variables. C'est que les auteurs oublient de revenir à leur théorisation originelle : leurs conclusions sont uniquement construites relativement à leurs résultats empiriques. Par conséquent, le travail ne contribue pas à l'avancée théorique dans la mesure où l'intérêt des auteurs porte avant tout sur la façon dont une variable A va prédire une variable B ; ainsi l'objectif originel de l'article est-il négligé. De la même façon que Thomas et Olson (ce numéro), les auteurs devraient discuter des résultats empiriques puis débattre des implications de ces résultats sur la théorie qui a guidé la recherche.

On pourrait présumer que mon attention a jusque là plutôt porté sur la recherche quantitative, avec un intérêt moindre pour la recherche qualitative. Les auteurs des articles d'orientation qualitative sont pourtant aux prises avec les mêmes problèmes que les auteurs d'articles quantitatifs – restant collés au niveau descriptif et négligeant la tâche bien plus difficile de prendre une connaissance descriptive (corrélation, associations, ratios inhabituels dans la recherche quantitative et description des processus sociales dans la recherche qualitative) et de la traduire en propositions théoriques. Les articles qualitatifs qui ont cours sur les développements théoriques et dont la description est très longue sont rejetés par les lecteurs. On voit bien le type d'interprétation requise par la recherche qualitative dans les conclusions dessinées par Konieczny (2009) dans son étude sur la culture matérielle du culte public et celle des maisons des membres de congrégation. Elle écrit :

"This study also reveals support for the "strong view" of material culture. People clearly used material culture in both church and home settings to express identities, but they also used objects in cultivating and shaping themselves, and they did this in several different ways. In both parishes, parishioners drew explicit connections between their religious faith and how they chose to organize and ornament their homes; significantly, this was more common at Assumption, whose family ethos explicitly locates religion first in the home, in contrast to locating religion in community as St. Brigitta does. They expressed religious identities in the religious objects they displayed in their homes. Leaders and parishioners in both settings used the environment and arts of worship to intentionally shape their dispositions and their children's. Similarly, in each setting parishioners used the material aspects of their homes both to express identities and, especially, to socialize children to particular familial and religious identities. (2009:440)"

Marti (2009) fait la même chose dans la discussion sur les implications de son article sur l'intégration raciale et religieuse au sein de diverses congrégations. Les riches données descriptives présentées dans son compte rendu des conclusions sont insuffisantes sans son évaluation claire des implications à un niveau plus abstrait :

"Evidence from Mosaic and Oasis suggests that the experience of becoming a member of a multiethnic/multiracial congregation reorients personal identity such that people of various ethnic and racial heritages subdue their ethnoracial distinctions in favor of a common religious identity that forms the basis for affiliation with their congregation and structures these cross-ethnic interactions as nondisruptive. Multiracial churches access a textured, multifaceted identity found among people in highly urbanized contexts, and members discover places within the congregation to express personal values and desires. (2009:62)"

4°) Aller au-delà des données. Peut-être que l'erreur la plus commune que font les universitaires est de dessiner des conclusions qui vont au-delà des données. Parfois, aller au-delà des données est lié à une erreur dans l'interprétation ou dans les assertions de causalité (discutées ci-après). Le problème, parfois, est simplement une attention insuffisante à la logique de la recherche, aux résultats et aux conclusions. Je n'en ai malheureusement pas de bon exemple. Quand les auteurs vont au-delà des données, soit les articles sont rejetés par les lecteurs soit les problèmes sont réglés à l'occasion d'une seconde révision. Que l'on croie ou non en un processus scientifique libéré des questions de valeurs, l'insertion de valeurs personnelles est en tout cas souvent bien plus apparente quand les auteurs prennent des libertés avec les données et proposent des conclusions qui ne sont pas étayées.

5) Assertions de causalité. Etablir une causalité est toujours un problème, encore plus dans une recherche qui repose fortement sur des données transversales. Le risque est de porter une attention insuffisante aux enjeux de causalité qui peuvent avoir peu à voir avec les données disponibles. Les auteurs admettent souvent le problème des inversions de causalité, insérant souvent un caveat à la place appropriée dans leur article. Cependant, deux autres points reçoivent une attention inadéquate. Le premier est si l'association entre deux variables est du à une conceptualisation inadéquate de constructions multidimensionnelles. Les chercheurs sont confrontés à cette question dans beaucoup d'études sur la religion et le bien-être. L'estime de soi, le sentiment de maîtrise, le contrôle divin, le bien-être, la santé, etc... peuvent tous constituer différentes dimensions de la même construction. Souvent, les chercheurs signalent le coefficient de fiabilité de telles échelles, mais négligent le facteur des stratégies analytiques qui pourrait établir le degré d'indépendance parmi ces constructions.

Le second point est une considération inadéquate apportée aux effets d'une variable tierce. L'inclusion de mesures de contrôle standard atténue ce problème jusqu'à un certain point, mais certains articles soumis contiennent des associations a deux variables sans aucun de ces contrôles. Ceux-ci sont rejetés par les lecteurs. Même ainsi, l'inclusion de mesures de contrôle standard ne tiens pas toujours compte des effets de variable tierces. Les développements méthodologiques doivent être attentifs à la modération et à l'équilibrage entre effets des variables. Finalement, les effets variables manquants sont souvent évidents dans les articles proposés. Autrement dit, les associations entre deux variables disparaîtraient probablement si une variable cruciale manquante était incluse dans l'analyse.

6) L'analyse des données quantitatives : erreurs dans l'interprétation. Beaucoup de manuscrits souffrent d'erreurs d'interprétation. Les erreurs les plus communes sont l'interprétation de variables binaires, les effets d'interactions (surtout dans l'analyse log-linéaire) et l'inattention portée aux données manquantes. L'erreur la plus commune est l'emploi de variables binaires pour tester les effets d'une affiliation religieuse sur une variable dépendante. L'absence de préférence religieuse dans le groupe de référence et souvent les coefficients pour tous les groupes religieux sont statistiquement significatifs. Des auteurs en concluent, par exemple, que les évangéliques sont significativement différents des Catholiques (par exemple). Cependant leur emploi de variables binaires n'a d'effet que pour savoir si chacune des variables relatives à l'affiliation religieuse n'a d'effet que comparé à l'absence d'affiliation religieuse. Il est étonnant que les lecteurs passent souvent à coté de cette anomalie.

Les interactions sont souvent difficiles à interpréter, particulièrement dans les analyses log-linéaires, mais aussi dans les analyses à régression multiples qui incluent un certain nombre d'ensembles de variables binaires.

Ottoni-wilhelm (2010) met en garde les chercheurs sur l'emploi de modèles totalement en interaction, notant que des erreurs d'interprétation des effets peuvent advenir lorsque les chercheurs mettent en relation une mesure de religiosité avec l'appartenance à une dénomination religieuse et pas avec une autre. Les données manquantes sont toujours un problème dans l'analyse quantitative. Les auteurs portent souvent une attention insuffisante aux implications de cette absence dans leurs résultats de recherche. Il y a, bien sûr, des méthodes pour imputer les valeurs manquantes, mais il est préoccupant de savoir que celles-ci peuvent biaiser les résultats dans des directions imprévues. Les documents publiables doivent fournir des rapports descriptifs de la population de l'échantillon par rapport aux caractéristiques de la population générale telles que l'âge, l'éducation, et la race. Les documents publiables doivent également inclure des déclarations claires sur la façon dont la perte de données, lorsque vous utilisez la technique de la valeur manquante (« list-wise deletion »), modifie les caractéristiques de l'échantillon. Comme davantage de panel d'études deviennent disponibles, les chercheurs doivent être attentifs à examiner comment les caractéristiques de l'échantillon changent comme un résultat du biais des non-réponses dans la seconde ou troisième phase de collecte des données. Comment les caractéristiques de l'échantillon changent-t-elles au fil du temps et alors que les répondants abandonnent leur participation à l'étude ?

7) L'analyse des données qualitatives : convainquez-moi. Le seul problème des articles de recherche qualitative surgit quand on en vient à interpréter les données. En premier lieu, les auteurs négligent souvent de fournir une description concise du contexte au sein duquel existent les processus sociaux qu'ils décrivent. Qui sont les individus dont on parle et où vivent-ils ? Au niveau des congrégations, d'autres caractéristiques doivent être signalées, comme la taille, la classe sociale, la diversité raciale, la dimension métropolitaine ou suburbaine, etc...

En second lieu, il faut convaincre les lecteurs que les conclusions présentées sont appuyées par les données. En fournissant des citations ou en décrivant des interactions, l'auteur doit donner la preuve que les données présentées dans l'article représentent les significations sociales et les compréhensions que les acteurs ont et non pas celles de ou des auteurs. Enfin, beaucoup de chercheurs se méprennent sur ce qui constitue la recherche qualitative et spécialement la théorie ancrée (« grounded theory »). La recherche qualitative demande une analyse de la part du chercheur ; c'est là bien plus que le compte-rendu des vues des divers répondants sur des processus sociaux. Quand un travail qualitatif reste au niveau descriptif, avec peu d'analyse et encore moins d'abstraction au niveau des phénomènes sociaux ou de construction théorique, les lecteurs recommandent un rejet. Deux lectures très utiles sur la recherche qualitative publiées dans un article de notre revue sont fournies par Gephart (2004) et Suddaby (2006).

8) Ampleur des effets. Voyez la cinquième proposition de Chris Smith (dans ce numéro), pour une excellente discussion des effets du manque d'attentions à l'ampleur des effets. Trop d'auteurs se concentrent sur le test des significations et le nombre d'astérisques derrière un coefficient ; trop peu considèrent l'ampleur de l'effet. En outre, les lecteurs tendent à glisser sur de tels problèmes. Ma préférence, cependant, est de demander aux auteurs de ne pas considérer seulement la signification statistique d'un effet, mais d'estimer plus spécifiquement en quoi et combien cet effet importe.

9) Contribuer à un corpus de connaissance ? Ou butiner de revue en revue ? Publier de la recherche est fondamental pour le processus scientifique mais, étant donné les pressions de la vie académique, certains chercheurs publient juste pour publier. La plus grosse erreur que peuvent faire des chercheurs est d'ignorer les commentaires des lecteurs sur un manuscrit rejeté et de juste l'envoyer à la prochaine revue sur la liste. C'en est une pour plusieurs raisons. En premier lieu, le vivier de lecteurs est limité. La probabilité qu'un éditeur mobilise les mêmes lecteurs sur la deuxième ou la troisième proposition du même article dans différentes revues est relativement élevée. A l'occasion, alors, le même lecteur examinera le même article pour deux revues différentes. Si cet article proposé n'a pas bénéficié des remarques qui lui auront été faites précédemment, il lui accordera le plus souvent moins de considération lors de la seconde lecture. Si le ou les auteurs n'ont pas répondu à la première volée de suggestions, comment pourrait-on savoir s'ils répondraient à la seconde ? Ignorer les réponses des lecteurs avant d'envoyer un manuscrit à un journal augmente le risque d'un second rejet.

En second lieu, les revues ont leur propre niche scientifique. Un papier proposé au JSSR qui ne contienne pas d'autres références à des articles de cette revue a en fin de compte moins de chances de succès. Trouver des lecteurs serait alors difficile, puisque les lecteurs les plus appropriés seraient susceptibles de ne pas être familiers du JSSR. En outre, le manque de références issues du JSSR signale un manque de familiarité avec l'étude scientifique sociale de la religion. On ne peut contribuer à la cumulativité d'une recherche si l'on manque du sens du champ lui-même.

Troisièmement, des références trop anciennes signalent aux relecteurs ainsi qu'à l'éditeur que l'auteur ne contribue pas à la cumulativité de la connaissance – comment cela est-il possible si toutes les références ont plus de dix ans ? En outre, les auteurs proposent parfois des articles truffés de références à leurs propres recherches. D'un coté, cela rend une évaluation en aveugle difficile. Mais plus spécifiquement, cela sous-entend que l'auteur n'accorde aucune attention à ce que les autres sont en train d'écrire – qu'il n'accorde en fait aucune attention au processus d'accumulation de la science.

10°) Qualité d'écriture. Même si un manuscrit évite tous les problèmes évoqués ci-dessus, si l'écriture est d'une pauvre qualité ou si le papier manque de structure, les chances de publications en sont limitées. Par certains aspects, pourtant, les articles bien écrits sont trompeurs et les lecteurs préfèrent parfois recommander des manuscrits qu'ils peuvent comprendre par rapport à ceux nécessitant un bon travail d'édition. Pour éviter cela, ne proposez jamais un article qui n'ait pas été lu par d'autres dans le champ. Les jeunes chercheurs qui réussissent le mieux recherchent les suggestions et prennent les recommandations au sérieux. Une bonne plume nécessite un réseau d'amis dans le monde universitaire capables de vous dire au juste si l'article fonctionne ou non.

La qualité des articles proposés va en augmentant, ainsi que le nombre de propositions par an. Les soumissions d'articles continuent à augmenter d'environ dix pour cent chaque année. Etant donné la demande croissante sur les éditeurs de revue et les lecteurs, cela pourrait être le bon moment pour lancer une discussion sur les façons de réformer la publication d'articles en sciences sociales des religions. Christian Smith suggère cinq propositions pour augmenter la qualité, la valeur et la cumulativité de notre discipline. En tant que membre du comité éditorial, lui et d'autres ont commencé une discussion très utile. A la fin du 49ème volume du JSSR et en préparation du 50th volume, je pense qu'il est opportun de publier ses propositions.

Marie Cornwall

Décembre 2010

Traduit de l'anglais par Matthieu Ollagnon, avec l'aimable autorisation de l'auteur.

Références


Gephart, Robert P. 2004. From the editors: Qualitative research and the Academy of Management Journal. Academy of Management Journal 47(4):454–62.

Konieczny, Marie Ellen. 2009. Sacred places, domestic spaces: Material culture, church, and home at Our Lady of the Assumption and St. Brigitta. Journal for the Scientific Study of Religion 48(3):419–22.

Marti, Gerardo. 2009. Affinity, identity, and transcendence: The experience of religious racial integration in diverse congregations. Journal for the Scientific Study of Religion 48(1):53–68.

Ottoni-Wilhelm, Mark. 2010. "Giving to organizations that help people in need: Differences across denominational identities". Journal for the Scientific Study of Religion 49(3):389–412.

Suddaby, Roy. 2006. From the editors: What grounded theory is not. Academy of Management Journal 49(4):633–42.

Biographie de l'auteur


Marie Cornwall est professeur de sociologie à la Brigham Young University et rédactrice en chef du Journal for the Scientific Study of Religion. Elle travaille sur les différents processus de changement social et culturels.

Référence de l'article en anglais


Cornwall, Marie, Ten Most Likely Ways an Article Submission Fails to Live up to Publishing Standards, Journal for the Scientific Study of Religion, Volume 49, Issue 4, pages i–v, December 2010

Pour citer cet article


Marie Cornwall, Les dix façons les plus courantes de rater la publication d'un article scientifique, trad. de l'anglais (US) par Matthieu Ollagnon (Ten Most Likely Ways an Article Submission Fails to Live up to Publishing Standards, Journal for the Scientific Study of Religion, Volume 49, Issue 4, pages i–v, December 2010), Incursions n°7, 2nd semestre 2012, http://www.incursions.fr

Image : « Discussion about the text » de Jérôme Dessommes