査読の仕方についての覚書。初めて査読をすることになり、どうして良いかわからないような人向けに書いてある。分野、雑誌、個人によって流儀が異なるので、全てを鵜呑みにしないで欲しい。なお、私の専門は数値計算であり、主な査読経験はPhys. Rev.系、J. Chem. Phys.、そしてJPSJなどである。
査読システムに登場するプレイヤーは三種類、「著者」「エディタ」「査読者」である。
論文が投稿されると、まずエディタと呼ばれる研究者が論文を受け取る。エディタはその論文を読み、適切な査読者を選んで査読を依頼し、査読レポートを著者に送り、著者の反応を見て、最終的にその論文を出版するかどうか判断する。この一連の処理の責任を負うことを「ハンドルする」と呼んだりする。査読システムは著者と査読者のやりとりが主となるが、論文の生殺与奪権はエディタが握っており、実は最重要プレイヤーである。
著者は論文を執筆すると、適切と思われる雑誌に投稿する。多くの場合、査読者の候補リストをつけることを求められる。エディタはそのリストを参考にして査読者を選ぶ。査読レポートが返ってきたら、修正すべき点は修正し、反論すべき点は反論して、最終的に論文が出版されることを目指す。
査読者は、エディタから論文を受け取り、査読レポートを書く。論文が出版に値するか、条件付き出版とするならその条件はなにか、出版できないならその理由はなにかを書く。
査読の一連の流れからわかるように、論文を出版するかどうか最終的に決めるのはエディタである。したがって、査読レポートはエディタに対して書く。もちろん形式上は著者に対してのレポートとなるが、査読レポートの役割が「エディタが出版の決断をするための資料」である以上、その論文の重要性や問題点が「エディタに」わかるように書かなければならない。全く同様に、著者による査読レポートへの返事も、形式上は査読者に対して書くが、気持ちとしてはエディタに見せるために書く。
査読には回答期限がある。Letterであればおよそ2週間、Full Paperであれば1ヶ月程度であることが多い。研究会のProceedingsなどはもっと短い場合もある。いずれにせよ、引き受けたからには締め切りを守ること。そして、引き受けたにも関わらず期限内に回答できなさそうであれば、その旨をエディタに連絡し、回答期限を延長するか、別の人にまわしてもらうかする(その場合は適任者を推薦するのが望ましい)。エディタにとって一番困るのは、期限内に査読レポートが届かず、さらにいつまでに来るかもわからないので別の査読者にも回せない、という状況である。投稿された論文は、学位審査や奨学金の根拠になるかもしれない。もちろん査読レポートは論文著者の事情等に影響されてはならないが、学位請求の根拠にしようとしていた論文を放置されてしまうと学生にとって大きな不利益になるので、締め切りはきちんと守ること。
査読者は、未出版の論文を扱うため、その論文の内容を第三者に漏らしてはならないし、現在どんな論文を査読していることも公にしてはならない。また、多くの場合は査読者は著者に自分の名を明かしても、著者と直接コンタクトを取ってはいけない(雑誌によってはそのあたりが緩かったりするが、いずれにせよ、匿名を守っておいた方が無難)。
査読レポートを書いて、スペルチェックも済み、後は提出するだけになってもすぐに提出せず、最低一日は寝かせてから送ると良い。査読をする時、何かしらの感情の起伏は避けられない。時には「なんだこの論文！」とか思うこともあるだろう。しかし、批判的なレポートを書いた時こそ、提出は一日待って、次の日、落ち着いて再度見返すべきである。これまでに何度か、査読レポートを送った後で「あ、言葉が強すぎたかな」と後悔したことがある。頭に血が上って書いたレポートをそのまま提出してはいけないが、頭に血が上った状態では批判的に過ぎるかどうかは判断できないであろう。なので無条件に「査読レポートの提出は一日待ってから」とルール化したほうが良い。締め切りを守ることも考えると、査読レポートは締め切りの数日前には完成していなければならない。締め切り直前に焦ってやるとろくなことはない(実際、極めてネガティブな内容なのに「時間が無いのでこれ以上詳細なレポートが書けない」と書かれた査読レポートを受け取って愕然としたことがある)。
査読システムがなぜ存在するか、査読はなんのためにするかを説明するのは筆者の能力を超えるので、私がどういうつもりで査読しているかの紹介。なお、この項は個人の意見であり、一般的なルールやマナーではないことに注意。査読経験者ならわかっていただけると思うが、査読の判断は落とすより通してしまう方が楽である。しかし、多くの場合は条件付き採択として修正を求め、問題が大きい場合には却下(Reject)の判断をするだろう。なぜ手間をかけて修正を求めたり、却下したりするのか？「雑誌の質を保つため」ひいては「科学の質を保つため」に査読をする人も多いであろうが、筆者は査読を「論文著者のため」という気持ちで行っている。
一般に、「素晴らしい論文がrejectされる」よりも、「まずい論文がpublishされてしまう」方が著者にとってはダメージが大きい(僕にも苦い経験がある)。特にトップジャーナルに論文が掲載された場合、高い確率でプレスリリースを打つであろう。そうして注目を集めた上で「なんだこの論文は」となってしまうと、論文の著者は科学者として大きな、時に再起不能なほどに致命的なダメージを負うことになる。そんな例は多数あるが、STAP細胞の論文を挙げれば十分であろう。
著者が勘違いや間違いを犯しており、まずい論文を書いてしまったとき、その出版を止める最後の砦が査読者である。もちろん、そのような論文を査読することはほとんどないが、気を付けるにこしたことはない。
まずい論文がpublishされてダメージを負う、という事例は少ないとしても、査読者が論文出版前の最後のチェッカーであり、論文が業績として何年も何十年も残るものである以上、査読プロセスで論文の良くないところを指摘し、よりよい論文として残すようにしてあげるのが査読者の役割(の一つ)であろう。
査読レポートは、概ね以下のようなフォーマットで書くことが多い。
- 論文の要約
- 論文の評価
- 重要なコメント (Major Comments)
- 些末なコメント (Minor Comments)
査読レポートの冒頭に論文の要約を自分の言葉で表現する。著者は何を研究し、何を提案して、どのような結果を得たか、それはどういう意味を持つかをワンパラグラフ(数行)でまとめる。これは、エディタと著者に、「自分はちゃんと論文を読んで理解したよ」ということを伝えるため。逆に著者はそこを見て、自分の論文の意図が正しく受け取られたかを判断する。私見だが、ここをabstのコピペで済ます査読者はあまり信頼できない。
書き出しとしては
The authors study...
とか
The authors proposed a method for
といった感じになる。
論文の要約の次のパラグラフには、論文の評価を書く。こちらも概ねワンパラグラフにまとめることが多い。新しい結果を含んでいるか？数値計算はちゃんと実施されているか？結論は妥当か？表現は分かりやすく適切か？そして、その理由により論文をどうするか(decision)を決める。論文の運命には、以下のような選択肢がある。
- そのまま出版(Publish as-is)：まったく変更せずに出版することに同意する。査読のfirst roundでこのdecisionになることは稀であり、一般には何度か査読レポートと返事をやりとりした結果、満足いく結果になったところでこれを選ぶことが多い。
- 微修正で出版(Publish, minor revision)：タイポや図の修正など些末な点を修正したら出版に同意する。こちらもfirst roundでこれを選ぶことは少なく、何度かやりとりした後に選ぶことになることが多い。この決定を選んだ場合、査読者は著者からの返事を受け取らず、エディタが修正されているという判断をすれば出版されることが多い。
- 大きく修正が必要(Publish, major revision)：内容としては出版に値すると思われるが、大きな問題点がいくつか見受けられるため、そこを解決できなければ出版に同意できないという決定。ほとんどの論文において、first roundのdecisionはこれになると思われる。著者は査読レポートを参考に論文を修正して再投稿してくるので、また読んで自分の指摘した部分が修正されているか、疑問点が解決しているかを確認する。
- 出版できない(Reject)：論文の主要部分に大きな問題点があり、どうなおしても出版できそうもない場合はこれを選ぶ。内容は問題なさそうだが、テーマが雑誌のスコープと合っていない場合もこれを選ぶ(ただし、そういう場合はエディタが却下する場合が多いので、査読者がこの判断をすることは少ない)。
他に、LetterからFull Paperへのtransferなどもあるが、ここでは触れない。雑誌に査読基準などが用意されているので、それを熟読すること。
条件付き採択(Major Revision)の場合の書き出し例。概ね「出版はできそうだけど、こういう問題点がある」という形にして、since以下にその問題点を書くことが多い。
論文の要約、評価のフォーマットはほぼ固定されているが、それ以降のレポートの書き方については査読者に任されている。一般に、著者が返事しやすいように、問題点を数字付きで列挙することが多い。個人的には、重要なコメント(Major Comments)と些末なコメント(Minor Comments)に分けて返している。
重要なコメントは、「採択にあたって必ず解決しなければならないポイント」を書く。例えば以下のようなことを書く。
- 動機の記載が不十分である
- 先行研究への言及が不十分である
- 得られた結果から導かれている結論に飛躍がある
これに一つでも納得できる返事がなければアクセプトしない。
些末なコメントには、スペルミスや数式の誤り、図表についての改善など、論文の論旨には大きく影響しないが、出版までに修正した方が良い点について指摘する。私見だが、ここをきちっと指摘してくる査読者は「ちゃんと論文を読んでくれた」という印象を与えるため、著者も気持ち良く返事を書いてくれるように思う。
Minorなところで個人的にチェックしているのは次のような点。
- スペルミスはないか(過去にはタイトルにスペルミスがある場合があった)
- 数式にピリオドなどが正しくついているか (数式も文章である)
- 数式にミスはないか(符号ミスなどは結構ある)
- 変数には全て定義が書いてあるか。未定義で使われている変数はないか(これもわりと見かける)
- 図が正しく本文で参照されているか (たまに本文で参照されていない「迷子の」図が残っていたりする)
- 未定義の略語は無いか。略語は初出時にspell outされているか(未定義の略語が使われることが多い)
査読に予断は良くないが、やはり細かいところにミスが多い論文は大きなミスをしている可能性が高いので、もう一度論旨をちゃんとチェックしたほうが良い。そもそも査読論文を投稿しようというのにスペルチェッカもかけない時点で研究に対する注意力が疑われる(ブーメラン)。
その他、図をより読みやすくするための提案などをする。場合によっては追加計算の提案もするが、よほど重要なデータが欠けていない限り、追加計算を採録条件とすることは避けた方が良いと思われる。もちろん、論文の主張に絶対に必要な計算が欠けていると思えば、「重要なコメント」に採録条件として書く。
論文の査読は、原則としてボランティアで行われている。出版される論文よりも投稿される論文の方が多い以上、自分が出版した論文より多くの査読を引き受ける義務が生じる。このとき、「科学の門番」として「ダメな論文は通さない」という態度で望むよりは、「著者のために査読をする」という態度の方が生産的だと思う。まずい論文はきちっと落とす。間違いや読みづらい点は修正を求める。そして著者により良い形で業績を残すお手伝いをする、そんなつもりで査読をすると良いと思う。
それなりの数の論文を査読していると、どうなおしたってAcceptしようのない論文が回ってくることがある。それについての覚書。
論文全体が何を目的に、何を示したことになっているかさっぱりわからない。また、自分流儀の記号が多数、しかも説明無しに使われており、数式を追うこともできない。特に、なんか重要そうな変数に多数ついている添字が何かと思ったら著者のイニシャルだった。どうやら「自分理論から求めた値」という意味だったらしい。
査読レポートには「科学論文の体をなしていない」と書いてrejectにした。
おそらく学生が初めて書いた論文を指導教官がチェックせずに投稿された(と信じたい)もの。あまりのひどさに最後まで読めなかった。英語はもちろんひどかったのだが、それ以外のだめだったところリスト。
- グラフに原点がない。
- グラフの縦軸、横軸が何を表すか書いてない。
- 半径と直径を間違ってる。
- 数式にカンマ、ピリオドがない。
- 記号の定義がない。あるいは初出時に示されない。
- リファレンスが出現順に並んでいない。
- ある物理量を表す記号が、数式では大文字なのに、テキストでは小文字になっている。
- ある物理量の説明がWikipedia:enの丸コピになっている←これ見つけた時点でrejectにした。
全体的に英語がひどい論文で、一部だけ英語がまともだったら剽窃(コピペ)を疑った方が良い。ググればだいたい見つかる。僕はいくつか見つけたことがあるが、全部Wikipedia:enがコピペ元だった。
しばらくたってから、ふと気になって論文のタイトルで検索したら、ほとんどそのままの形で別の雑誌に出版されていた。無論、Wikipedia:enのコピペはそのままだが、その後、Wikipediaの方が更新されたため、明確なコピペにはなっていない形であった。彼らは科学を行うつもりなんかなく、ただ「Reviewed Article」の数が稼げればよいのであろう。ちょっと悲しくなった。
査読レポートを無視された、という事例の紹介。世の中にはそんなことをする人がいる。
最初に査読を依頼された論文があまりにもひどかったので、門前払いに近いレポートを書いた。門前払いとは言っても、「目的が見当たらない」とか「変数の定義が無い」とか「こういうTypoがあるので直せ」とかちゃんと書いた。しばらくして、同じジャーナルから同じ著者の論文が、別の論文IDで届いた。
科学論文は投稿されると論文IDが振られ、査読の経過を追うことができるようになっている。著者は査読者のレポート読み、論文を修正し、レポートへの返事とともに再投稿する。このステップを何度か繰り返すことで最終的に論文はアクセプトされ、雑誌に公開される。
その論文IDが変わったということは、新規投稿されたということを意味する。つまりこの著者、論文を投稿し、査読レポートをもらったにも関わらず、そのレポートの返事を書かずに済むように新規投稿してきたということになる。しかし、だいたい同じような論文は同じ査読者に届くものだし、査読者は論文を真剣に読むから内容は覚えているものだ。
論文は、僕が前に指摘したTypo「だけ」なおっていたから、査読レポートを読んだことは間違いない。これは査読者のみならず、科学の仕組みを全く馬鹿にした、許しがたい行為だと思う。
ここに挙げた例は、まともな雑誌に投稿されたまともでない論文の例だったが、「まともでない雑誌」というのも存在する。その論文の査読を引き受けた顛末は「Predatory Journalの論文を査読してみた」を参照して欲しい。