査読（Peer Review）

査読（peer review） | 1

査読（Peer Review）

2014年11月7日（金）第16回図書館総合展

「大学図書館と研究支援「－研究を知る３つのキーワードから－」

国公私立大学図書館協力委員会／日本図書館協会大学図書館部会

エルゼビア・ジャパン株式会社高橋昭治[email protected]


査読は本当に必要か？

• 査読は不正を見抜くことができないのではないか？

• 型破りの研究は査読では正しく評価されないのではないか？

• 査読は科学の進歩を遅らせているのではないか？

• 査読は論文の質の改善に貢献していないのではないか？

• 論文が増えすぎて査読者のなり手がいなくなるのではないか？


本日の内容

• ジャーナル出版社の役割

• 査読とは？

• 研究者は査読についてどのように考えているか？

• 査読に関わるエルゼビアの取り組みの例


ジャーナル出版社の役割


ジャーナル出版社の役割

最初の科学ジャーナルが出版されたのは1665年

Registration（登録）

Certification（認定）

Dissemination（普及）

Preservation（保存）

伝統的な役割

Use（利用）新たな役割


論文投稿～出版までの流れ

投稿

査読レポート

図書館/OA著者

査読者

エディター読者出版

校正

タイプセッター/印刷会社

出版社受理論文

Authors writeReviewers commentEditors decideReaders read


ジャーナルの出版サイクル

投稿の促進と管理

査読の進捗管理

制作

出版と普及

編集と校正

アーカイブと利用促進

エディトリアル・ボードを組織

新しいジャーナルを出版


エルゼビアのジャーナル出版の現状

投稿の促進と管理

査読の進捗管理

制作

出版と普及

編集と校正

アーカイブと利用促進

• 年間1,100人の新しいエディター• 年間40の新刊ジャーナル • 年間110万超の論文投稿

• 50万人の査読者• 年間100万件の査読レポート

• 8,000人のエディター• 90,000人のエディトリアル・ボード・メンバー

• 年間800万回の著者とのコミュニケーション

• 年間35万（280万ページ）の論文出版• 最長190年分のバックナンバーの完全電子化

• 1,500万人の利用者• 4,500超の研究機関• 180超の国々• 年間7億超の論文ダウンロード

• 2,500のジャーナル• 1,200万超の論文

エディトリアル・ボードを組織

新しいジャーナルを出版

• 40～90%のリジェクト率（平均70%）


エルゼビアへの投稿論文数の増加


査読とは？


査読とは？

• 出版前に同じ分野の専門家によってチェックを行うことによって、論文の質を保証するためのシステム

• 科学（science）を推論（speculation）や意見（opinion）から区別する

• 研究の妥当性（validity）、重要性（significance）、オリジナリティ（originality）を判断する

• 論文の質を改善する

• 出版すべきかどうかについての推薦

- accept / minor revision / major revision / reject


査読のステップ著者が論文を

投稿

査読者査読者

リジェクト

アクセプト

エディターの判断

リジェクト

出典: Sense about Science “Peer review: The nuts and bolts” p.3の図を翻訳http://www.senseaboutscience.org/resources.php/99/peer-review-the-nuts-and-bolts

エディターによるスクリーニング

著者が修正


査読者がチェックすべきこと

• 新規性とオリジナリティがあるか？

• 仮説は重要で明確であるか？

• 序文、方法、データ分析、結果、議論、結論の強さ / 弱さ

• 原稿全体の一貫性

• 文章と図表がわかりやすいか？

• 倫理（動物 / 人間）

• タイトルと抄録は内容を反映しているか？

• 参考文献が正しく引用されているか？

“ Technical” Quality

“ Nov

elty

”

技術的な品質

新規性


査読者の責任ではないこと

• 原稿の言語を修正すること

• 不正、剽窃、他の倫理的な問題を見つけること

• これらはあくまで著者の責任

- 問題があればリジェクト、最悪の場合は撤回


査読者のチェックリストの例（エディターに提出）

Reviewer’s Recommendation Accept / Minor Revision / Major Revision / RejectOverall manuscript rating 1 →100 (poor → perfect)

1. Is the subject matter suitable for publication in JCR? Y/N2. Is the paper acceptable in its present form? Y/N3. Is the paper better suited for another journal? Y/N

If “Yes”, which other journal?4. Does it contain material that might well be omitted? Y/N5. Does it give adequate references to related work? Y/N6. Is the English satisfactory? Y/N7. Is the presentation of the work well organized? Y/N8. Rate the paper using the following scale

(4 = Very good, 3 = Good, 2 = Marginal, 1 = Poor)a. Originality 1 2 3 4b. Scientific quality 1 2 3 4c. Significance of findings 1 2 3 4


査読のタイプ

著者査読者

Single Blind• 査読者は匿名、最も一般的

Post-Publication Assessment

Open Peer Review• 著者と査読者が互いを知っている

Double Blind• 著者と査読者が互いに匿名

××

×


査読者をどうやって選ぶか？

• ジャーナルの査読者データベース

• ジャーナルのエディトリアル・ボード・メンバー

• 他のデータベース（Scopus、PubMedなど）

• 著者からの推薦／拒否


査読にかかる時間

最後に行った査読にかかった時間

査読を引き受けてからレポートの提出までかかった時間

出典: Sense About Science “Peer Review Survey 2009”http://www.senseaboutscience.org/pages/peer-review-survey-2009.html n=3597

最頻値 = 4 hours平均値 = 6 hours

86%が1ヶ月以内に査読レポートを提出


研究者が査読をする理由

研究者としての義務

最新の研究を知る

キャリア形成

分野への一般的な関心

ジャーナルやエディターとの関係を築く

他の研究者よりも先に早く研究を知る

自分の研究

や考えの役に立つ


研究者が査読をする理由

Q. 査読を行う理由として以下に同意しますか？

学術コミュニティの一員としての役割である

論文の改善に貢献できる

出版前の新しい研究を見ることができる

自分の論文を査読してくれるのに報いたい

自分の評判を高める、自分のキャリアを築く

査読によって個人的に認められる

エディターとの関係を構築できる

編集チームの役割を提示される可能性が高くなる

将来、自分の論文が受理される可能性が高くなる



研究者が査読を断る理由

Q. 前回査読を断ったときの理由は何ですか？（最大3個まで選択）

論文が自分の専門外である

研究、講義などで忙しい

すでに多くの査読依頼を受けている

個人的な理由（休暇、病気など）

提示された締め切りが短すぎる

論文の科学的な質が低い

利益相反

自分の好きなジャーナルではない

論文の英語の質が低い

その他

最近査読の依頼を断ったことがない



研究者は査読についてどう考えているか？


エルゼビアが2013年に行った調査の紹介

• Scopusからランダムに著者を選択

• 3,008人が回答（回答率は6%）

• 実施時期: 2013年8月• 調査方法: オンラインアンケート（14～18分）

- アンケートの実施者の名前は明かさず、最後に公開

• 最大許容誤差: ±1.5%、信頼水準: 90%

• Sense About Science “Peer Review Survey 2009” の調査項目を踏襲


研究者は査読に満足しているか？

Overall, how satisfied are you with the peer review system used by scholar journals?

• 分野による違い

- 満足度が高い分野: Chemistry (79%) 、Mathematics (77%) - 満足度が低い分野: Computer Science (60%) 、Social Science (63%)

• 地域による違い

- 満足度が高い地域: China (85%)- 満足度が低い地域: Western Europe (65%)、North America (65%)

• 年齢による差はない

「非常に満足」または「満足」

2013年 2009年70% 69%


査読なしでは科学コミュニケーションをコントロールできない

Without peer review there is no control in scientific communication

「強く同意」または「同意」

2013年 2009年85% 84%

同意する理由

• 査読は論文を改善する

• 高品質の論文だけが出版されることを保証する

• 査読は専門知識のある研究者によって行われる

• 査読なしでは、出版される論文が多すぎる

反対する理由

• 査読があっても、質の低い / 誤りのある論文が出版されている

• 他の形式の質の保証がある

• 査読には偏見がある（革新的な研究の出版を妨げる）

"Because science is self-correcting. Despite papers published (with peer-review) with wrong

results, the science has always progressed." Pharmacology, Toxicology and

Pharmaceutics, Romania, Aged 36-45

"I often read papers on topics in which I have little specialist knowledge. I am therefore not

always qualified to judge whether the work has been performed carefully and the results can be trusted. I rely on peer review to do this vetting process for me. Without peer review cannot

trust what I read." Medicine and Allied Health, USA, Aged 36-45


科学コミュニケーションは査読により大きな恩恵を受けている

Scientific communication is greatly helped by peer review of published journal articles


2013年 2009年83% 82%

同意する理由

• 自分の論文が査読によって改善された

• 高品質の論文だけが出版されることを保証する

• 査読者は査読に必要な知識を最も持っている

反対する理由

• 査読には時間がかかりすぎる

• 革新的な研究に対して偏見がある

• 査読者に十分な知識がないことがある

• 科学コミュニケーションには他の方法がある

"I have had reviews that were very insightful. When researchers get their nose caught in the lab/book, we cannot see the forest because of the trees. Having a peer look at your science

helps expand the overall view. Many thanks to all the researchers that take time to review,

making science move forward." Environmental Sciences, Switzerland, Aged

36-45

"The process is much too slow and it is not transparent - reviews should be open and

provided online in real time" Business, Management and Accounting,

United Kingdom, Aged 36-45


リジェクトされた場合でも査読は論文の改善に役立っている

Q. 論文は最初に投稿されたジャーナルでアクセプトされましたか？

Q. アクセプトされる前のジャーナルの査読は論文の改善に役立ちましたか？


現在の査読システムは望むことができる最良のものである

The current peer review system is the best we can achieve


2013年 2009年39% 32%

同意する理由

• よりよいシステムは考えられない

• 正確性、質を保証する

• 査読者は知識がある

反対する理由

• Double BlindではなくSingle Blindなので偏見がある

• 査読には時間がかかりすぎる

• 査読者の知識が不十分であることがある

• 査読にはインセンティブが必要である

• 査読者にはガイダンスが必要である

"I've sent some manuscripts that was denied for publication and it was clear that the reviewers

didn't read or didn't understand them.." Medicine and Allied Health, Brazil, Aged 26-

35

"Again, what is the alternative? Even when papers are rejected, the reviewing process in itself is very useful for improving the objective

quality of the research." Neuroscience, USA, Aged 56-65


査読は全面的な見直しが必要である

Peer review in journals needs a complete overhaul


2013年 2009年35% 30%

同意する理由

• 査読者にはガイダンスが必要である

• 研究者は査読のために時間を使いたくない

• 査読には偏見がある / 完全に匿名であるべきである

反対する理由

• 現在のシステムはよく機能している

• 問題は限定てきなので、完全に見直す必要はない

• 科学コミュニケーションには査読が必要である

"I don't think it does need a complete overhaul; maybe a couple tweaks, but generally I think the system works. journals need to have a way to

identify quality reviewers and go to them." Social Science, USA, Aged 46-55

"The author names influence the peer review system. The names and relevant information

should be removed in the reviewing process. In some cases I also found that the papers are

going to non-experts and they are giving meaningless comments."

Chemistry, India, Aged 26-35


査読は引き受ける人が少ないので維持できない

Peer review is unsustainable because there are too few willing reviewers


2013年 2009年29% 19%

同意する理由

• 時間のプレッシャー

• 査読者にインセンティブがない

• 専門知識を持った査読者の数が少ない

• 多すぎる（質の低い）論文が査読に回されている

反対する理由

• 研究者は査読をやりたがっていると思う

• 研究者はやる気があるが。インセンティブが必要

• 査読の質が問題である

“The best reviewers are already doing the work and are always asked to do more -- few folks want to

put the time and effort required to do a good review of the papers...Plus, not everyone has the expertise

necessary to conduct such reviews" Psychology, USA, Aged 46-55

"I have never found it to be a problem to find reviewers for manuscripts and I think there are

many willing researchers out there willing to review papers to ensure they are up to standard and of

quality." Biological Sciences, Malaysia, Aged 26-35


査読の負担の国際比較

United States

ChinaUnited KingdomGermanyJapan

France

IndiaCanada

ItalySpain

Korea

AustraliaBrazil

0.0%

5.0%

10.0%

15.0%

20.0%

25.0%

30.0%

35.0%

0% 5% 10% 15% 20% 25% 30% 35%

Prop

ortio

n of Globa

l Reviews (Based

on Elsevier Data)

Proportion of Global Papers 2012

The proportion of global reviews completed by the US is much greater than it's proportion of global research articles.

China's produces 18% of the world's research articles. It's contribution to global reviews is 6%. However, this low number is not because Chinese researchers are unwilling.

% of global reviews vs % global research output

*Based on data from Elsevier

Ideally a country should sit on the line ‐its proportion of world reviews should match its proportion of world papers

92959797979799100101112113116116

0 100 200

CanadaUnited Kingdom

KoreaFrance

United StatesGermanyAustralia

IndiaBrazilSpainItaly

JapanChina

Indexed: 100 = Ave. Invitation Review Acceptance Rate

Change since 2009

Change since 2009


査読は科学コミュニケーションを妨げている

Peer review is holding back scientific communications


2013年 2009年27% 21%

同意する理由

• 査読は出版プロセスを遅らせる

• 論文の重要性の評価するには主観的すぎる

• 革新的な論文が出版されるのを妨げる

反対する理由

• 質が高い研究だけを出版されることを保証する

• 査読を行う人は十分な知識を持っている

• 査読は原稿を改善するのに役立っている

“ Peer review for journals is often slow, and biased. Radical ideas will be rejected as peer

review is inherently conservative.“Computer Sciences / IT, United Kingdom,

Aged 36-45

" In order to ensure information being communicated is valid and worth

communicating, peer review is needed. Peer review may result in delays but overall it helps

ensure the validity and value of scientific communication."

Medicine and Allied Health, USA, Aged 36-45


査読に期待していることと現実

Q. To what extent do you agree or disagree that the following objectives SHOULD BE the purpose of peer review?Q. To what extent do you agree or disagree that peer review is CURRENTLY ABLE to do the following?

差

17%

23%

23%

23%

42%

35%

26%

発表論文の質を改善する

原稿のオリジナリティを決定する

発見の重要性を決定する

先行する業績を認定する

不正を検出する

剽窃を検出する

ジャーナルに適した原稿を選定する


査読のタイプが論文投稿や査読を引き受けるかに与える影響

Q. How likely is it you would submit/review a research article to a journal that conducted the following form of assessment?

Single Blind

Double Blind

Open Peer Review（査読者は著者だけに知らされる）

Open Peer Review（査読者の名前が公開される）

Open Peer Review（査読レポートが公開される）

Open Peer Review（査読者の名前とレポートが公開される）

Post-Publication Assessment（出版前の査読あり）

Post-publication assessment （出版前の査読なし）


査読に関わるエルゼビアの取り組みの例


査読・出版スピードの改善、継続的なユーザー調査

査読・出版スピードを公開各種フィードバックプログラム


剽窃を検出する

• 論文投稿システムにCrossCheckを統合

• 投稿された全論文に対してCrossCheckを実行


適切な査読者を見つける

• 論文投稿システムにFind Reviewers Toolを組み込む


査読者の作業を効率化する

• 論文投稿システムのレファレンスリンキング


査読者のリソースを有効に活用する

• Article Transfer Service- 内容がジャーナルのスコープ外などの理由でリジェクトされた論文について、

エディターが他のジャーナルを著者に提示

o 最適なジャーナルで出版

o 著者の再投稿（再フォーマット）の負担を軽減

o 査読者の負担を軽減

- 新しいワークフロー（Soil Science分野の6誌でパイロット中）

o Decline（このジャーナルに適さない）→ 自動的に同じジャーナル群の他のジャーナルを著者に提示

o Reject（出版に適さない）→ 同じジャーナル群の他のジャーナルに再投稿しないように著者に通知

o パイロットの結果従来のワークフロー新しいワークフロー

Transferをオファーされた原稿 11% 28%オファーを受けた著者 40% 55%Transferされた論文の受理率 28% Not available yet


査読者へのインセンティブ

• ScienceDirectへの無料アクセス1ヶ月

• Scopusへの無料アクセス1ヶ月

• ジャーナル単位で優秀な査読者を発表

• Reviewer Recognition Platform

ジャーナル別の詳細情報


査読プロセスの透明性

• 査読レポートを公開（2014年11月から6誌でパイロット）

- 査読レポートもタイプセットし、DOIを付与する

- 査読者は匿名を選択することもできる

正式パイロットの前の例


査読者向けのガイダンス

• 査読者向け情報

http://www.elsevier.com/reviewershttp://www.elsevier.com/jp/reviewers

• ウェビナー

- How do reviewers look at your paper? (October 2014)- How to review a manuscript シリーズ（September 2012）http://www.elsevier.com/early-career-researchers/training-and-workshops


まとめ

• 査読は学術ジャーナル出版の基礎であり、重要性は変わらない

• 査読には課題もあるが、改善のための様々な取り組みが行われている

• 図書館との関係は？ → パネルディスカッションで

査読（Peer Review）

Presentations & Public Speaking

Transcript of 査読（Peer Review）

査読 （Peer Review）

Presentations & Public Speaking

Transcript of 査読 （Peer Review）

査読（Peer Review）

Transcript of 査読（Peer Review）