査読のときに何を見るのか：一例

この数年、自分が論文を投稿するだけではなくて、他人の論文の査読を依頼されることがある。しかし、査読で何を評価するのかということについては、必ずしも統一的な見解があるわけではないように思える。そこで、自分が査読をするときにはどのような点に注目して査読をしているのかについてメモを残しておきたい。

それによって、査読を頼まれたけどどういうふうにしたらいいのかわからない……というときの手助けになったり、査読だけではなくて、どのような論文が「良い」論文なのかわからないとか、他人の研究にコメントすることができなくて悩んでいるとか、そういうときの指針にもなるとよいなと思って書いている。論文を書く側にとって見れば、こういうところを意識すればいいんだなという気づきも得られるかもしれない。もちろん、実際に論文を書くと、言うは易く行うは難しであるが。

自分にとっては、ここでの見方は、その他様々な場面である文章が研究論文としての水準を満たしているかを評価するときにも共通している。したがってこれは査読のみに限られない。場面によって、この基準を高く設定したり、低く設定したりする。また、基準はどれも同じ重要性（同じ配点）というわけではない。自分が最も重要かつ不可欠だと思うのは「序論・問い」の部分に当たる内容である。

ここで念頭に置いているのはあくまで筆者（麦山）が査読を依頼される分野、つまり社会学、なかでも社会調査データなどの定量的なデータを用いた実証研究である。そのため、他の分野については当てはまらないところがあるかもしれない。そういう場合は適当に取捨選択してもらえればと思う。

その他にも、個別の論文雑誌によって査読のガイドライン、評価基準などが示されている場合がある。ここに記されていないものであっても、ガイドラインが示されていれば、当然それも参照して査読をすることになる。言うまでもないが、仮に論文の出来がイマイチで厳しい査読をせざるを得なくなったとしても、またそうでなくとも、ものの言い方には十分に気をつけなければいけない。論文を書く側にとってみれば、無理解、侮蔑、誹謗中傷を含む、あるいはいいかげんな「査読」をもらったときは最悪の気分になる。相手は一人の人間であるということ十分に理解し、仮に実名付きで世界に公開されたとしても恥ずかしくないようなコメントを書くようにすべきと思う。そしてそれは、意識すればできるはずのことである。

序論・問い

問いが明確であるか

ここで問いとは、その論文において何を明らかにするのかを明示した文を指す。典型的には、「本研究では……を検証する」とか「本稿では……を明らかにする」とか「本稿の目的は……にある」とかいった文である。論文の問いが明確に提示されていなければ、その論文がいったい何を明らかにする（した）論文なのかが曖昧になってしまう。したがって、問いは具体的かつ明確に提示される必要がある。

論文によっては、複数の問いが提示される場合もある。その場合は、それらの問いが一つの論文で扱われる必然性がはっきりしている必要がある。言い換えると、それらの問いをまとめる一つの大きな問いがあり、その問いから発された複数の問いがある、というかたちになっていることが望ましい。

問いの重要性が論じられているか

なぜその問いが重要なのかが説得的に論じられている必要がある。問いの重要性を構成する要素の一つは、先行研究によって明らかにされていない問いかどうか、または問いが類似しているとしても、先行研究とは異なる視角や新たなデータなどを追加した研究になっているかどうか、である。

しかし、先行研究がないということだけでは必ずしも説得的ではないということに注意が必要である。先行研究がないのは、たんに重要ではないから誰もやらなかっただけかもしれない。先行研究で明らかにされていないというだけではなくて、なぜ、その問いに答える必要があるのかを説明する必要がある。社会学の場合、理論的に（「社会学的に」）重要な問題である（最重要）、社会的に重要な問題である、あるいは、政策的に重要な問題である、といった説明が考えられる。言い換えれば、その問いを解くことによって、これまでは見えていなかった何がいったい明らかになるのか、どのような意義があるのか、ということを説得する必要がある。

問いに対する回答が明示されているか

「本稿ではYがXによっていかに異なるかを明らかにする」と宣言したのであれば、「YはXによって…のように異なる」などというふうに、問いに対応する回答を提示する必要がある。問いと回答が対応していない（問いと関係のない分析がいつの間にか差し込まれて、結論で明らかになったこととして提示されるなど）のはよくない。

問いが提示されるのは多くの場合「序論」であるが、その問いが論文全体で一貫しておらず、別の問いが差し込まれたり、結論で問いとは別の内容についての考察が長く展開されたりすると、論文の一貫性がないと感じてしまう。設定した問いと関係のない問いやその回答が、中核となる問いの妨げとなってはいけない。

問いに対する回答が分析結果によって支えられているか

問いに対する回答は、分析結果から乖離したものになっていてはいけない。回答が、過不足なく分析結果によって支えられている必要がある。

また、回答が一定の仮定にもとづく分析から導かれていることに自覚的である必要がある。分析の背景には常に何らかの仮定がある。用いた変数（測定）は、知りたい概念を測定するうえで十分なものではないかもしれない。因果関係を取り出すための分析手法には、満たすべき仮定がある。こうした仮定をあたかもないものとして強すぎる回答（主張）を導くのは望ましくない。

先行研究・仮説

先行研究が構造化されているか

先行研究が単に羅列されているのではなくて、問いに対応して適切な形で構造化されている必要がある。構造化するといっても、とりあえずまとめればいいのかというとそうではなく、論文の目的（問い）に対応するかたちになっている必要がある。先行研究の節を読んでいくことで、自然と先行研究の限界、すなわちその論文で解く問いにつながるような構造化が必要である。

取り上げられている先行研究が適切か

先の先行研究の構造化が、代表的とされる先行研究や研究の流れを適切に踏まえたものになっている必要がある。この判断については個々の分野や自身の専門性との兼ね合いで（査読の際に）期待されている役割によって異なり、一概にはいえないので、ここでは省略する。

仮説が理論的に導かれているか

なんらかの仮説を立てるのであれば、その根拠がなければいけない。その際の根拠は理論的に導かれている必要がある。「実証研究A, B, C…はこういう結果だったので、私もこうだと思います」というだけでは、必ずしも根拠にはならないことに注意する必要がある。そうではなく、個々の観察結果を生んでいる共通のメカニズムは何なのかということを考えて、それにもとづいて、仮説を導く必要がある。

方法

用いるデータの特徴が正確に説明されているか

用いるデータがどのような特徴を持つのか（調査時期、標本抽出方法、回収率、等々）を正確に説明する必要がある。さほど多くの論文で使われていない調査データを使う場合にはいっそう丁寧に説明する必要がある。

データから一部のサンプルを抽出したのであれば、その点を説明する必要がある。社会調査データの場合は、データ全体から関心のある母集団に絞るという意味での限定と、そこからさらに欠損のあるケースをデータから除外するという意味での限定があり、その双方の手続きについて説明する必要がある。

なぜそのデータを使うのか、理由が説明されているか

なぜそのデータを使うのか、その理由を説明する必要がある。とくに社会学の場合は外的妥当性を重視する傾向が強いので、用いるデータが母集団からの無作為抽出ではないデータ（たとえばオプトインのWeb調査、有意抽出、全国ではないどこか一地域の調査など）の場合、それに関する正当化が必要になる。もちろん、どのようなデータでも、そのデータが問いに答えるうえで適切なデータであることを説明する必要がある。

変数の説明がわかりやすいか

どのように聴取された項目をどのように変数化したのか、明確に説明する必要がある。変数は何らかの概念を測定するものであるため、概念と変数の対応関係が正しく取れていることが重要である。分野で一般的に使われる変数ではないほど、なぜその変数を使うのかを丁寧に説明する必要がある。

たとえば何らかの態度に関する変数を使う場合には、その項目が何らかの概念を測定するうえでよく使われている項目であるとか、数値の加工方法がよく使われている方法かどうか、といった説明が必要である。統制変数の場合は、なぜそれを統制する必要があるのかが説明されているとよい。

基礎的情報が提示されているか

用いる変数の記述統計量を示すのが一般的であり、それがなされていることが望ましい。紙幅の関係で全ての記述統計量を示すことができない場合でも、主要な変数の分布についてはわかるような何らかの集計（クロス集計など）があると望ましい。

方法が問いを明らかにするうえで適切か

用いる方法が問いに答えるうえで必要十分か。難しい分析手法を使えばよいというわけではなく、問いに答えるうえで適切な方法かどうかというのが重要である。

結果

表や図の内容について本文で説明されているか、その説明が間違っていないか

計量分析を行ったときにはその結果を表や図で示すことになるが、その場合に、表や図から論じたい主張について、具体的に本文中で説明する必要がある。「関連がある」というだけではなく、関連があるならばその方向性（正か負か）、さらに、関連の有無のみならず、具体的な値や差の大きさについても述べることが望ましい。逆に、論じたい主張とさして関係のない表や図であれば、それらは不要ということになる。

言うまでもないが、正の関連を負の関連（あるいは逆）といったり、結果の数値を読み間違えたりしてあってはいけない。

分析結果から読み取れる内容以上のことを述べていないか

因果関係に関することばづかいには注意する必要がある。たんに一時点の社会調査データで回帰分析を行っただけで「XはYを増加させる」「XはYを高める」「AになるとYしやすくなる」「Xは正の効果をもつ」といった表現を使うのは避けたほうがよい。この場合「Xが高いほどYが高い傾向がある」「AはBと比べてYしやすい」「正の関連がある」といった表現のほうが無難だろう。因果関係について述べたいのであれば、それなりに因果関係に近づける方法や分析戦略が必要となる。

たんに言葉がすべっているだけであればすぐ修正可能であるから問題は少ない（指摘すればよいので）。しかし、結論や考察において因果関係を前提とした主張をしていたり、何ら方法的限界についての記述がなかったりすると、「本当にわかっているのかな？」と疑念を持ってしまう。

議論・考察

議論や考察が分析結果にもとづいているか

たんに分析結果をまとめるだけではなく、そこから得られる考察が示されている必要がある。ここでの考察は当該論文の分析がなくても言える一般的なものや、あるいは分析結果から乖離したものではなく、論文の問いや分析結果に即したものである必要がある。考察とはたとえば、仮説と異なる結果が得られた場合の解釈、先行研究に対する含意、関心のある現象を理解するうえでの含意、政策的含意、等々である。

分析の限界について適切に認識しているか

「問いに対する回答が分析結果によって支えられているか」の箇所でも確認したが、データや分析手法等の限界が適切に示されているか、そのことを十分に認識したうえで議論が展開されている必要がある。

その他全体

論理の飛躍がないか

文と文の間、段落と段落の間、等々で論理の飛躍があってはいけない。

重要な概念が一貫して用いられているか

論文全体で重要となる概念については、論文中で表記がゆれるべきではない。たとえば「ソーシャル・サポート」が論文における重要な概念ならば、同じものを指すものとして別の言葉（たとえば「社会関係資本」「つながり」「支援」「ケア」など）を使うのは避ける。

変数の名前や値の名前などについても論文中で表記がゆれないようにしたほうがよい。たとえば、変数の説明では「所得」と書かれているのに分析結果では「年収」と書かれていたりするのはよくない。

誤字脱字がないか

あまりに誤字脱字が多いときちんと時間をかけて論文を書いていないのではないか？という印象を受けることがある。文章の主述の不対応も誤字脱字同様に問題である。人間なので誤字脱字を完全になくすことは難しいが、提出前に丁寧に確認するのがよいだろう。最近流行りのAIに手伝ってもらってもいいのかもしれない。