査読方針
論文誌「教育とコンピュータ」査読方針
2014年2月8日 制定
一般社団法人 情報処理学会
論文誌教育とコンピュータ編集委員会
本方針は、論文誌「教育とコンピュータ」編集細則第15条に基づき、査読方針の詳細について定めるものである。
1. はじめに
論文誌ジャーナル編集委員会の論文査読の手引き[1]を参考にする。
- 評価項目は新規性、有用性、正確さ、構成と読みやすさ、本学会との関連の5項目
会員に有用な情報を提供する。 - 査読のポリシーについて
『石を拾うことはあっても玉を捨てることなかれ』
査読は基本的に加点方式で行う。具体的には以下のポリシーに従う。- 論文に関して大切なもののひとつにオリジナリティがある。第1回目の査読では、どのように修正すればオリジナリティを明確にできて、内容が分かりやすくなり、採録されるかを、責任をもって具体的に示す。
- 論文の価値は最終的に社会が決めるので、その分野における学術上の議論を活性化する可能性があるものであれば積極的に採録とする。
2. 全般的査読方針
「教育とコンピュータ」研究は、コンピュータの教育(広くは、情報の教育)から、教育へのコンピュータの利用(教育の情報化)までの幅広い分野を対象としている。ITを利用したシステムを作成する場合でも、教育上の実践といった、教育への関係性を含むことが必要である。
全般的に以下の査読方針をとる。
- 新規性については、当該研究で取り上げられた技術・理論・理念・概念等の新規性だけでなく、既知のものを実践した結果の考察でも新規性を評価すること。
- 有用性については、「有用であった」という報告だけでなく、「有用であると期待される」ことの合理的根拠が示されていれば、積極的に評価すること。
- 新規性と有用性は個別に評価するのでなく、それぞれがある程度の水準に達していれば、両者を併せて総合的に評価すること。
- 正確さ、読みやすさについては、ジャーナル論文同様、読者にとって理解しやすいものを評価すること。
- 論文として投稿された原稿で、その内容に論文としての意義が十分認められない場合であっても、読者にとって有益な価値ある研究開発または実践であると判断される場合には、形式をショートペーパーに変更することを前提として評価できること。
- 非公開情報を用いた研究の場合、正当な手続きによりその情報を入手する方法が記されていれば、読者が追試するための情報の開示があるとみなせること。
- 本トランザクションの趣旨に沿う内容であるかどうかの判定が難しい投稿論文の場合、多大でない加筆・修正によってその趣旨に近づけることが可能なものは、その旨を採録の条件に盛り込むこと。
- 大幅な加筆・修正、再実証を含む内容の補強等が必要であると思われる場合であっても、読者にとって有益な価値ある内容を含むと判断される場合は、積極的に条件付採録と判定すること。
3. 研究論文の査読方針
研究論文とは、学術・技術上の研究あるいは開発成果を記述したものである。
上記の全般的査読方針にしたがう。
4 実践論文の査読方針
本トランザクションの特徴は実践論文を導入したことである。実践論文は、理工学のパラダイムとは違い、研究対象は要素ではなく全体である。観察データは必ずしも客観的とは言えず、経過や結果を再現することは難しい。情報システム研究の査読基準[2,3]に通じるものがあるので、以下ではそれを参考にして、査読の観点をまとめてみる。
研究設問(何を明らかにしたいか)によっては、一般性、汎用性がないこと自体は問題としないことがある。内容の適切さとともに、読者にとって有益であるか否かに重点を置いて評価することが重要である。
4.1新規性の評価
新規性については、当該研究で取り上げられた技術・理論・理念・概念等の新規性だけでなく、既知のものを実践した結果の考察でも新規性を評価できる。査読者は、先行研究に対して、研究設問の視点の新しさ、適用される教育状況の違いなどを考慮して、一定の新規性が示されていることを確認する。ただし、単なる事例報告では新規性を認められない。教育上のインパクト(メリット、デメリットも含めて)を持っている必要がある。
4.2 有用性の評価
- 有用性の提示
コンピュータを利用したシステムの開発を含む場合は、まず、研究設問に沿って、そのシステムの開発およびそれにもとづく教育の結果が、状況の変化として記述されていること(有効性)。その上で、結果または研究設問に対する結論から導かれる知見が、論理的にかつ理解しやすいように記述されていること(納得性)。一般的や普遍的な理論を求めるのではなく、読者がその効果について納得し、自分もやってみようと感じること(有用性)を評価する。 - 質的研究の特性に対する配慮
コンピュータを利用したシステムの開発を含む場合は、理論的あるいは定量的な評価だけで有効性を示すことができるとは考えない。自然科学と異なり追試ができないので、証明は難しい。また、「人間」「組織」が関係するので、有効性を客観的に提示することが困難であることが多い。その場合には、研究全体を通して得られた知見が正確かつ理解できる形で記述されていることを評価する。
必ずしも量的データを必須としない。また、サンプル数が少ないこと、統計処理がされていないことだけで評価を落とさない。量的評価と質的評価が併用されていることもよい。ただし、観察結果をそのままの形で提示するのではなく、何らかの図式化を行って、一定のモデルが提示されている必要がある。質的データは観測に基づく事実(分析焦点者の主観データであったとしても)の記述であり、著者の主観だけではない(妥当性が述べられる)ことが重要である。査読者は主観で判定しないこと。
4.3 信頼性の評価
信頼性には、研究内容そのものの信頼性と論文の記述の信頼性の二つがある。前者については、要素技術の論文に比べて客観的な説明は難しいが、コンピュータを利用するシステムの開発を含む場合は、そのシステムによる介入とコンテクストとの関係が正確かつ論理的に説明されているかどうか、そして研究目的に対して採用された方法とプロセスが妥当であったかどうかで評価する。エビデンス、研究設問、観察データ、中間生成物、モデルが提示されていること。後者については、研究設問とそれに対する結論が論理的で正確な言葉で記述されていることを評価する。
今までの研究を十分サーベイし、記述しておく必要がある。
5. サーベイ論文の査読方針
サーベイ論文は、内容の適切さとともに、読者にとって有益であるか否かに重点を置いて評価すること。査読者が理解できるように書かなければならない。十分な量の参考文献に基づいて調査し、ある視点からまとめあげたものであり、網羅性、公平性が必要である。
6.展望論文の査読方針
新しい研究動向を、分野横断的に私見を交えながら展望したものである。編集委員会の決定により、著者に執筆依頼した場合のみ認められる。
7. ショートペーパーの査読方針
ショートペーパーは新しい学術、技術上の研究あるいは開発成果の提案、または、教育現場等における実践的な教育事例を記述したものであり、会員にとって有益な情報を与えるものである。
教育事例の場合は、一般化はできてなく、同様の実践をした場合、同じ結果がでるかどうか不確かと判断される場合でも、その実践自体が読者にとって新しいものであり、論文としての信頼性が採録レベルにあれば、積極的に評価する。
新規性・有用性のいずれか、または、両方が不十分であっても、読者にとって有益な価値ある実践であると判断される場合には、積極的に評価する。
8.採録条件の書き方
条件付き採録とする場合でも、再試行や再現が難しいことを考慮して条件を提示すること(「条件を変えてもう一度実施する」というような条件は出さない)。新規性、有用性(有効性)、信頼性の観点から、どのように記述を変更すればよいかを具体的に記述する。査読者間で矛盾するような条件はメタ査読者が判定する。
参考文献
[1] 論文誌ジャーナル編集委員会:「論文査読の手引き」、http://www.ipsj.or.jp/journal/manual/papers_guide.html、2012.
[2] 情報システムと社会環境研究会 情報システム有効性評価手法研究分科会:「情報システムの有効性評価 量的評価のガイドライン(解説編)」第1.1版、http://ipsj-is.jp/関連活動/情報システムの有効性評価手法分科会/質的評価ガイドライン/、2012
[3] 情報システムと社会環境研究会 情報システム有効性評価手法研究分科会:「情報システムの有効性評価 質的評価のガイドライン」第1.00版、http://ipsj-is.jp/関連活動/情報システムの有効性評価手法分科会/量的評価ガイドライン/、2013