追試研究に特化した専門雑誌『会計科学』
セミナー「挑戦する学術誌」2021/10/29
研究・イノベーション学会 第36回年次学術大会 企画セッション
https://kiyo.cseas.kyoto-u.ac.jp/2022/02/seminar2021-10-29/
講演1
北田智久（近畿大学 講師／『会計科学』副編集委員長）
今回の発表の機会をいただき、企画者、運営者の皆様方にはお礼申し上げます。また、参加者の方にはお集まりいただき、ありがとうございます。
それでは、簡単に自己紹介をさせていただきます。私は、近畿大学の経営学部に所属しています。専門は経営学のなかでも、とくに会計が専門です。そのなかでも、細かくいうと、原価計算や管理会計について研究しています。今回紹介する『会計科学』では、2020年度の創刊時より、副編集委員長を担当しています。また、ほかの一般的な学会誌に関しては、2018年度から2020年度まで日本原価計算研究学会の学会誌の編集委員をしていました。
それでは、本日の報告の流れですが、まず、『会計科学』に関して説明します。つぎに、『会計科学』の創刊の背景と密接に関連しますが、会計学者が再現性の問題をどのように認識しているのかを紹介します。最後に、『会計科学』の意義や、今後、どういうことをやろうと考えているのかを説明させていただきます。
『会計科学』——追試に特化した会計研究の学術誌——
『会計科学』は、追試に特化した、国内初の会計研究の雑誌です。運営の主体は若手研究者です。創刊に至る背景には、研究結果の再現性の問題があります。過去の研究がうまく再現できないという再現性の問題から追試研究が重要と考えているのですが、この追試研究がなかなか既存の会計学のジャーナルでは受け入れてもらえないので、それならば、われわれで立ち上げようと、この『会計科学』を創刊しました。
ご存じの先生方も多くいらっしゃると思いますが、分野によっては、すでに再現性の問題が広く議論されています。たとえば、『Nature』によるサーベイでは、70％以上の研究者が他者の研究の再現に失敗したと回答しています。また、社会科学では、実験経済学や行動経済学、心理学でも、再現性の問題が広く議論されていると認識しています。再現性の問題はもちろん会計研究にも当てはまります。
会計科学における再現性の問題
会計科学における再現性の問題に真正面から取り組んだ研究が、Hail et al.（2020）「Reproducibility in Accounting Research: Views of the Research Community」で、これは『Journal of Accounting Research』という、会計分野の非常に優れたジャーナル、トップジャーナルに掲載された論文です。この論文では、サーベイを行って、会計学者が再現性をどのように認識しているのかを明らかにしています。
サーベイは、2019年の『Journal of Accounting Research』のカンファレンスでその参加者に対して実施しています。対象は基本的に会計研究者で、回答者の約45％が教授、約19％が准教授、約28％が講師、約8％が大学院生となっています。回答率は非常に高く、81％です。Baker（2016）で報告された『Nature』におけるサーベイに依拠して、会計学者に対して、再現性をどういうふうに捉えているか訊いています。
結果の抜粋を紹介させていただくと、まず、「会計研究の研究結果における再現性の欠如は大きな問題ですか？」と問うていますが、半数強の回答者が、会計研究における再現性の欠如は大きな問題であると認識しています。
続いて、「結果を再現できないことが元の研究結果の妥当性を毀損することはめったにないと思う」という提示文への同意を問う質問に対して、半数以上の回答者が反対、つまり再現性の低さは研究の発見事項の妥当性を毀損すると考えています。会計研究のコミュニティのなかでも、再現性は非常に大きな問題で、再現性の低さ自体が研究の質を損ねると認識されていることが読み取れるかと思います。
「パブリッシュされた結果のうちのどの程度が再現できると思いますか？」とも訊いていて、回答の平均値は50%弱です。
「他人の研究を再現しようとして失敗したことがありますか？」という質問に対しては、およそ70％の人が他人の研究を再現しようとして失敗しているという結果が得られています。個人的にも、論文を読んで再現しようと思っても、分析の手順だとか、実験の手順だとか、そういったプロトコルが不明で、なかなか再現できないこともままあります。
次の質問では、「自分が過去に出した研究結果を再現しようとして失敗したことはありますか？」と訊いていますが、6％もの人が自分の結果でさえ再現に失敗しています。
なぜ再現不可能な結果が生まれてくるのかを訊くと、半数以上の人が主要な要因として、selective reporting of results、すなわち分析結果の選択的な報告や、pressure to publish for career、すなわち業績へのプレッシャーを挙げています。3分の1以上の人が理由として挙げているのは、共著者によるチェックが不十分である、統計解析や実験デザインがよくない、プロトコルやコードが公開されていないなどです。
「他人の研究を再現しようとして失敗した試みをパブリッシュしたことがありますか？」に、はいと答えているのはわずか7%、実際には9名です。多くの人はパブリッシュしようせず、ないしはパブリッシュできずに、結果がお蔵入りになっています。
このような結果の背後には、有意な結果を導こうとするp-Hackingや、データ分析をしてから、それに基づいて仮説を立てて論文全体のストーリーを仕上げていくHARKingなど、QRP（questionable research practice：疑わしい研究実践）が会計コミュニティの間でも少なからず広がっているのではないかと推察されます。
再現性を高めるためには？
では、再現性を高めるためにはどうしたらいいのか。もちろん、研究者の倫理観を養成する必要もあるかと思いますが、分析コードやデータの公開、オンラインで追加資料を活用することなどが、一般的に有効だといわれています。それによって、他者が追試をしやすくなります。ただ、データ自体が公開できないことも会計学ではあります。なぜかというと、企業内部のデータを使っていたり、データベースとの契約上の問題があったりするからです。
既存のジャーナルが追試研究を受け入れるのも、一つの方法だと思います。ただ、編集委員会や査読者の負担が増えてしまいますし、そもそも研究としてのインパクトが追試研究は弱くてオリジナルを超えられませんし、ほかの研究との兼ね合いもあるので、そのあたりが課題になってくるのかなと思います。
その他の仕組みとしては、プレレジ（pre-registration）やレジレポ（registered reports）が挙がってきます。とくに医学などで行われていると認識しておりますが、会計学ではあまり行われてない仕組みです。プレレジは、実証研究を実施する前に、データの取得の仕方、サンプルサイズ、仮説、分析方法などの詳細を第三者機関に登録して、原則的にこの登録内容に従って研究を遂行する仕組みです。データを集めてからすることが決まっているので、p-HackingやHARKingといった問題が抑制されると考えられています。
レジレポは、プレレジの段階で査読を行って、それでよければ、仮アクセプトとなり、結果を問わず掲載される仕組みです。会計の雑誌でもレジレポを採用した号があります。先ほど紹介した研究が載っていた『Journal of Accounting Research』の2018年の号に、レジレポが採用されています。ただ、他分野の動向を見てみると、査読者の負担が大きいなど、なかなか一筋縄ではいかないようです。
再現性に関して会計学が抱える課題
少し話が変わりますが、再現性に関して、会計学が抱えている課題があります。会計はあくまで社会のシステムなので、国や地域によってルールが異なります。企業利益と一口に言っても中身が違うかもしれません。会計学のトップジャーナルは主に欧米の学術誌なので、そこで扱われているデータの多くは米国やヨーロッパの企業のものです。日本の社会システムとは大きく異なるので、再現するときに、どこまで変化を許容するのかが大きな課題になります。
『会計科学』の意義
『会計科学』の大きな意義として、追試に特化することで、再現性の問題にわずかながらでも貢献できているのではないかと思います。具体的には、『会計科学』ではデータやコード、オンライン資料の公開を積極的に行って、他者が追試しやすい環境を整えています。
迅速な査読体制のために、投稿された研究論文の独創性や新規性を重視するのではなく、基本的には、追試の手続きの妥当性を重視しています。これによって、査読者の負担も少しでも軽減されればと思っています。
また、『会計科学』は紙媒体での配布はしておりません。オンラインですべて完結しています。
追試による学習効果もあります。たしかに追試研究はインパクトは弱いかもしれませんが、大学院生や若手研究者にとっては追試は非常に勉強になることが多いと思います。具体的には、データの取り方や扱い方、コードの書き方、論文の書き方に至るまで、学ぶことが非常に多いと思います。
『会計科学』の展望
最後に『会計科学』の展望ですが、一つには追試に特化したカンファレンスを実施できないかなと考えています。これを実施することによって、どの研究が再現可能で、どの研究が再現不可能かということを広く共有できるのではないのかと考えています。それだけではなく、そこでデータや分析ソフトの扱い方などを広く共有できれば、会計コミュニティに貢献できるだろうと考えています。
また、認知度の向上のために、積極的なオンラインでの情報発信、対面が可能になれば、学会や研究会の懇親会などでも積極的にアピールできればと考えております。
私からの報告は以上となります。ご清聴いただき、ありがとうございました。
天野（司会）—北田さん、ありがとうございました。質問が一つ届いています。「再現性のない結果が載るようなジャーナルにどのようなものがあるかというデータをお持ちでしょうか？ ハゲタカジャーナルにはやはり再現性のない、質の低い論文が集まっているというエビデンスはありますでしょうか？」ということです。
北田—そういったデータは持ち合わせていません。ただ、たとえば、会計学でトップジャーナルと呼ばれるものに載っている論文でも、日本のデータで分析したときに結果が再現できないこともあります。その原因は、データに問題があるのかもしれないですし、再現の仕方に問題があるのかもしれないですし、いろいろかと思います。
