研修企画担当者なら覚えておきたい
教育効果の測定方法と手段
 |
堤 宇一 つつみ ういち 特定非営利活動法人学習分析学会 副理事長 熊本大学大学院 社会文化科学研究科教授システム学 博士課程前期修了。専門テーマは「教育効果測定」「インストラクショナルデザイン」。㈱日立総合経営研修所に勤務しながら産業人教育の品質向上を目指し、講演、執筆、コンサルタントとして活動中。著書に『はじめての教育効果測定』（編著）（日科技連出版社、2007）、『教育効果測定の実践』（編著）（日科技連出版社、2012）、『越境する対話と学び』（共著）（新曜社、2015）など |
筆者は、教育効果測定プロジェクトの支援の際や教育効果に関する講演会などで、「教育効果はどうやって測定するの？」「アンケートで正確に効果を測定できるの？」「アンケート以外に教育効果を測る方法は？」といった質問をいただくことが実に多い。これらはいずれも測定方法に関する問いである。今回、そのような疑問に応えるために、筆者の経験も踏まえ、教育効果を測定するための方法と手段の選択ポイントを考えてみたい。
教育効果を測定する代表的な方法
教育効果の代表的現象に「知識量の増加」が挙げられる。"増える"という表現を用いているが、物理的増加のそれとは大きく異なる。"教育効果"とは、教育施策が個人や組織に与える影響のことを指す。"影響"とは、学習者の内面に生じた気持ちの変化やテスト回答の正解数の変化などを表す。
教育効果は実体でなく抽象概念である。概念を測定する方法研究に豊富な知見を有するのが心理学である。そこで、教育効果測定では心理学の知見を活用し、調査活動を実施することが多い。その代表的な方法がアンケート（質問紙調査）であり、その他のポピュラーな方法として「インタビュー」「理解度確認テスト」「観察」「論述試験」などが挙げられる。心理学分野と異なる測定方法としては「アクションプラン」「シミュレーション」「パフォーマンステスト」などがある。
多様な測定手段から妥当な方法を選ぶための留意点は多数あるが、主な要点として三つ挙げられる。一つめは研修で獲得したい教育効果の水準である。二つめは学習成果の質である。そして、三つめが測定対象人数である。以降は、それぞれのポイントについて説明していこう。
教育効果の水準
先に教育効果の定義について紹介した。その効果の典型例として挙げたのが「知識量の増加」である。他にも影響としてさまざまなものがある。それらの影響をモデルとして体系化したのがD.カークパトリック博士（1959）であり、「レベル4フレームワーク」と呼ばれ、世界で最も有名なモデルといっても過言ではない［図表］。
［図表］カークパトリックのレベル4フレームワーク
教育の影響（効果）を四つの水準に整理し、各水準を"レベル"と表現した。レベル1をリアクション（Reaction）と呼び、「学習者の研修の受け止め方」を効果と定義した。研修受講を好意的に受け止め、満足が高ければ「良」とする考え方である。レベル2はラーニング（Learning）と呼ぶ。研修の主機能は、意図する知識やスキルを学習者に獲得させることである。レベル2では、「狙いどおりに知識やスキルを身につけること」を効果と定義した。先ほど述べた「知識量の増加」は、この水準に位置づけられる。レベル3はビヘイビア（Behavior）といい、研修で獲得した知識やスキルを学習者が職場で活用している状況や期待行動が実践の場で発揮されている状態である。そして、最後のレベル4はリザルト（Results）である。組織パフォーマンスの向上やコスト低減といった「組織業績」を効果と定義した。
この枠組みのどこのレベルを今回の教育で狙い、具体的にはどんなことが起これば効果があったとみなすのかを決定することで、教育と教育効果測定はスタートする。教育実施後は、期待した状態になったかを見極めるために適切な測定手段を用いてデータを収集する。例えば、期待する教育効果を「知識量の増加」（レベル2）に設定したなら、理解度確認テストなどを測定手段として用いるし、「新規開拓活動の質と量を高めること」（レベル3）としたなら、研修受講中に立案したアクションプランを用いて、その実行度合いやクライアントとの関係性の変化などを測定するのが妥当といえる。このように教育のゴールをどのレベルに設定し、どんなデータを収集したいのかによって用いる測定方法や手段は変わってくる。
学習成果の質
仮に教育効果をレベル2に設定したとしても、理解度確認テストを用いればよいといった単純なものではない。ここで大切なのは、どのような学習成果を獲得するのか、学習成果の"質"を吟味することである。
自動車運転を例に考えてみよう。自動車運転に求められる能力をざっくり整理すると、「交通ルール・法規といった知識」「ハンドル操作、ブレーキ操作技術や車幅感覚といった技能」などがある。そのほかにも「運転に対する安全意識や態度」も忘れてはならない。ここに挙げたとおり、必要となる能力（学習成果）には質の違いがあり、この質の違いは教育方法の違いを要求する。そのため自動車教習所では、一般に交通ルールや法規の学習は座学形式で行い、運転操作技術は実際に自動車を運転させる実技訓練を行う。安全意識や心構えの強化などは悲惨な事故の写真を見せたり、シミュレーションなどでショックを与える方法が用いられる。もちろん、そうなると能力の質に合わせた測定方法や手段が用いられる。知識確認であれば理解度確認テストを実施し、技能であれば実技試験を行いスキルのマスター度合いを測り、態度であれば、確認のしぐさや注意の払い方などを観察法を用いて測定する。これらの質の違いの分類を「タキソノミー」（教育目標分類学）と呼び、認知的領域（cognitive domain）、情意的領域（affective domain）、精神運動的領域（psychomotor domain）の三つに分類することが一般的である。
測定対象人数
半年や1年、あるいは数年という長期間にわたり実行され、心構えや価値観に影響を及ぼそうとする教育と、数日間の定型プログラムで知識付与や思考訓練を目的とした集合研修とでは、教育の設計思想やスペックがまったく異なる。定型プログラムはインストラクターのスキル熟練度や開催会場という微妙な差はあるものの、一律のコンテンツを大量の学習者に提供し、学習者全員に同じ効果を得させようとする。反対に、サクセッションプランニングや海外留学といった長期間にわたる教育は、その大筋は決まっているものの、学習者一人ひとりの状況や特性を鑑みた課題や試練を与え、能力開発を行う。とても丁寧なしつらえといえる。このような教育を与えられる学習者は限定的で、数は少ない。また、学習者ごとに体験する学習活動は多様かつ個別的で、学びの意味やゴールが異なる。
教育の目的や活動の性質上、対象人数が違ってくるのは当たり前といえる。測定ツールにも大量のデータを収集するのに適したものと、そうでないものがある。大量データの収集と分析に適している手段の代表がアンケートである。知識確認テストの中でも、○×式や選択式は大量データの収集・分析に向いている方法である。逆に該当者が少なく、個別限定的な内容を収集し、深い分析を得意するものとして面接法や論述試験が挙げられる。このように測定対象人数の違いも測定方法を検討する際の重要な留意事項になる。
以上、検討してきたように、教育効果測定はさまざまな観点から考え、妥当な測定方法や手段を選択する必要がある。不適切な方法や手段では、調査活動自体が無駄な行為に終始してしまうことを、企業における研修企画担当者は事前に理解しておかなければならないだろう。