Step 9: データの分析(SIM第3ステージ:効果の把握)

Step 9: データの分析(SIM第3ステージ:効果の把握)

収集したデータの検証・分析を行い、事業実施により実際にどのような変化が生じたかを確認します。また、必要に応じて、投入されたインプットとアウトカムとを比較することで事業の効率性を検証します。

ⅰ データ検証・分析/指標・測定方法の有効性の検証

  • 設定した成果目標に到達しているのか、想定した成果が発現しているかを確認します。もし成果が確認されなかった場合は、阻害要因は何かを分析します。事業対象者・受益者の特徴、カテゴリー別に結果を分析し、目標の見直しなどを行うことなどを検討します。
  • 使用している指標や測定方法が有効なものであるかを確認します。変化を的確に捉えられているか、新たな指標が必要なアウトカムはないか、などを検討します。
  • 指標は他団体や他事業でも共通して使用しているものがあればそれらを活用し、比較検証が行えるようにします。

(作業例)

  • 計画段階で描いたロジックモデルやセオリー・オブ・チェンジに表わした因果関係や事業戦略に照らし合わせて、計画のロジックが正しかったかを検証する。
  • 用いた指標で意図した成果を測ることができたか、ほかにより適切な指標があったかを検討する。
  • 投入したインプットは、意図した成果に照らして適切だったか、投入の仕方やタイミングは適切だったか検討する。

ⅱ 重要視すべき変化・成果の検証

収集したデータをもとに、ステークホルダーごとに、どの成果が重要であるか、インパクトを生み出しているかを検証します。事業を行わなかったケースを想定することも含め、事業のアウトカムを総合的に俯瞰できるようにします。

(作業例)

  • 事業による介入前(ベースライン)と介入後を比較検討してみる(計画段階から前後比較の準備・作業を行っていた場合)。
  • 事業による介入があった群となかった群を比較検討してみる(計画段階から「インパクト評価」の準備・作業を行っていた場合)。
  • 事業対象者・受益者のなかで、実施した事業による正負の影響が大きかった層とそうでない層を峻別して、その違いがどこに起因するのか検討する。
  • その他のステークホルダーごとの事業の成果の大小のばらつきをチェックして、事業の成果に関する総合的な判断に活用する。

ⅲ 事業の振り返り

事業プロセスにおいて、留意点、想定外の状況、予期しなかったインパクト、改善点、予算の使い方と効果、スタッフの学び、新たに登場した関係者、新たな課題などを振り返り、とりまとめます。

(作業例)

  • 適切な話し合いができるような場を用意し、話し合いに参加すべきステークホルダーを特定し、効果的なファシリテーションを行う。
  • 評価目的、評価設問に沿って評価結果を特定し、「インパクト・レポート」としてまとめられるように準備する。

以上の作業を経て、

  • 目標対結果の分析表
  • 結果とその分析から得られた考察をまとめたレポート
  • 事業目標や事業の実施方法を変更するべきか否かの提案

を作成できるようにします。

関連コラム

インパクトの評価の考え方

ベースラインデータとの比較と要因分析

インパクト評価について

インパクト考察の注意点

スタッフの能力とトレーニング

データの解釈と結論の抽出

注意すべきポイント

  • 効果の検証を有効かつ有用なものとするために、以下の点に特に注意する。
  • 事業の成果を検討するだけの必要かつ十分なデータが収集されているか。また、データは客観性、偏りなどの観点から適切なものか。
  • アウトプット指標に関するデータ、アウトカム指標に関するデータの峻別ができているか。

5+2原則の留意点

b. 重要性(マテリアリティ)事業の効果の検証にあたっては、事前にその重要性について合意したアウトカムを検討する。その他のアウトカムについて検討する場合は、いかなる理由で事前に重要でない(「マテリアル」でない)と判断されたか、そしてなぜこのステージで検討必要と判断すべきかを確認したうえで検討する。
c. 信頼性収集したデータを分析するにあたっては、分析結果の妥当性を高めるように事前に計画された手法を用いて分析を実施する。また、その際はできる限りシンプルな分析を行う。
d. 透明性分析が正確かつ誠実になされたことを事後的に検証したり報告したりできるようにするため、分析のプロセスを記録し、他者による分析の再現可能性を確保する。

「+2原則」(以下は、インパクト・マネジメントの目的に応じて適用させる)

f. 経時的比較可能性同じ事業や取り組みについて過去に分析を行ったことがある、あるいは、今後も分析を行うことが期待される場合には、比較が可能となるよう、期間、対象、活動、評価方法などを一貫させることが望ましい。ただし、一貫性を尊重するあまり、評価手法の改善を妨げてはならない。
g.  一般化可能性分析による知見を、同一分野の他事業、その他の地域、対象分野などに応用可能なものとするため、分析にあたっては、同様の介入の効果に関する先行事例や科学的知見を参照して、同様の介入の効果に関する知見の積み上げに寄与する。
TOPに戻る