パイロットテストを最初に効果的に実施する方法は?

これは、誰かが参加者として立っている研究のリハーサルです。実際の参加者とセッションをやり取りするかのように実行しますが、データは破棄します。目的は、あなたのテクニックに問題があるかどうかを確認し、関連する手順についていくつかの練習をすることです。その後、テクニックとディスカッションガイドに変更を加えることができます。

パイロットテストではどのような問題が見つかりますか?

パイロットテストは、次のような研究計画と方法の問題を見つけるのに役立ちます。

• 参加者は、あなたが彼らに何をするように求めているのかを理解していますか?
• タスクの言い回しは答えを与えていますか?
• あなたの質問やタスクは偏っていますか?
• あなたの質問やタスクは、あなたが必要とする種類の情報を引き出していますか?
• 繰り返しの質問や不必要な質問、または排除できるタスクはありますか?
• プロトタイプでタスクを完了できますか、それとも特定の画面、状態、またはインタラクションが欠落していますか?
• セッションにはどのくらいの時間がかかりますか?

Choosing the Pilot Test Participant

一部の研究では、同僚、友人、親戚など、ほぼ誰でもパイロットテストの参加者として使用できます。たとえば、旅行予約サイトなど、一般的な消費者向け Web サイトのパイロット ユーザビリティ テストを行っている場合、ほぼすべてのユーザーを使用できます。特別な知識や経験がなくても大丈夫です。

ただし、一部のテストでは、使用する実際の参加者のプロファイルにぴったり合うパイロットテスト参加者を取得するのが最善です。たとえば、税理士が使用するソフトウェアのユーザビリティ テストを実施する場合は、そのアプリケーションを使用するために必要なドメイン知識を持つパイロット テスト参加者を取得するのが理想的です。自動車購入サイトを利用している人々の調査など、一見単純なことであっても、今後3か月以内に自動車の購入を検討している人々のユーザープロファイルに適合するパイロットテスト参加者を用意するのが最善です。あなたの質問が自動車購入者の動機やサイトの使い方に大きく関係している場合、プロフィールに合わない人からは非常に異なる答えが得られます。このような状況で、プロファイルに合わないパイロット参加者を使用すると、質問が関連性があるかどうか、興味深いディスカッションを生むかどうか、またはセッションにどれくらいの時間がかかるかを十分に把握できません。

最初のセッションをパイロットテストにすることはできませんか?

特にパイロット テストを実施しない場合は、最初のセッションがパイロット テストになります。そこで、メソッド、タスク、および質問の問題点を見つけることができます。最初の参加者が問題を見つけるのを待つことの問題は、次のセッションまでに変更を加える時間があまりないことです。1回目と2回目のセッションの間の短い時間で小さな変更を加えることができるかもしれませんが、大きな変更を加えるには遅すぎます。

The Ideal Pilot Test

理想的には、最初のセッションの少なくとも1日か2日前にパイロットテストを実施します。パイロットテストを実施するために、すべてのスクリーニング基準に一致する追加の参加者を募集します。すべてがうまくいけば、その人のデータを保持できます。問題を見つけた場合は、公式の研究セッションが始まる前に修正することができます。

新しい研究活動のテスト

パイロットテストは常に便利ですが、新しい手法を試す場合は特に重要です。例えば、私は以前、参加者を小さなグループに分けて、ポストイットに作業プロセスを説明するグループワークショップを開催しました。私たちは、これをグループ活動として一緒に行うのは難しすぎることがわかりました。彼らは時間を使い果たし、それは最高の経験ではありませんでした。その後のワークショップでは、各参加者が個別に作業を行い、自分の作業プロセスを説明することになりましたが、これははるかに簡単で効果的でした。実際、私たちの最初のワークショップは、意図しないパイロットテストとして成功しました。しかし、パイロットテストとして計画し、参加者を減らしていれば、もっと良かったでしょう。

パイロットテストが重要な理由

調査研究がどれだけうまくいくかは、最初のセッションまでわかりません。パイロットテストでねじれを解決する方が、最初のセッションよりもはるかに優れています。もちろん、パイロットテストをスキップして逃げることもありますが、すべてがうまくいきます。しかし、物事がうまくいかない場合、それはもっと早く発見できたかもしれませんが、最初にパイロットテストを実施しておけばよかったと思うでしょう。