製品の意思決定に役立つ実験の設計方法。
実験前に仮説、測定、解釈を定めます。案を支持する結果だけでなく、意思決定を変える結果も考えてください。
作業手順をタスクに合わせましょう。
開始前に想定メカニズム、比較方法、成果指標を示します。製品の判断を変える条件を定め、サンプル、観測期間、解釈の実務上の制約を記録します。
- 用意するもの
- 仮説、指標、制約。
- 得られるもの
- 成功・中止基準を含む実験設計。
入力と結果を確認しましょう。
説明用の入力と出力 · 実際の WebAct 実行ではない学習用サンプル
入力項目サンプル個
Design a formative experiment for the hypothesis that previewing changed rows reduces incorrect approvals. Use comparable invoice-review tasks, current and proposed views, and record correct completion plus incorrect approvals.
完成例
Hypothesis: the preview makes changed rows easier to identify before approval. Comparison: current view versus proposed preview on comparable tasks. Primary observation: incorrect approvals per review attempt. Additional observations: correct completion and time needed to finish. Controls: keep task difficulty and instructions comparable; vary order to reduce a simple practice effect. Decision: investigate whether observed differences support further testing; sample size and evaluation window must be agreed before running the study.
この入力をプロンプトに読み込み、WebAct にコピーして試してください。結果は掲載例と異なる場合があります。
判断のポイントとトラブル対処。
望む良い結果だけを測ればよいですか？
関連する失敗指標やガードレール指標を含めます。一つの改善が、別のユーザー体験に悪影響を与えることがあります。
良い結果でも元の問いに答えられない場合は？
複数の要素を変えたか、判断に無関係な代理指標を測ったか確認します。主張は実際に観察した範囲に限定してください。
自分の資料で試しましょう。
タスクのプロンプト内の例を自分の資料に置き換えてください。必要な要件を残し、タスクを WebAct にコピーします。
タスクを調整してコピー ↑