如何设计能支持产品决策的实验。
开展实验前定义假设、测量方式和解释方法。考虑什么结果会改变决策,而不仅是确认想法。
按任务需求调整流程。
测试启动前说明拟议机制、比较方式和结果指标。定义什么会改变产品决策,并记录样本、观察窗口和解释上的实际限制。
- 你需要提供什么
- 假设、指标和限制。
- 你会得到什么
- 包含成功与停止标准的实验设计。
查看输入和结果。
演示用输入和输出 · 教学示例,并非 WebAct 实时运行结果
示例 个输入项
Design a formative experiment for the hypothesis that previewing changed rows reduces incorrect approvals. Use comparable invoice-review tasks, current and proposed views, and record correct completion plus incorrect approvals.
完整示例
Hypothesis: the preview makes changed rows easier to identify before approval. Comparison: current view versus proposed preview on comparable tasks. Primary observation: incorrect approvals per review attempt. Additional observations: correct completion and time needed to finish. Controls: keep task difficulty and instructions comparable; vary order to reduce a simple practice effect. Decision: investigate whether observed differences support further testing; sample size and evaluation window must be agreed before running the study.
将这份输入载入提示词,再复制到 WebAct 中尝试任务。实际结果可能与示例不同。
决策与问题排查。
实验只应测量想要的正面结果吗?
应加入相关失败指标或护栏指标。一项指标改善,可能以其他用户体验受损为代价。
为什么正面结果没有回答原始问题?
检查测试是否同时改变了多件事,或测量了与决策无关的代理指标。将结论限定在实际观察到的范围内。
使用自己的资料试一试。
将任务提示词中的示例换成你的材料。保留所需条件,再把任务复制到 WebAct。
自定义并复制任务 ↑