联合分析的结果验证（上）

在联合分析被广泛使用的今天，客户经常会问到两个极具挑战性问题：

1.     你如何保证联合分析的模型分析结果是准确的？（潜台词：你不会算错了吧！）

2.     联合分析的市场模拟结果准确么？为什么联合分析模拟出偏好份额和实际的市场份额差异较大（潜台词：联合分析模拟的偏好份额不准确啊！我如何向我的同事和老板解释？）

这两个问题实际牵涉到了联合分析结果的校验问题（Validation）。今天我们就来谈谈这个尖锐的问题。

就模型的校验本身而言，存在两个维度的校验，而且恰好应对上面的两个问题：

1.     模型对调研数据自身拟合程度的校验，也称为内部校验（Internalvalidation）

2.     模型对实际的市场销售数据的校验，也称为外部校验（Externalvalidation）

本文先来谈谈如何联合分析的内部校验（Internal validation）问题。

通常的联合分析模型的拟合标准是R-square（针对打分评测方式的联合分析）或RLH（Root LikeliHood，针对基于选择的联合分析）。这种拟合是将基于随机任务数据构建的模型的预测结果与消费者随机任务部分的实际评价相比较。可以看到，这种拟合评价标准实际是一种回判。即便拟合程度很高，也只能说明该模型估算的效用值对当前的，用于建模的数据奏效。而更好的校验标准应该是模型估算结果对其他数据（不用于建模的数据）是否能准确预测。更简单地说，我们不能仅仅看模型估算结果对“训练数据（training data）”的预测准确度，更要看模型估算结果对“测试数据（testingdata）”的预测准确度。

在联合分析出现的那一天起，研究者就一直在关注联合分析估算结果对非用于建模的数据的拟合优劣程度（内部校验）。内部校验的原理是在随机实验设计里插入一些事先设计好的“固定任务”作为“hold-out”。这些“固定任务”的选择数据并不参与建模分析过程。联合分析的模型估算结果（基于随机设计部分的数据）和这些“hold-out”的信息进行比对，以判断模型估算结果的准确性。

固定任务如何设置：

我们知道，联合分析的问卷一般都比较长，通常CBC仅在随机任务部分就可能需要消费者回答6-20个选择题。如果再增加几道固定任务，可能会加重受访者的负担。因此，有些客户或研究人员往往会倾向于不设置任何固定任务。但是这样做的弊端很明显：一方面，客户和研究人员都无法得知基于随机任务数据估算的结果是否准确（想质疑结果错误的不知道该如何质疑，想证明结果准确的不知道该如何证明）；另一方面，如果需要对偏好份额模拟进行调整，不知道该向那个方向调整。

因此，建议大家不论在做何种形式的联合分析时，必须设计一些“固定设计”的题目让消费者回答，以在后期对模型估算结果进行必要的校验和修正。一般来说，至少需要1-2个固定任务；如果属性很多且后期偏好模拟的工作很多，则需要3-5个固定任务。

至于固定任务中的概念产品应该如何设计，这个可以按照调研需要来设置。通常在固定任务中出现的概念产品往往是客户或研究者最关心的一些产品，例如放置市场上实际存在的主流产品（并且价格也定在市场平均售价），或者放置调研最关注的一些概念产品。

以CBC（ChoiceBased Conjoint）为例，假设每个消费者需要回答8个随机设计的问题（Random task）。如果需要进行内部校验，则需要增加几个（一般1-5个）事先定义好的问题（Fixed task），每个受访者看到的这些“固定的”问题中所出示的概念产品都是一致的。例如，如果我们增加两个“固定任务”，其中第一个固定任务中出示的总是概念产品A/B/C/D,而第二个固定任务中出示的总是概念产品A/C/E/F。固定任务一般插在随机任务中，如果只有两个固定任务，一般可以插在第1个随机任务和第4个随机任务之后。

精彩全文请点击：联合分析的结果验证（上）