近出现了一些关于从业者在线性模型中存在异方差时应使用哪些标准误差的讨论。讨论引起了作者的兴趣，所以作者重新审视了现有的文献。作者将提供理论和模拟研究的概述，以帮助大家回答这个问题。作者还将展示了模仿或扩展一些现有模拟研究的模拟结果。将分享用于模拟的 Stata 代码，希望它对那些想要探索各种标准误差估计器在与您的研究相关的情况下如何执行的人有用。

从作者的模拟练习中，得出结论，在不同样本大小和异方差程度的所有可能组合中，没有一个估计量的方差协方差矩阵 (VCE) 比其他矩阵受欢迎。例如，如果我们扩展 MacKinnon (2012) 的仿真设计以包括离散协变量，在某些情况下，当我们使用 Stata 的 vce提供的 Huber/White/sandwich VCE 时，离散协变量系数的 5% 拒绝率是好的（稳健的）选项。对于连续协变量，结论是不同的。

从文献中，出现了两个实际考虑。首先，在存在异方差的情况下，仅将样本量作为标准不足以获得准确的标准误差。重要的是每个回归变量的观察次数。如果您有 250 个观测值和 4 个回归变量，异方差一致性标准误差估计量的性能可能会很好。如果您有 250 个观察值和 10 个回归变量，这可能不再成立。同样，如果您有 500 个回归量，则拥有 10,000 个观察值可能还不够。随着参数数量的增加，持续估计它们所需的信息也会增加。此外，随着每个回归量的观察数量变小，所有当前的异方差一致性标准误差都变得不准确，正如所讨论的那样 Cattaneo、Jansson 和 Newey (2018)。

其次，远**平均水平的杠杆点很重要。杠杆点是协变量的函数，用于衡量观察值对普通小二乘拟合的影响程度。杠杆点介于 0 和 1 之间。杠杆点 1 具有杠杆作用，因为回归线在协变量方向上的方向完全由协变量决定。杠杆为 1 的点的估计残差为 0。模拟证据表明，当设计中不存在高杠杆点时，异方差一致性标准误差的性能会提高，如 Chesher 和 Austin (1991) 中所述。

这两个考虑是相关的。杠杆点的平均值等于回归变量的数量除以观测值的数量（每个回归变量的观测值的倒数）。对于固定数量的回归器，随着样本量的增加，杠杆的均值和具有大值杠杆点的概率会降低。因此，对每个回归变量进行足够的观察可以减少与高杠杆点相关的问题。

总而言之，当我们考虑稳健的标准误差时，相关的指标是每个回归量的观测值数量。如果每个回归变量的观察数量很少，无论样本大小如何，我们的推论都可能不精确，即使我们使用异方差一致的标准误差来纠正偏差也是如此。如果您要估计的每个参数都没有足够的数据，则没有灵丹妙药可以为您提供可靠的推断。

历史和直觉

当我们考虑线性模型中异方差一致的标准误差时，我们会想到 White (1980)。White 工作的主要结果是，即使我们无法对 VCE 的某些单独组件进行一致估计，我们也可以获得对 VCE 的一致估计。正如 MacKinnon (2012) 所提到的，这是一个开创性的见解，并导致了标准误差估计方面的其他重要发展。

然而，怀特的结果是渐进的。当您在某些规律性条件下有大量样本时，它们是合适的。“在某些规律性条件下”这个短语没有任何善意。这是事情变得棘手的地方，也是我们需要探索需要满足什么才能信任我们正在使用的工具的地方。

怀特的估计量有偏差。与许多渐近结果一样，偏差会随着观察次数的增加而减少。MacKinnon 和 White (1985) 提出了三个渐近等价估计量来解决怀特的异方差一致标准误差的小样本偏差。

估计量背后的直觉是小二乘残差往往会低估真实误差。所提出的解决方案都通过增加方差的个体估计的权重来解决这个问题。这些估计量中的**个 HC1 是阶数的自由度调整 n / ( n - k )， 在哪里n是样本量和k是回归量的数量。当你使用 vce(robust) 时，你会在 Stata 中得到这个。其他两个估计量是 HC2 ( vce(hc2) )，它校正在同方差下出现的残差方差偏差，以及 HC3 ( vce(hc3) )，一个折刀估计量。MacKinnon 和 White (1985) 发现，对于小样本量，HC2 和 HC3 在他们的模拟中表现优于 HC1，并且 HC3 是可以选择方案。

HC2 和 HC3 是矩阵对角元素 hii 的函数

hii也被称为杠杆点。相对于hii的平均值，高hii对回归平面的方向施加了多的影响。例如，杠杆为1的点位于回归线上。HC2和HC3以高的杠杆赋予观测残差高的权重。

Chesher 和 Jewitt（1987）以及 Chesher and Austin（1991）研究了 MacKinnon 和 White（1985）提出的估计值的偏差。偏差的显式形式是hii的函数。Chesher 和 Austin（1991年）的一个有趣的结果是，MacKinnon 和 White（1985年）的模拟“包含一个适度杠杆点”，一旦去除，这使得“所有使用异方差[-]一致协方差矩阵估计的测试都表现良好”。

Long和Erwin（2000）提供了关于异方差一致性标准误差使用的建议。像MacKinnon和White（1985）一样，他们发现HC3在小样本中表现好。他们还建议，在MacKinnon和White（1985）中研究的不同VCE估计值在250次观测后开始等效。这一发现在他们的模拟设计中是一致的。数字250不是随机的。他们的设计有五个回归。在250次观察之后，每个回归方程有50次以上的观察。这是一个重要的考虑因素。在10个回归和异方差的情况下，250个观测值可能不够。

Cattaneo、Jansson 和 Newey（2018）的理论和模拟结果说明了对每个回归进行足够观察的重要性。他们研究k/n的渐近关系。尽管他们的结果是针对不同的框架，但他们表明，当n/k很小时，上述所有估计的性能都很差。

Long 和 Erwin（2000）以及 Cattaneo、Jansson 和 Newey（2018）的研究结果与 MacKinnon 和 White（1985）、Chesher 和 Jewitt（1987）以及 Chesher and Austin（1991）的结果密切相关。他们是通过 hii 联系起来的。hii 的平均值是 k/n。因此，杠杆点的平均值也是一种查看我们需要多少信息来恢复规范中的每个k个参数的方法。

模拟结果

下面，作者给出了三组模拟结果。**个遵循 MacKinnon（2012）的精神。第二个遵循 Long 和 Erwin（2000）的精神。第三个是 Angrist 和 Pischke（2009）。在模拟中，作者比较了HC1、HC2、HC3和 wild bootstrap (WB)。模拟中的WB采用了空假设，用于999次复制，并使用 Rademacher 权重。

MacKinnon（2012）模拟考察了HCk类（HC1、HC2和HC3）和WB中异方差一致标准误差的性能。他认为误差项εi为

γ=0表示无异方差，γ值≥1表示高异方差。协变量不相关且对数正态分布。下面的模拟（称之为 MacKinnon 型模拟）遵循相同的结构，但也包含离散协变量。

Long和Erwin（2000）也通过将误差项乘以协变函数来创建方差。然而，它们允许协变相关，并包括离散协变。此外，所有协变量的分布也不同。对于某些设计，误差项来自正态分布，而对于其他设计，则来自χ2分布。下面我称之为Long和Erwin型模拟的模拟遵循了相关协变量的思想，使用χ2分布的误差项，并具有来自不同分布的连续和离散协变量。然而，与Long和Erwin（2000）不同，我在乘以误差项的表达式中包含所有协变。

Angrist和Pischke（2009）模拟仅针对一个二进制变量。它们引入了异方差性，允许方差根据协变的值而变化。此外，零和一的比例是倾斜的。我遵循相同的设计，但探索不同样本大小的行为，而不是像Angrist和Pischke（2009）那样的30个样本大小。

作者选择这三组模拟的原因是试图涵盖文献中具代表性和广为人知的结果。作者将它们扩展为包含我想要考虑的特征，例如离散协变和包含所有协变的异方差形式。这些修改很小，但提供了与原始规范不同的直觉。

用于模拟的do文件在附录中。

MacKinnon 型模拟

作者对3个样本大小（100、1000和5000）和4个异方差水平进行了模拟：低（γ=0.5）、中等（γ=1）、高（γ=1.5）和非常高（γ=2.0）。在所有情况下，我们都试图恢复六个参数。正如MacKinnon（2012）所建议的，两个参数与对数正态分布连续变量相关。其他四个参数来自两个具有三个类别的分类变量（基本类别除外）。作者只保留VCE为全等级的模拟绘图。在几次模拟中，失去了2000次重复中的一次，因为矩阵不是满秩的。

当N=100时，每个回归方程的观测值数量（N/k=16.66）很小，这使得所有估计量的推断都具有挑战性。对于每个模拟绘图，我计算杠杆点的大值。对于所有级别的异方差，杠杆的平均大值约为0.46，对于某些模拟绘图，杠杆的大值达到1。

当N=1000时，每个回归器的观测值数量（N/k=166.66）稍大，推断开始变得准确。所有平局的杠杆大值现在在所有异方差水平上的平均值约为0.20，大值在0.78和0.87之间，取决于异方差水平。推断仍然具有挑战性，我们在N/k=16.66时观察到的一些问题仍然存在。

当N=5000时，每个回归方程的观测数为N/k=833.33，并且对于所有估计量，推断变得加准确。所有平局的杠杆大值现在在所有异方差水平上的平均值约为0.10，大值在0.6和0.82之间，取决于异方差水平。即使对于这种样本大小，在某些设计中，杠杆点也可能很高。

下面，作者给出了模拟结果。将讨论分为与连续协变相关的系数和与分类协变相关联的系数。

详细内容请浏览器搜索【北京友万信息科技有限公司】

北京友万信息科技有限公司专注于Minitab,Stata,SPSS等