稿件：econometrics666@126.com
所有计量经济圈方法论丛的code程序, 宏微观数据库和各种软件都放在社群里.欢迎到计量经济圈社群交流访问.
关于下方文字内容，作者：王雨舟，美国威斯康星大学麦迪逊分校计量经济学，通信邮箱：wang2555@wisc.edu
*读完这个之后再看看原文，内容非常丰富
作者之前的文章：1.全面比较和概述运用机器学习模型进行时间序列预测的方法优劣！2.社会网络计量经济学是什么？测度社会关系网中的同伴效应！3.拐点回归设计RKD概览, 及其开展实证研究的经典示例，4.2021年实证计量方法重点选题首次公开, 这可不可行？
Daniel Mangrum, 2019, You’re Not You When You’re Hungry: Measuring The Impact of a Supplemental Nutrition Program on Childhood Test Scores, https://www.danielmangrum.com/docs/FTF_current.pdfI estimate the impact of a supplemental nutrition intervention on math and language arts test scores at low income elementary schools in the Mississippi Delta. The intervention provided meals to students in order to replicate school breakfast and lunch over the course of the weekend. Using a difference-in-differences design, I estimate the effect of the intervention on the mean and the distribution of test scores. I find that treated students performed better on both language arts and math standardized tests. The average gains stem from a reduction in the share of students achieving at the lowest threshold and shifts toward higher thresholds. I also use administrative daily attendance data to estimate how the intervention affected attendance by day of the week. Attendance on Fridays improved likely due to the transfer incentive, however I find improvements in attendance on Mondays and Tuesdays which is evidence of improved nutrition over the course of the weekend.
用DID和DDD估计周末营养补充项目对学生表现的影响
实验背景
尽管美国联邦政府、州政府和地方机构在解决低收入家庭的温饱问题上花费了许多精力，但食物保障在美国仍然是公众关注的话题。以往的研究已对在校营养餐食对学生学业表现的影响和重要性进行了较为深入的探索，充分的理论和实证结果支持“营养缺乏不利于学生的长期发展”这一论点。然而，迄今为止多数研究都将关注点放在了在校餐食改进项目，还不曾有学者注意到学生非在校期间（如周末）的进餐情况或许也对学生发展有显著影响，进而通过在周末为学生提供营养餐的介入实验对该问题进行深入研究。自2010年以来，密西西比州的粮食不足问题一直非常严重，有约八分之一的家庭营养不良。Mangrum 以密西西比三角洲的学生为对象进行实验，效仿免费或减价午餐项目Free and Reduced Lunch Program (FRLP)的做法为实验组的学生提供周末餐食，随后收集实验前后的测试成绩和出勤数据进行分析。在Mangrum的设计中，实验组包含了Brooks Elementary 的三四年级学生、Stampley Elementary School 的三四五年级学生，其中超过9成的学生在FRLP的惠及范围内。根据调查问卷结果，两个学校半数以上的家长都反映了不同程度的食物缺乏问题。最后实验组总计有174个学生，被纳入实验组的学生需提交父母或监护人的正式签字同意确认书。他们在2011年9月30日和2012年5月18日期间的每个周五都会收到本周末的食物供给，也就是说只有他们在周五到学校上学的情况下才能够取得食物。
数据与模型选择
Mangrum 收集了密西西比教育局提供的Mississippi Curriculum Test, 2nd Edition (MCT2) 测试结果，包括07-08学年度至11-12学年度从三年级开始的语言艺术和初等数学测试。该数据以密西西比公立学校各年级为单位，并将分数按照三个临界值为标准分成低阶（Minimal），基础（Basic），熟练（Proficient）和高级（Advanced）四类，便于研究成绩分布的变化。此外，作者获取了密西西比公立学校从幼儿园到5年级学生在对应年份的出勤记录，将其转化为每注册学生平均一周的缺勤天数用以控制学校规模上的差异。作者还加入了其他项目中可能与食物不足状况有关的因素作为控制变量进行补充分析。首先，考虑到非实验组的学生可能受到实验之外的因素影响而在2011-2012学年度展现出更优异的成绩和更高的出勤率，同时为了排除家长和老师为了继续获得资助而作出较为正面的回答，作者采用DID模型对该补充营养计划对学生表现的影响进行估计。Mangrum对比实验组和密西西比总体的数据发现，实验组的学校平均测试分数较低，且两门测试中都有更高比例的学生处于低级和基础水平。实验组在周一和周五的缺勤率也较总体更高。与此同时，他们具有更高比例的黑人学生，更小的平均年级规模以及较高的“免费和减价午餐”项目符合比率。实验组与非实验组（untreated group）在平均成绩上的差异、及其与样本总体（full-sample）在趋势上的一致性使得Mangrum选择了样本总体（full-sample）而不是非实验组（untreated group）作为对照。考虑到选择偏差（selection bias），当实验组与非实验组存在系统性差异时，将非实验组的结果作为实验的反事实结果（counterfactual）是不合理的。为了寻找更加合理的对照组，作者从所有密西西比州公立学校中选择了在可观察数据上与两个实验组学校更相似的子样本，并运用匹配方法（Matching）进行DID分析。在匹配（Matching）过程中，实验组与对照组个体的近似匹配通常基于Probit或Logit等非线性模型。然而，非线性模型不适用于学校总数极少的本实验，边缘化的实验组数据使得匹配重合度非常低，将无法确保结果的准确性。因此，作者采用了马氏多元距离Mahalanobis multivariate distance（MD）从FRLP资格、年级规模和黑人比例三个维度对样本进行相似性度量，从而给与这两个实验组学校更相似的样本分配更多权重（Rubin,1980）。这种方法通过计算控制变量的样本观测值与实验组学校均值之间的差异，并以控制变量的方差-协方差矩阵的逆来加权，最终得到的以标准偏差度量的加权距离，衡量了相应匹配的变量值的单位相似度。通过MD matching的结果进行排序，选择前四分之一部分的学校，也就是与实验组学校相似度最高的前25%的样本组成新的“相似”对照组。
实证分析与结果
1.MCT2测试分数与成绩分布
针对餐食补充项目对测试分数的影响，Mangrum以学校为单位，允许年级之间的差异性。回归模型中固定了年级效应g、学校个体效应s和时间效应t，且引入学校固定效应与时间t的交叉项以表示同所学校分数随时间的线性变化。
这种方法的缺点是实验群组数量非常少，根据MacKinnon and Webb 的最新研究，这可能会导致偏低的标准差，从而高估原假设的拒绝域。针对这个问题，作者进行了3500次安慰剂模拟，每次从备选样本中随机抽取两所学校作为假想实验组，得到系数估计值后与真实估计值对比进行单边和双边检验，并分别计算p-value的样本均值。由于这种方法倾向于低估原假设拒绝域，单边检验反映了拒绝原假设的下界。
如图5所示，LA Score 和 Math Score的前两列和后两列分别是对样本总体和高相似度子样本的回归结果，其中偶数列是MD方法加权后的回归结果。提供周末餐食的实验组在两个测试上均表现出比对照组更高的成绩，且在LA 分数上的增长几乎是Math分数增长的两倍。根据RI-β 单边检验得到的p值，可在0.01的置信水平拒绝原假设，而依据双边检验的p值则无法拒绝。换句话说，在群组数量极小的情况下，拒绝域可能被高估，得出原有结论（在单边检验情况下的显著结果）有一定困难。
图六显示了各学校在四种分数等级分布上的变化。给予餐食补充的学校在两个测试中的低级占比都有所下降，高级占比上升，中间两个等级则在不同的测试中有区别性变化。总体而言，对考试成绩分布的分析表明，最低档成绩的学生有所减少并转向较高等级。在语言艺术方面，这些改进很大程度上来自基本等级学生占比下降并进入熟练等级。数学方面学生低等级分数占比下降，高级占比上升，但还需要更具体的数据来确定学生的具体流向。
2.缺勤率的差异性变化
除测试成绩外，作者还尝试探索了学生日常出勤受食物补充供给的影响。
与MCT2测试成绩的回归模型稍有不同，作者在这里采用了Difference-in-Difference-in-Differences（DDD）方法进行估计。如前文所述，在测试成绩方面，可观测数据中只包含3-5年级的数据，与实验对象年级范围相同，因此实验组学校内部无法进行不同年级的对照。而在缺勤率方面，Mangrum收集到了3-5年级（treated grades） 和未做实验处理的K-2 年级（untreated grades） 数据，因此可加入第三重差异，不同年级间的对照。根据推测，周末获取更多的营养应当使得学生在周一有更好的状态从而缺勤的可能性降低，而由于周五需要到校领取食物，当天出勤率也应当有所增加。
图7列出的估计结果与猜想一致。不论是非匹配加权还是匹配加权的结果都表明，实验组的学生表现出更低的缺勤率。同时，缺勤率下降最明显的是周五，缺勤率降低了20％至23％，且此结果在单边和双边检验下都在5％置信等级下显著。此外，星期一是实验组最经常缺课的日子，而营养干预可以将星期一和星期二的缺勤率降低约15％，仅次于周五。
小结
本文作者Mangrum运用了DID和DDD方法来估计营养的改善如何影响生活在美国食物最不安全地区——密西西比州的小学生。尽管对每名学生在餐食补充上的总支出相对较小，但测验分数和出勤率增长的估计值很高。实验组学校3-5年级的学生在语言艺术和数学上均具有较高的平均测验分数，语言艺术的平均分数的提高高于数学的分数，且该干预措施能够将该两所学校考试分数与州平均水平之间的差异缩小约70％。此外，作者发现实验组学生周五的出勤率较对照组有最大幅度的提升，学生在一般缺勤率最高的周一也表现出更好的出勤情况。Mangrum的研究再次证实了充足的营养获取对学生表现及人力资本供给的重要性。同时，他从以往研究者未曾关注过的角度进行实验与推测，为政策制定者提供了一种低成本但收益颇丰的可行方案。按照每个食品包3.63美元进行估计，即使加上行政费用，在一学年内为学生提供周末餐食的费用很可能仍低于每人500美元，满足Kraft（2018）对“低成本/重大影响”的定义。正如作者所说，这项研究的有效性可能相对有限，没有粮食不足问题学生不太可能做出与缺乏营养学生相似的反应，因此他所建议的政策不一定广泛适用于美国其他州县。尽管如此，这项研究对于整个密西西比三角洲的政策制定具有建设性意义。
