他炮制了一篇“钓鱼”研究,把无数人耍得团团转,包括你!

约翰·博安农(John Bohannon)又干了桩大件事。 

(在你问他是谁之前……)博安农是牛津大学的分子生物学博士,Science和Wired的撰稿人,也是个脑洞很大的奇葩。他的个人网站列出了他曾干过的一些大事  以“实验”和“结果”的形式

🔽

亲手打造“垃圾”研究:

黑巧克力能减肥?

事情的起因是这样的。2014年,两位德国电视记者,彼得·翁嫩肯(Peter Onneken.)和黛安娜·勒布尔(Diana Löbl),想拍个关于减肥食品业界的纪录片。

翁嫩肯研读了欧洲的S3膳食指南,发现许多制定指南的专家受雇于减肥公司或食品公司,并在指南中推荐雇主的特定膳食。他们私下联系了其中的几位专家,有人承认某些研究做得不够好——这有点太轻描淡写了,翁嫩肯觉得有些研究简直就是垃圾。而这些垃圾研究被冠以科学之名,登上媒体头条,在全世界广为传播,然后一些奇怪的膳食就能大卖特卖……

于是,翁嫩肯就找到了博安农商量:单纯揭露批判,总觉得力度不够,不如我们按照这些套路,自己动手搞个垃圾膳食研究?

这种闷声发大招,搞个大新闻的事情,博安农最擅长了!

两人一拍即合。他们的“造假”步骤如下:

1、选择研究题目

翁嫩肯本来想搞个“啤酒有益身心”的研究。然而,他们的纪录片计划在德法两国播放,而法国对于电视上播放的喝酒内容,有很多法律规定……于是啤酒出局。

冈特·弗兰克(Gunter Frank) 医生是这次“研究”的主持者,他提出了一个新的“研究结论”——黑巧克力有助减肥。弗兰克说,人们对于难吃的东西有种朴素的信仰,总觉得好吃的就是垃圾食品,难吃的就是自然灵药……其实很多时候,苦味预示着有毒啊!演化给的自保本能,就这样轻易地丢掉真的好吗?

不管怎么说,“黑巧克力很苦很难吃,所以它肯定对健康有益”,嘛,就这么愉快地决定了!

2、收集数据

这帮人在Facebook上发了个广告,“吃三周指定饮食,赚150欧元”,并征来了15个志愿者——本来是16人,后来有一个中途退出的。然后把这15人随机分三组。对照组继续正常饮食,试验组I吃低碳水化合物饮食,试验组II吃同样的低碳水化合物饮食外加每天一条1.5盎司(约合45克)的81%的黑巧克力。

图 | pixabay

3、统计分析

他们找了个金融分析师朋友亚历克斯(Alex Droste-Haars)来分析数据,分析师喝着啤酒干了一个周末,发现数据简!直!完!美!

对照组体重基本不变,两个试验组平均体重都轻了5磅(2千克左右),经统计检验,差别显著。而且黑巧克力组的减肥速度还快了10%,此外,黑巧克力组的健康自评分数更高。

图 | pixabay

4、写论文,投论文

还记得博安农化身非洲学者一口气投中了157篇论文那次么?在挑选野鸡期刊上,他可有独到的一手心得。总之,他化名约翰尼斯·博安农(Johannes Bohannon)投了20家期刊,在24小时内就接到一大堆录用通知。在这些表示“这文章我收了”的期刊中,博安农选中了《全球医学研究期刊》(Global Journal of Medical Research),给该刊交了600欧元的版面费,不到两周后,搞定!

总之,论文搞定。

5、让媒体报道

一开始博安农是比较悲观的。他想,记者只要随便Google一下,就会发现论文作者所在单位“饮食与健康研究大学”(University Institute of Diet and Health)根本就不存在……记者再找个靠谱的科学家读一遍论文,就会发现结论根本站不住脚。

一个公关业的朋友告诉博安农,其实没那么难。抓住一点关键就行——记者都懒。只要你替记者把该写的东西都写好,记者们就会自动开始复制黏贴,最后发出来一篇和你的原稿八九不离十的东西。

博安农于是写了一篇给媒体专用的“新闻发布稿”,放上了大部分数据——有意没提样本数等“小瑕疵”。记者即使不读原始论文,读完这篇稿子也能动笔写了。

他还找音乐人拍了两条MV,一个男声说唱版,一个女声民谣版,主题都是《巧克力变身》(The Chocolate Transformation)——还记得吗,这家伙是“跳出你的PhD”舞蹈大赛的组织者

躺在上面穿蓝衣那厮就是博安农。| www.johnbohannon.org

万事俱备,只欠鱼群

欧洲发行量最大的报纸——德国图画报(Bild)是第一条上钩的,他们发表了《吃巧克力能保持身材纤细》。

没多久,印度、爱尔兰、美国、澳大利亚的多家媒体都报道了这一“发现”,其中不乏赫芬顿邮报这样的大媒体

写稿的记者,大部分压根就没联系博安农这个“论文作者”。有些联系了,但问的也只是“你对我们的读者有何建议”之类。没人质疑样本数,没人去找其他科学家来评论这个研究。最令博安农痛心的是,没有篇报道了他精心拍摄的那两条音乐录影带!

(嘛……毕竟其他人都是正常人……)

坏科学的危害,

在于用真实数据说谎

博安农的垃圾科学究竟为什么钓到了那么多?人们常说,最厉害的谎言就是99句真话里掺一句谎言,但其实现在的谎言更上层楼:通过99个事实得出一个结论,最后的结论偏偏不是真实。坏科学的杀伤力恰恰就在于此。

博安农骗过期刊又骗过媒体的第一个秘密是统计分析

宏观经济学里有个古德哈特定律(Goodhart's law),一项指标一旦成为政策制定的依据,便会立刻丧失其原有的信息价值。统计学的p值也是如此,这原本是一个用来衡量“某命题是否很可能为真”的指标,但随着p值成为发表论文的“快捷通道”,很多人便开始改动实验设计、删改实验数据、重复多次实验——只为一个小于0.05的p值。

当博安农自己揭露这个骗局时,他又写出了两条肮脏的科学小秘密

第一条肮脏的科学小秘密:假如你在一小群人身上测量一大堆数据,你基本上肯定能得到'统计上显著’的结果。

我们给15个人测了18项指标——体重、胆固醇水平、钠、血中的蛋白水平、睡眠质量、总体健康状况等等。这样的研究设计,就是得到假阳性结果的秘诀。”

“我们其实不知道会出现怎样的结果——完全可能是巧克力改进睡眠、巧克力降低血压——但我们知道,我们有很大机会(>60%)至少拿到一个'统计上显著’(也就是p<0.05)的结果。”

哥伦比亚大学的统计学教授安德鲁·杰尔曼(Andrew Gelman)认为,博安农还估低了,因为他只把测量18项指标当成18个单独的测试来算。事实上,任何两项指标都可以被拿出来比较,还可以单看某个分组的各项指标,考察指标之间的相互作用……这样的多重比较,让拿到“统计上显著”的几率远不止60%。

世上无难事,只怕统计学……图片来源:xkcd

第二条肮脏的科学小秘密,则藏在样本数量里。

博安农自己写道,“我们的研究注定不靠谱,原因就在于样本数量太少,这就放大了不可控因素的影响。举个例子,女性在月经周期中体重波动就可以高达两千克,这就已经远超过我们那两个试验组之间的体重差异了。正是因此,才需要很多人的大样本,还要平衡好不同组里的年龄和性别组成(我们当然没理这事)。”

忽然想起了塞拉利尼的“转基因玉米致癌”论文:同样发表在名声一般的开放获取期刊(OA)上,同样是样本量小而分组多——能不能少一点统计套路,多一份科研真诚?

博安农还写,“幸运的是,在这些问题上,科学家们变得越来越明智了。有些期刊正试着慢慢淘汰p值检验,推动科学家养成更好的习惯。现在几乎没人会正眼看样本量低于30的研究。知名期刊的编辑都懒得把这样的稿子送审,直接就会拒掉。但是,也有很多期刊比起声誉,更看重金钱。”

顺便说一句,在博安农的“自杀式袭击”公开后,登他论文的那家活该倒霉的期刊出版方憋出一则声明,说其实博安农的文章他们是拒了的,只是不知为何,这篇文章意外出现在了他们期刊的网站上,同样不知为何,这篇文章一直保留了好几天,对此他们深表歉意,其实他们是一家有理想有伦理透明公开的严肃期刊……

博安农对此的回应是:“啊如果真的撤稿了我一定要把600欧元的版面费要回来!”

钓鱼是为了说明:

没有传播,就没有伤害

钓鱼当然不是好事。这场钓鱼实验的发起人翁嫩肯也承认这一点,同时他也声明,他们尽了最大可能让上当的人不受伤害。“吃黑巧克力,一般不会造成什么大问题”,而参与实验的那16个人都经过血检加问卷,确定没有人有糖尿病、饮食紊乱等问题。

他做这一切,只为了告诉全世界的媒体——这样的研究根本就不该出现在媒体上!没有传播,就没有伤害!

“如果科学家做了个屎一样的研究,但没人听说,那就没人受害。英国小报说火星上有恐龙,那无所谓。但有些人真的需要减肥,需要饮食干预,而很多被报道出来的研究对他们毫无帮助。”

而博安农想告诉全世界媒体的是——

膳食科学,是一门科学。

如果你想报道科学,你必须学会如何读论文,必须愿意花时间脑力去真的读论文,必须秉持着追求真实之心,近乎苛刻地审视每个结论是否真能成立。

“假如一个膳食研究不提样本数多大,或者说了个惊人的结论,然后只说差异在'统计上显著’,却不跟你说差异到底多大,你就该开始思考这是为什么。”“但大多数时候,我们记者没有去追问。这很令人遗憾,因为如今的记者已成了现实生活中的同行评议系统。当我们未能尽忠职守,世界就会被坏科学淹没。”

作者:游识猷

编辑:Stellasun

一个AI

不是博安农太狡猾,都怪人类太好骗……(尤其在“多吃XX能减肥”这种事上→_→

(0)

相关推荐

  • 上海海事大学“舰船电力电子材料与超材料”科研团队获《Research》优秀论文奖

    上海讯    近日, <Research>期刊第二届编委会成立大会暨世界一流科技期刊建设研讨会在北京举行,会上颁发了优秀论文奖.上海海事大学海洋科学与工程学院"舰船电力电子材料与 ...

  • 碳素超硬材料专业sci期刊有哪些

    一樽岁酒拜庭除,稚子牵衣慰屏居. 碳素超硬材料专业sci期刊有哪些 很多作者都希望自己的论文能够发表的学术水平高的期刊上,投稿期刊的水平越高,证明论文的影响力越大,所以投稿之前要对自己的文章有一个准确 ...

  • 物理SCI四区期刊

    (1)<BALTIC ASTRONOMY> ISSN:1392-0049 2020最新影响因子:0.226 出版地:LITHUANIA 出版周期:Quarterly (2)<ASTR ...

  • 微生态最值得看的40篇土壤微生物研究文章解读合辑

    文章列表 科研 | Science:多种全球变化因素在驱动土壤功能和微生物多样性中的作用 科研 | Nature Communications:真菌细菌群落多样性及复杂性预测生态系统功能 科研 | 中 ...

  • 南宋四大道场 | 第三篇钓鱼城096

    原创蛇从革 眼镜蛇Novel 昨天 之九十六:蒙古攻城六续 鲜于刘光听了,心中顿时后悔万分.冉家与诡道之间的这个婚约,好不容易蒙混过关了,自己又不知轻重地提了起来. 在冉不若看来,此事并未一笔勾销.其 ...

  • 南宋四大道场 | 第三篇钓鱼城095

    原创蛇从革 眼镜蛇Novel 昨天 之九十五:蒙古攻城五续 冉不若把手指向了始关门东边的一个小门:"小东门,不在八个卦象之中,孤悬于外城,在钓鱼城的城防中,并没有设置机关." 鲜于 ...

  • 《热心肠日报》2020榜单-年度100篇肠道研究论文

    2020 年是极不平凡的一年,新冠疫情的肆虐为全世界的科研工作带来了巨大的挑战,但是即便如此,全球肠道科学研究仍然取得了颇多令人瞩目的成果和进展. 这一年里,<热心肠日报>进行了文章扩容, ...

  • 南宋四大道场 | 第三篇钓鱼城094

    原创蛇从革 眼镜蛇Novel 今天 之九十四:蒙古攻城四续 原来,驱动整个钓鱼城城防机关的竟然是冉不若! 鲜于刘光虽然震惊,但随即一想,这也是无法可想的事情.冉家的冉璞将军作为钓鱼城年纪最长的首领,有 ...

  • 93南宋四大道场第三篇钓鱼城

    原创 蛇从革 蛇从革 今天 之九十三:攻城三续 王坚说:"鲜于兄弟,蒙军已经把钓鱼城围困,明日就要攻打,我哪里还有心情去想八思巴和史驱之间的关联." "我只有诡道两门算术 ...

  • 南宋四大道场 | 第三篇钓鱼城093

    原创蛇从革 眼镜蛇Novel 昨天 之九十三:蒙古攻城三续 王坚说:"鲜于兄弟,蒙古军队已经将钓鱼城围困,明日就要攻打,我哪里还有心情去想八思巴和史驱之间的关联." "我 ...

  • 91南宋四大道场第三篇钓鱼城

    原创蛇从革 蛇从革 昨天 之九十一:攻城续 南水军码头里的宋军战船在蒙军战船逼近之时,就慢慢的移动到了东侧下游的方向,水军统领冉守孝并且还做出了一字排开,准备迎战的阵型. 王坚看到蒙军战船进入到铁锁横 ...

  • 90南宋四大道场第三篇钓鱼城

    之九十:攻城 钓鱼城上的每一个人都心中忐忑,不知道一旦天明,蒙军进攻,钓鱼城能否守住一个时辰. 就在寅时一刻的时候,从北方的天空中飞来了一头巨大的飞鸟,从明月下掠过,钓鱼城山上三下的宋蒙士兵,都看得真 ...