多因素分析,并没有我们以为的那样可信

(长文,按小节逐步完成,已发布内容见下)

先天缺陷

400 年前,明朝末代皇帝崇祯,在北京景山上上吊自杀。东亚这块地方又开始了改朝换代。

后世关于明朝灭亡的原因讨论众多,大致有1

  1. 前朝宦官魏忠贤的腐败导致国家贫弱
  2. 当朝皇帝任人、施政不得法
  3. 陕西、山西等地农民起义
  4. 清军压境,成为最后一击

这是典型的多因素分析,每个因素背后都有一番道理可讲,但它们都是明朝灭亡的真实原因么?或许那些因素的发生只是巧合,又或者有什么更深刻的变化才是真正的原因?这不,我最近听说了另外一个解释2

有学者认为,地球在17世纪时发生了一次小冰河期(Little Ice Age),随之而来的干旱和饥荒导致了明朝的灭亡

对于我们这些听历史故事的人来说,真正的原因可能并不重要,任何沾点关系的事件都可以拿来当谈资;但对于当时的崇祯皇帝来说,这可是要了命的大事。可以想象,当年的崇祯就在进行一场多因素分析,他要找的,是那个决定性因素,而不是看起来有点意思的说法,因为他要的是自救,而且时间和钱都很有限。

然而,这世界有这么多因素都在变化,他可能难以想象 1.5 亿公里以外的太阳会成为消灭他的始作俑者。但事实上,正是太阳活动的减少,引发了地球温度降低,进而农作物减产,国库空虚,饥民起义。相反,他还在觉得文官无能,似乎说什么“诸臣误朕也”3

我并不是说,明朝的灭亡就一定是“小冰河期”导致的,只是想说明多因素分析的一个问题:我们可能连基本的影响因素都找不起

今天的科技进步了,我们知道小冰河期的存在了,但人类依然不是全知的。作为人类的个体,我们每个人更不是全知的,即使今天我们进行多因素分析,依然会面临同样的尴尬。这尴尬主要由 2 点组成:

  1. 我们甚至不知道自己忽视了哪些因素,因为它们超出了我们的认知范围(可能暂时是这样,也可能永远都会有未知因素)。
  2. 即使缺失了重要的因素,我们竟然也能煞有其事的做一番分析,甚至自以为圆满。

再举一个例子。

2013 年 11 月 22 日,青岛市黄岛区的居民像往常一样上学、上班、上街,这种重复了几千次的事情,在这一天变得不一样。因为马路下面的输油管会在 10:30 左右爆炸4。这在当时是举国震惊的新闻,希望你没有忘。(搜索“青岛 黄岛 爆炸”,可查到相关新闻)

生活中几乎所有的事情都是受多因素影响的,哪怕是上街买菜这样的事情。就说上街的往返过程吧,平时我们需要考虑的是:选择什么路线,使用什么交通工具,天气,零钱,公交卡,等等。这是过去几千次重复实践中总结出来的、最需要考虑的影响因素。

但显然,这不是全部的影响因素。11.22 轰然一响之后,人们才发现自己少考虑了一个因素:输油管。

据称,这个输油管是 1986 年建成的5。从某种程度上,我们可以说,这个输油管成为安全的影响因素(之一)已经有 27 年的时间了。这 27 年里,它隐藏不发,当地居民表示并不知道它竟然离自己这么近4

但,不知道不代表不存在。

然而,人类似乎就是这样,我们主要关注那些经常变化的因素;而对那些变化频率非常低的因素,我们基本无力把握(这一点和动物们,比如青蛙,更容易发现移动的猎物,而不是静止的目标7,很像)。比如:

  1. 当地居民(也包括我们)可能每天用大把时间关注股票、孩子、手机的新功能,它们天天有变化,人们也乐此不疲;但对于哪里是输油管,27 年里没花一点时间去了解。
  2. 对于火灾、地震、桥下积水8,大部分人平时有时间的时候是没有思考的;除非有恶性事件引发了集体恐慌,才在朋友圈里看看相关文章(那恐慌其实是在用事实告诉人们:这里有一个你们没有想过的变量,而且是影响生命的变量)。

这种 20 几年才变化一次的因素,大家已经不去了解,对于那些几千年(气候变化),甚至几万年(小行星撞击、地球磁极倒转)才变化一次的事情,即便是简单了解的人,也是屈指可数吧。

或许“无知是福”。这个世界有太多可能变化的因素了,就看你身边,水、电、暖、房子、车子,哪个不是有一大堆可能变化的隐含变量,你平时不用在意他们,是因为他们在一定的期限内表现稳定罢了(如果你没觉得他们都有隐含变量,请随便盯着一面墙仔细想:那后面可能有什么)。它“不变”,不代表它“不可变”。

外加上述那些几千、几万年变化一次的变量,如果每个都被我们知道了,人们很可能会被吓死;如果每个都要思考的话,那么这个决策成本可能没人承担的起(好像有人说过,计算机承担的起),干任何一件事都将寸步难行吧。所以,人们也应该(至少在某种程度上)接受那个大自然的安排:人们天生更关注经常变化的事物,而不是变化频率很低的事物。

但还是那句话,不知道不代表不存在,不关注不代表不会变。一旦他们变化,效果可能十分“惊喜”。有些人把这类事件称之为黑天鹅6。他们不一定都是坏的,但按照 Taleb 的思考6,人类社会越来越有能力把“惊喜”转化为“惊吓”,即,越来越容不得未知的变化。不过这是另一个话题,希望以后有机会探讨。

总之,多因素分析无法给出永远正确的答案。原因已如上述。

(你可能会觉得这是一句废话,因为“永远正确”的答案本来就不存在———至于到底存不存在,留到其他文章再谈。但我们下文会分析,随着各个因素的“活化”,这世界正在越来越快地证伪那些本来还可以多正确一段时间的答案,即,越来越快地给多因素分析打脸,这和很多人感觉到“知识的更新速度越来越快”是相关的趋势。很多畅销书也做到了“顺势而为”,为这种趋势提供应对方案,且以我所见分为两派:“断舍离”和“终身学习”。我也会在最后探讨一些方案。)

当然,即使这样,人们却还是不得不利用多因素分析,这似乎是没办法的事情,所以这里也只能提醒大家小心。

说了这么多,还没有给多因素分析一个像样的定义。其实日常生活中的一切分析都是多因素分析(说的有点绝对,但如果你发现反例,请告诉我),毕竟,当人们,尤其是中文使用者,说起“分析”这个词的时候,就已经有了先“分”后“析”的意思了,而一旦“分”了开来,就是多因素了。而“多因素”这个定语只是明确了“分析”的这种性质。故我尝试给“多因素分析”这样一个定义(参考了一些中、英文词典中的解释[待引用]):

假定事情的结果是由多个组成部分共同决定的,的那样一种进行演绎或预判的思考方法

多因素分析的弊病其实远不止上文提到的那些。即使找全了影响因素,即使隐藏的影响因素不爆发,判断哪些因素更重要也是个棘手的问题。这在某些领域是特别明显的,比如二级市场(证券市场)上的投资或投机。

上面的两个例子中已经可以看出一些端倪,但我们还是举个一个新的例子来讨论一下。

比特币在 2017 年底到达了 1.5 万美元每枚的价格,而在不久前的 9 月,它还只有 4000 美元9,也就是说,在 4 个月的时间内,比特币的价格增长了 250%。而为什么会有这次快速上涨,就可能涉及到多个因素了:

  1. 有人认为是中国的“9.4”监管后 BTC 价格马上回弹,给了大家更大的买入信心(待引用)
  2. 有人认为是一些中心化交易所私自超发 USDT,然后对 BTC 大量买入12
  3. 还有人认为是国外社区不服(或许还想买入)13
  4. 私底下,有个开场外交易所的老板,认为是自己新开的交易所方便了“韭菜”进入市场,所以价格上涨(当时其综合交易额好像是10亿rmb/月)
  5. 那段时间有很多媒体谈论 BTC(引用百度指数),或许也吸引了不少人来买币
  6. 芝商所(以及之前的 CBOE)宣布近期开通比特币期货交易,提高了市场的信心1415
  7. 人民币兑美元在 2017 年 9 月中下旬有一次较大幅度的贬值(引用数据),投资者可能希望用 BTC 来对冲人民币贬值的风险

……

首先,这些事情确实在 1.5 万的价格到来之前发生了(第 2 条需要加个“可能”)。但,时间顺序不是因果关系的充分或充要条件,顶多只是必要条件。有兴趣的同学可以自行研究一下两者的关系,这里不做过多讨论。但有一点还是挺有意思的:这些原因都是在事后被说出来的;可能当事人在事前也想到了这些因素,但如果价格最后没上涨,人们是不是又会“发现”另一套事前的征兆呢?(这里没有“当事人在事后自圆其说”的意思,而是说我们所有人都可能禁不住“事后合理化”—— rationalization 的诱惑)

其次,也有很多证据可以暗示价格不应该上涨啊。比如:

  1. 巴菲特、达里奥在那段时间都表示过比特币是泡沫1011
  2. 中心化交易所除了可以“伪造” USDT,还可以“伪造” BTC 呢,为什么在币价上涨的过程中,交易所们不去伪造 BTC 来大量出售呢?
  3. “9.4”监管还让很多交易所关闭了,场外交易能比直接入金更方便么?中国用户的买币进程大概率还是受到了更多阻碍
  4. 媒体报道中有一些大佬割韭菜的言论为什么没有吓跑投资者呢(待引用)
  5. 2018 年 6 月,人民币也贬值了啊,为什么 BTC 这次没涨,反而还跌了 1000 美元?

这世界纷繁复杂(至少对投资者来说),每个事件发生的同时,都有无数个相关和不相关的前序事情发生,而那些前序事件又有更多前序事件。至于一件事情最终为何发生了,人们可能是怕自己说不清,所以创造了一个概念——“蝴蝶效应”,来用一种略显混沌的方式找一个解释。

以我们这篇文章所能承载的信息量,自然无法陈列“蝴蝶翅膀震动”这种粒度的相关事件。就从我收集的这些相关事件来看,已经可以思考一个问题:

为什么在利好、利空、不相关的消息并存的情况下,BTC 最终上涨了呢?

你可能会说,利好消息的重要性更强,利空消息的影响力偏低,综合起来 BTC 还是要上涨的。这听上去很合理,但如果继续追问,如何在事前判断所谓的“重要性”是否强呢?

普通投资者通常会凭借感觉来判断“重要性”是否强。他们当然知道小买家的“喊单”行为不会比“政策利好”的影响力更大,但这种感觉的来源正是对过往经验中所发生的相关性的总结(引用休谟)。即,价格上涨这样的事,频繁地和“政策利好”一起发生,而相对来说,不会经常与某人“喊单”一起发生,所以给人的印象就是前者的重要性更强。

再概括一点说:

  1. 重要性强 = 某因素的变化与结果的变化的具有很大的一致性
  2. 重要性弱 = 某因素的变化与结果的变化的不具有明显的一致性

说白了,就是某些因素“似乎”更加力挽狂澜,只要它一改变,结果大概率跟着改变。

(感兴趣的同学可以了解一下数据分析中一种叫做主元分析或者聚类的方法,其目标就是找出最能代表结果的变化的变量。)

但这种以相关性为背景的重要性需要靠积累经验才能识别出。这经验可能是自己积累的,也可能是别人传授的,甚或是从历史数据中分析出来的,但总之要有才谈得上发现重要性。如果没有,很可能就会判断错误。

几年前,我有一个即将研究生毕业的同学准备投资美股,他以前没怎么接触过这方面,但是因为他经常用京东买东西,感觉物流体验比淘宝好很多,因此觉得京东的市值将要超过阿里巴巴了(目前两家公司都在美国的交易所上市)。

他的这种分析似乎也能说的通,比如物流体验好,获得更多顾客,收入增加,几个循环下来,超过阿里巴巴。但更有经验的投资者可能更看重财报中的各项指标,因为从经验来看,物流体验,对于这样两家业务多样的公司来说,似乎并不是一个十分重要的因素,和股价的相关性应该不高。而想要知道什么因素,对这两家公司股价的影响最大,可能真的要好好翻翻数据、财报才好下结论。

总之,在没有经验积累的情况下,就想判断哪个因素最重要,应该是非常不容易的。

这当然也是使用多因素分析的一道门槛,不过相对于上文提到的那些困难,这个问题似乎更容易解决,只需要积累一定量的经验。然而,你也知道,个人经验在快速变化的社会中很容易过期。而且,一些因素的重要性常常十分相近,(如果此时他们偏偏指向不同的结果)决策时要依据谁,是个很多人都曾感到焦虑的问题。

更深层次的原因

上文对”多因素分析“多有恶评,但这里说句公道话,那些所谓的缺陷原本可能只是一些中性的特点,只不过在脱离自然的社会生活中,他们丧失了本来的作用,反而容易让人落入思维陷阱。对此有所讨论的著作不少,感兴趣的朋友可以研究一下(待引用),这里不做过多讨论。

而这些特点其实早就被人发现了,《低俗小说》就是一部探讨这个问题的电影:

(未完待续)

下期更新:


  1. 为什么人们一睁开眼,这个世界就是多因素的?
  2. 我并不是主张不可知,pulp fiction
  3. 中国为什么能变强,美国为什么能维持霸主地位,如果解释成单因素,除了能骗流量(因为解释为单因素在认知上是最简单的,我上面收集 BTC 价格的多因素,估计很多人就不愿意看呢),还能干什么?甚至中国比美国多一家什么什么公司,或者美国比中国多一个什么什么金融机构都能解释出点花来。他们这样提供的因素,虽然说起来,可以把那个因素说的很牛逼,但你要自己判断一下那个因素的重要性。通常,重要性都很低。就像每件事都有数以亿计的前序事件发生,但真正明显相关的事情(至少能被人证明)的相关事件其实很少,所以不能随便拿出来一件事情就说他们有相关性,然后引导(或者说误导)别人相信他们有因果关系。(https://wallstreetcn.com/articles/3528613 不过好像不是很相关)
  4. 可以考虑主元分析,看看那个变量能指征最大的变化
  5. 总是在事后找原因(评判重要性),历史重复的几率又是多少呢?
  6. 如果你真想复盘过去的投资决策,就别老回忆那些看起来和价格变化方向一致的事情,也想想那些不一致的事情,这样才比较真实。
  7. 有些事件的相关性确实很强,比如按一下手机的锁屏键和屏幕关闭/点亮的相关性就超强,一般的手机都能达到 99.9% 的相关性(但不是 100%,你的手机绝对又按了锁屏键之后屏幕不点亮的时候)。对于这样的事件,我们眼睁睁的看着,绞尽脑汁的想,怎么都觉得他们有关系,甚至是因果关系。(如果能引用休谟就好了)
  8. 给出一个解释的重要动机可能就是让大家心里舒服
  9. 有些事情怎么想,怎么都觉得像是真的,这是武断了?
1. 明朝 - 维基百科,自由的百科全书. (2019). Retrieved April 28, 2019, from Wikipedia.org website: https://zh.wikipedia.org/wiki/明朝#明末经济危机与内忧外患
2. Wikipedia Contributors. (2019, April 17). Little Ice Age. Retrieved April 28, 2019, from Wikipedia website: https://en.wikipedia.org/wiki/Little_Ice_Age#Asia‌
3. 维基媒体项目贡献者. (2004, April 20). 明朝最后一任皇帝. Retrieved April 28, 2019, from Wikipedia.org website: https://zh.wikipedia.org/wiki/崇禎帝#自縊殉国
4. 腾讯新闻. (2013). 黄岛多座居民楼因爆炸倾斜,居民从不知管道位置. Retrieved May 20, 2019, from Qq.com website: https://new.qq.com/cmsn/20131127/20131127001139‌
5. 11·22青岛输油管道爆炸事件_百度百科. (2013). Retrieved May 29, 2019, from Baidu.com website: https://baike.baidu.com/item/11%C2%B722%E9%9D%92%E5%B2%9B%E8%BE%93%E6%B2%B9%E7%AE%A1%E9%81%93%E7%88%86%E7%82%B8%E4%BA%8B%E4%BB%B6/12537802‌
6. Taleb, N. N. (2012). Antifragile: Things that gain from disorder. Random House Incorporated.
7. Wellborn, G. A., Skelly, D. K., & Werner, E. E. (1996). MECHANISMS CREATING COMMUNITY STRUCTURE ACROSS A FRESHWATER HABITAT GRADIENT. Annual Review of Ecology and Systematics, 27(1), 337-363.
8. 网易. (2012, July 23). 北京广渠门司机溺亡始末. Retrieved May 29, 2019, from 163.com website: http://news.163.com/12/0724/02/87572A5B00014AED.html‌
9. https://coinmarketcap.com/currencies/bitcoin/
10. https://www.coindesk.com/real-bubble-billionaire-warren-buffett-doubles-bitcoin-doubt
11. https://www.cnbc.com/2017/09/19/ray-dalio-says-bitcoin-is-bubble.html
12. http://xiaolai.co/books/xiaolai-xuexi/cb4215575391c873679863a6d3c98fea.html
13. https://www.8btc.com/video/395475
14. https://www.cnbc.com/2017/08/02/cboe-bitcoin-futures-winklevoss-brothers-digital-currency-exchange.html
15. https://www.cnbc.com/2017/10/31/cme-plans-to-launch-bitcoin-futures-by-year-end.html