在我研究生阶段的统计学学习中,最重要的收获并不是一些具体的统计测试或者取样分析,而是一些不太正式的知识。这些知识在工作或者仅仅是娱乐的分析问题的时候给我带了非常重要的帮助:
一、注意细节
在大多数时候,这些细小的信息并不会对数据分析的结果产生重要的影响。一次课堂上,我的教授给我们用投影展示了一张图表,那是一张散点图并伴有一条流畅的适配线条。他问我们看到了什么。显然,在开始这里有一个上升的趋势。中间有一定下降,接下来又有一定反弹。但是我忽略了最开始的那个小波动,这就是我们不足的地方。
所以这里的关键就是:模式和趋势是重要的,但是那些离群值、缺失点和一些异常也同样重要。
二、看到全局
当然,在一个大数据集中抓住独立的数据点或者细节不放也是不合适的。大局观会让你看到数据的整体趋势,它会帮助你分析甚至预测数据的变化。
三、不要有预判
要尽可能客观的观察数据,当然这并不是说在看到一组数据之前一点期待也没有,但是不要让自己最初的预判影响了观察的结果。因为如果你一开始就试图寻找一些模式,那你可能会陷入这种模式中而牺牲掉准确的结果。
四、看到数据之外的东西
上下文,上下文和上下文,重要的事情要说三遍。这些关系有时可能来自于元数据中,有时可能来自于其他的数据集。
你需要更多的了解这个数据是如何被收集的,它从哪里来,如何发生,还有它发生在什么时候。获得更多的信息你对于结果就会更有自信。
保持怀疑
***,这是我重要的收获:始终保持怀疑。当你看到一个图中的异常时,你应该好奇它为什么会出现在那里;如果你发现了一些相关关系,你应该思考它是否有一些意义。如果这些发现有意义,那很好,如果没有那就需要继续深入去发现。
数字包含着大量的信息,但需要记住的是,当人参与到数据当时,错误几乎是不可避免的。