胖鲸 大数据带来的数据化浪潮已经触动传统市场研究的每一个人，尤其是社交媒体数据分析带来的冲击更是直接。
作者：崔大鹏 博士
大正市场研究有限公司董事总经理
社交媒体数据和分析的优势
1、 数据的丰富性和自主性
社会化媒体数据包含了消费者的购买习惯，用户需求，品牌偏好等，且都是消费者自愿表述的对产品满意度和质量问题的想法，充满了情感因素，我们无需费尽心思的引导消费者参与调查问卷。
2、 减少研究的“未知”视角
市场问卷调查有其固有的局限性，那就是你必须明确你的问题是什么。问卷设计者本身有未知的方面，所以在设计问题时会忽略自己的“未知”，但这些“未知”很有可能就是消费者所需要的方面。
3、 数据的实时化的特征
不同于以往的发放回收市场调研报告再解决消费者问题，如今可以使营销人员快速发起营销活动，第一时间测试营销新方法，同时可以第一时间确认理解和追踪消费者的反馈。
4、 数据的低投入特征
传统的市场调研方式费工费时，而社会化媒体数据的获取则是低投入高回报。使用正确的方法便可以对消费者群体的用户习惯和反馈进行透彻分析。运用社会化媒体监测软件帮助企业在线倾听消费者意见，获取丰富的见解。
这几年对社交媒体分析的高期望促使传统市场研究行业的很多伙伴们去做社交媒体分析，留下的对传统研究也意兴阑珊，困惑写满脸上。我从2000年开始涉入机器学习在营销领域的研究，但由于当时市场研究行业的主流还是以问卷和传统统计分析为主，因此在2004年回到了传统调研领域。当社交媒体和大数据变成热词的时候，我又重新分配了一部分精力到社交媒体数据研究上来。现在我对传统调研与社交媒体分析的认识与5、6年前有很大不同。
社交媒体数据隐藏的一些问题
对社交媒体的期望归期望，但现实就是现实。许多市场研究者和品牌管理者这些年对社交媒体数据的疑问不断：
1、社交媒体数据中，尤其包含人的社会统计信息中，有多大比例是不真实的？有多少帖子或评论是伪造的？有多少名字背后是真实的人？
2、社交媒体的使用者真的对总体或者某一类群体有代表性吗？如果是，这一类群体如何定义？这个代表性比传统样本库更有代表性吗？
3、社交媒体能告诉我们关于消费者的一切吗？或者说，我们所想解决的问题都能包含在社交媒体数据中吗？
4、有多少人只是潜伏在社交媒体上，很少发言或者基本不发言。为什么人们要在社交媒体上发言？ 发言者和潜伏者的区别到底是什么？
5、在社交媒体上我们是不是只看到极端数据，比如对产品非常满意和非常不满意的观点呢？是不是极端数据在社交媒体数据中比例过高？
6、评论或者帖子真的反应他们的真实观点吗？有多少比例的评论是调侃或者是与其它评论的争斗? 与此相关，评论者是怎样、多大程度上被其它评论所影响的？有多少社交媒体数据反映了真实体验，有多少仅仅是观点？这个比例尽管随产品品类和社交媒体性质不同而不同，但在什么程度上他人评论会影响阅读者的购买行为呢？
7、那些KOL对追随者的购买决策和过程影响有多大？这个影响会随着社交平台、品类、话题不同而不同吗？
8、不同社交媒体平台聚合的人群相似吗？它们的数据结构和内容有多大程度地相似？
9、是不是社交媒体的评论者对产品或服务的回忆的精确度高于问卷调查的被访者？
10、更重要的是，基于社交媒体的KPI有多大程度上与现实匹配？这些KPI稳定吗？它们与其它数据相关吗，比如销售额、市场占有率？传统调研数据与市场实际表现是相当匹配的，过去几十年的顶尖期刊上记录的研究结果能提供大量的证据。
社交媒体分析的挑战
以上问题只是和数据性质和数据内容相关，那社交媒体分析呢？社交媒体数据目前以文字为主，文字数据就需要做内容分析，但内容分析并不容易。使用人工智能呢？不是AlphaGo已经打败人类最强者，最终也可以替代数据分析者吗？
计算语言学和自然语言处理技术给我们带来了内容分类与情绪分析自动化的希望，但是目前它们解决具体问题仍然需要事先被训练。肤浅训练出来的机器没有任何意义，高复杂度的机器训练成本比传统研究高的多的多，而且内容的识别度和清晰度仍然是巨大挑战。人工智能说到底，由于其底层技术要求之严苛，数据积累要求之庞大，并非一般公司可为之。
目前在文本处理这一领域，国内的人工智能水平还远远达不到实际应用需求。在这种情况下，“智能不够、人工来凑”的模式比比皆是。正如业内人士所言，“现在做人工智能的很多人，从来没有研究过人脑是怎么工作的。占了运算速度提升的光，然后拿这个去骗人。” “这个世界原本没有风口，吹的人多了，自然就有了。”这句话是鲁迅说的吗？
机器也不能被训练出情感感知力。他们不会笑，他们的心不会破碎，他们也没有体验。我们做定性研究和消费者对话时经常都有感悟，往往感悟出的东西比消费者告诉我们的还要多，但这些机器还做不到。在传统研究中，我们即便做量化分析，也需要有对消费者行为与态度的理解做引导，也需要有对市场的剖析做假设，而这些对机器来说都是空白。
至少目前，社交媒体分析比传统调研的优势在哪里还无法一概而论。
社交媒体数据的可获得性
国内互联网生态不仅是一个大孤岛，而且这个大孤岛也是由几个小孤岛构成，孤岛之间几乎没有连接。即便是从小孤岛抓取数据，如果你真的做过数据抓取，就知道有多困难。这些孤岛不仅不提供对外数据接口，而且还设置各种各样的反爬措施。从小孤岛对外提供的数据来看，它的各个板块之间的数据是否被打通都是一个很大的疑问。如果你曾经从Facebook或Twitter上抓取过数据，那么这个对比是非常强烈的。从这个角度来说，现在国内社交媒体数据获取成本非常高。
由于互联网的普及和网速的发展，特别是移动互联的普及，问卷调查可以在几天甚至几个小时之内完成。 对问卷调查很慢、很贵的想法似乎已经过时了。至于定性研究，那些线上座谈会或者一对一访问，相比社交媒体，在速度、完成度、和成本上也显现出优势。
对社交媒体分析的思考
尽管对社交媒体数据会有疑问，但我个人仍然对大数据（包括社交媒体数据）的前景充满信心。营销领域在过去十多年已经发生了翻天覆地的变化，比如社交媒体产品评论的产生，动摇了许多产品和服务的营销方式。既然营销生态已经改变，时光不能倒流，那么我们就必须学会分析这些数据。尽管过程可能不会像预期的那么快，但许多公司已经把社交媒体分析作为服务的一部分了。在某种程度上，社交媒体分析正在改变传统的研究内容和方式。
然而作为咨询顾问，我们必须要面对现实：现阶段社交媒体数据分析到底能递交什么？递交的东西是否有意义？还有很多问题并未回答：
1、社交媒体分析的成功故事，是普遍现象还是例外？这个成功，有多成功？这个成功能复制吗？这个成功的成本有多高？
2、在社交媒体上仅仅是聆听就足够了吗？那么讨论主持人真的没有必要存在了吗？话题干预和管理不需要主动引导吗？
3、品牌和广告认知度，无论是自发的或提示后的，真的能被社交媒体KPI取代吗？
4、社交媒体上的品牌形象稳定吗？ 如果有变化，这种变化是真的来自品牌有意义的变化，还是数据噪声？这种变化和品牌实际表现有什么关系？
5、客户经常要求我们获取关于消费者的非常细节的信息，然后把这些信息关联起来做分析。社交媒体能否把每个人的信息分解出这么多的细节？能否提供足够多的个人层面的细节来做真正意义上的消费者画像？有价值的数据不会等着我们去捡，真正有行动力的研究往往是通过设计来实现的。
6、社交媒体数据分析能取代传统调研中哪一种分析？市场细分吗？联合分析、多元变量分析、驱动分析、还是营销组合分析? 如果能提供有的话，请举例。
社交媒体数据的使用
社交媒体其实还相当年轻，社交媒体本身和分析工具其实每天都在发展中。在这么一个新的领域，让我们诚实地面对自己 – 市场上有多少真正的社交媒体专家，或者社交媒体分析专家？把很好地服务了我们半个多世纪的成熟技术完全抛弃，去全面拥抱一个未经时间考验的技术，对客户来说风险有多大？
为什么不把社交媒体数据当作定性素材来使用呢，比如帮助我们理解消费者态度、行为和情绪，帮助设计问卷？是否可以把社交媒体分析和其它定性方法一起使用呢？是否可以在已经相对稳定的社交媒体数据形态上多做一点研究？是不是可以尝试把社交媒体作为一个变量应用在营销组合模型分析中呢？社交媒体分析其实已经能证明在这些方面做的不错。我们是不是可以立足于现有条件，踏实地做一些能提供价值的研究，而不是一味臆想未来呢？
社交媒体对传统市场研究是一颗炸弹，还是一个有价值的补充？我倾向于后者。60年前定量研究似乎有取代定性研究之势，但最终定性研究和定量研究各司其职、互惠互利。我相信社交媒体分析会成为市场研究不可或缺的一部分，但不会成为有些人所担心的灾难，也不会成为另一些人的涅槃。
