不完善数据下的精确营销战略设计.docx

1、不完善数据下的精确营销战略设计不完善数据下的精确营销战略设计上海文新集团东方票务的案例研究王震国黄沛牛志勇一、引言近年来，随着市场竞争环境的日趋激烈，越来越多的成功企业致力于通过数据挖掘(Data Mining)、组合优化(Combinatorial Optimization)、联合分析(Conjoint Analysis)等管理科学分析工具开展精确营销(Precise Marketing)活动。例如，A通过诸如协作过滤(Collaborative Filtering)和关联规则挖掘(Association Rule Mining)等技术工具向客户推荐书籍和礼品；博彩业巨头哈瑞娱乐(Harra

2、hs Entertainment)基于先进的数据挖掘和决策科学营销(Decision-Science Marketing)，通过激发客户需求和关联消费，在经济不景气的大环境下取得平均22%的年增长；最近炙手可热的窄告(Narrow Ad.)理念则是通过语义分析、自动聚类、模式识别、知识管理、行为分析及人工智能等技术实现信息的精确传递。归纳而言，精确营销的通常路径是，利用数据自动收集、行为特征分析、关联规则挖掘等技术形成全方位、多视角的客户档案(Customer Profiles)，通过建立和实施高效的推荐系统(Recommendation Systems)，开展有针对性的营销活动。近年来，由不

3、完善数据质量引发的在市场营销、组织沟通、质量控制等方面的严重管理问题越来越引起企业和学者的关注。尽管许多公司基于最新信息科技研发了不少改善数据质量的实用工具和方法，学术界在收集、管理、评估数据质量等方面也提出了很多极具建设性的方案和建议，然而总体而言，上述努力仍大多局限于数据的精确性方面，缺乏超越信息系统领域的更广阔思维；同时，由于精确营销方案涉及经济学、营销学、运筹学、信息科学、人工智能等跨学科特性，容易导致学术研究和解决方案相对局限于少数领域，缺乏综合性的战略视角和整体框架。本文以文新集团东方票务的精确营销实践为出发点，通过构建明确的以客户为中心的数据总线架构，贯彻实施基于增强型价值网络的

4、数据收集战略，并在数据分析过程中引入创新性的变量拓展，试图从战略理念角度探索困扰现有企业营销决策的数据不完善问题。二、文献回顾知识经济时代，如何基于信息技术准确传递和有效利用高质量的信息数据，越来越成为企业建立和提升核心竞争能力的关键所在。Richard Marsh(2005)指出，商业数据/信息是组织最有价值的资产之一，企业必须采取有效措施，确保此类资产能够被准确、及时和恰当的利用。Richard Y. Wang等学者(1998)率先正式提出了信息产品化管理的观点，即为了准确传递和有效利用高质量的信息，企业应从正式产品(而非副产品)的高度去重视、管理和传递信息产品。Donald Ballou

5、等学者(1998)将数据的产生和维护过程定义为信息制造系统(IMS, Information Manufacturing System)，并分别从数据生产者和数据消费者两个视角，强调数据价值和成本的权衡、信息产品的时效、质量和成本。Yang W. Lee等(2003)将企业对知识信息的复杂处理视为完整的数据生产流程(Data Production Process)，并细分为三个不同功能领域：数据收集、存储维护和分析利用，对应于上述不同功能，企业应明确相应的工作角色：数据收集员(Data Collector)、数据管理员(Data Custodian)和数据利用员(Customer Consum

6、ers)，为有效提升知识管理质量，企业应格外重视数据收集员的作用。Richard Y. Wang等(1998)提出了信息产品管理(IPM, Information Product Management)四原则：深入理解客户信息需求、精细化信息处理流程、根据产品生命周期理论管理信息、指派信息产品管理员(IPM)负责信息处理和产出。所谓数据质量，通常指数据相对于用户需求的适宜程度，基于不同视角可以进一步细分为不同维度，如内在(Intrinsic)数据质量、环境(Contextual)数据质量、代表(Representational)性、可获取性(Accessibility)等维度。准确性(Accu

7、racy)、完整性(Integrity)、一致性(Consistency)、完全性(Completeness)、有效性(Validity)、及时性(timeliness)、易得性(Accessibility)、依从性(Compliance)等，并提出了提升全数据质量管理的四步骤。由于数据质量问题涉及的环节众多，且影响因素非常复杂，多年来企业界和学术界基于不同的数据质量标准维度，进行了很多有助提升数据质量水平的有益探索和尝试。Ken Orr(1998)提出了基于系统理论的反馈-控制系统(Feedback-Control System, FCS)模型，通过开展基于用户的数据质量活动(包括稽核、培训

8、、评估等)，解决动态环境下数据萎缩(Atrophy)、信息过载(Overload)等关键问题，不断提升企业的数据质量。近年来，尽管学术界和企业界从质量管理和技术处理角度探索了很多改善数据质量的管理方法和工具手段，然而就整体而言，相关研究和尝试大多局限于技术层面，缺乏提升数据质量管理效果的战略视野和整体框架。Anany V. Levitin等(1998)从战略层面分析了企业普遍面临的不完善数据现象，认为数据质量问题首先是由于数据或信息和企业战略脱节造成的，很多企业在制定战略过程中忽略数据来源、质量和层次问题，因而造成贯彻战略迫切需要的数据极度匮乏，另一方面，传统的数据源难以适应企业战略的改变，很

9、多公司缺乏可靠的数据收集来源整体框架。Tom Duncan等(1998)从组织层次提出了超越客户范畴的关系营销的更广阔视角利益攸关方(Stakeholders)，从公司信息源、营销组合信息源和营销交流信息源三个层次，建立基于信息交换的关系营销管理模型，以提升企业与利益攸关方(包括客户、供应商、渠道商、竞争者、社区、媒体等等)的信息交换与关系管理效率。Murthi等(2003)基于价值网络理论提出了精确营销的增强型价值网络(Enhanced Value Net)架构，从战略视角考察公司与其它关键方的互动效果，以更好实施企业的精确营销战略。战略理念的引入，为解决企业营销过程中的大量数据问题拓展了崭

10、新的视角与广阔的思路。本文在借鉴增强型价值网络理论基础上，从战略层面系统整合企业所有利益相关者的信息资源，以期为精确营销活动的实施提供持续提升的战略视野；通过构建以客户为中心的数据总线架构，对整个精确营销流程进行系统的规划分析，以全面整合企业的数据资源支持准确的营销决策；通过在系统层面明晰分析变量的设计和拓展路径，提升已有数据利用效率和建模分析的整体效果。三、不完善数据下的精确营销战略设计架构（一）以客户为中心的数据总线架构。随着市场竞争环境的改变，越来越多的企业至少从概念上已经准备好要推动“以客户为中心”(Customer Centered)的经营机制，并开始运用诸如客户关系管理(CRM)、

11、数据仓库(Data Warehouse)、企业资源管理(ERP)、供应链管理(SCM)、电子商务(e-Commerce)等管理工具，致力于通过更富有战略性的方法和功能更有效率的管理手段，更“精确”的为细分客户群提供更大价值。然而，由于支撑营销决策的数据基础极不完善，导致投资巨大的信息管理工具难以发挥预期作用，现有企业的营销解决方案大多依然停留在理念和流程层面。建立和运营更富战略性的以客户为中心的企业，关键在于全面整合内外资源、通过及时有效的跨组织沟通协调和高价值的商业流程，更精确的满足客户真正需求，持续提升客户满意度和忠诚度。就数据支持层面而言，精确的营销决策需要收集、筛选全方位的信息来源，例

12、如供应商、客户、渠道、竞争对手、传媒、市场等等，及时制定系统、有效的营销方案，全面整合企业内外的相关资源，例如联络中心、零售店面或分支机构、网站以及合作伙伴，实现营销活动的有效执行。本文试图从支撑企业营销决策的信息和数据入手，通过确保数据收集、数据处理、客户刻画和精确营销流程中的科学决策方法和正确数据基础的紧密结合，建立以客户为中心数据总线(Customer Centered Data Bus，CCDB)架构(如图1所示)。如何基于不完善数据建立有效的推荐系统(Recommendation Systems)开展精确营销，是一直以来困扰许多公司的难题。一方面，企业管理系统收集的大量数据往往存在分

13、散、模糊、矛盾、冗余、不完整等诸多问题，难以基于此形成大致准确的客户概况(Customer Profile)；另一方面，尽管数据清理(Data Cleanse)和数据修正(Data Correction)可以确保数据挖掘、联合分析等分析工具所需的严谨数据基础条件，然而，过滤加工后的分析变量往往失去营销决策支持的完整意义，容易产生“GIGO”的尴尬结果。我们认为，有效的精确营销决策依赖于“原始数据分析变量客户档案推荐系统”(Data-Variable-Profile-System, DVPS)流程的每个环节，需要对整个精确营销流程进行全面系统的规划分析。CCDB架构将精确营销活动分为数据收集、数

14、据处理、客户描述、建模分析四个阶段，致力于全面整合企业内外资源，将以客户为中心的理念贯彻到数据总线的每个节点，为开展精确营销活动提供有效的决策支撑。图略1、数据收集。随着决策科学的发展以及企业对营销活动的重视，精确营销所需的数据来源越来越广泛。企业内部的数据来源主要包括以下方面：企业联络中心记录的客户交互记录、营销部门开展的市场调研、其它部门通过商业智能系统(ERP、CRM等)传递的相关信息等等；企业外部的数据来源则更为广泛，包括从合作伙伴、竞争对手、营销渠道到各类传媒、专业信息提供商等众多信息源。由于信息来源的不同和衡量口径的差异，收集的数据可能是分散、冗余或非结构化的，甚至可能是不准确、不

15、完全或不一致的“脏数据”(Dirty Data)。对于语法(Syntactical)、语义(Semantic)方面的数据异常(Data Anomalies)，可以通过分解(Parsing)、转换(Transformation)、完整性约束强制(Integrity Constraint Enforcement)、重复消除(Duplicate Elimination)和统计方法(Statistical Methods)等数据清理手段，处理形成相对完整的内部数据库；对于范围异常(Coverage Anomalies)和业务价值缺陷，则需要进一步引入商业规则(Business Rules)、系统标准(

16、System Standards)，结合外部数据源进行更深入的数据处理。2、数据处理。数据处理(Data Processing)是指将包含在多种数据源中的信息转化为适合诸如数据挖掘、模式发现等分析工具需要的数据抽象概念，为构建分析变量、建立客户档案和通过相关算法模型推断客户行为提供基础。数据处理是知识发现过程的关键阶段，此阶段的工作量约占全部数据挖掘过程的60%，并在很大程度上直接影响最终营销决策的准确性。高效的数据处理不但需要了解企业盘根错节的业务系统和错综复杂的数据组织方式，熟悉多种数据处理工具和相关领域专家知识，而且需要基于战略视野确保数据处理流程能够适应企业未来可能的业务系统变化的。为

17、有效解决数据处理中的复杂问题，需要从战略层面确定数据处理和整合的整体框架(如图2所示)。图略上述框架可以指引企业数据处理流程更好的适应公司运作的各个环节的需求，以实现持续的数据整合性。其中，数据处理策略可以帮助企业制定和贯彻管理公司数据资产的战略，令组织成员认可数据作为企业关键资源的重要地位，明确信息资源整合的公司目标；数据组织致力于优化信息授权、任务责任、结构构建、职务设计、技能培训和绩效管理；数据交流可以帮助组织中每个成员更好的理解其在数据价值链中的影响；维护管理涉及元数据(Metadata)、商务规则(Business Rules)和数据模型等要素，用以保障数据在不同组织间的一致性、标准

18、化、权限问题，成功的数据管理能够通过组织结构和处理流程设计实现数据的前置(Proactively)获取、存档和发布，以适应公司业务层面的变动；数据处理体系架构和数据管理紧密相联，包括数据体系、技术手段和微观架构；数据处理灵活性主要用来确保系统、流程和业务单元符合数据处理策略，提升要素适应环境变化的能力。数据处理从技术上可以分为数据选取(Data Selection)、数据集成(Data Integrity)、数据清理(Data Cleansing)、数据归约(Data Reduction)四个步骤。精确营销中的数据选取是从公司的原始数据库中选出与营销和知识发现任务相关的数据表项；“数据集成”指

19、将多个数据源合并成一致的数据存储；数据清理主要解决数据库中的空缺值、错误数据、孤立点和噪声等问题；数据归约是指通过变换数据的表示形式来得到可以保持原有数据完整性的相对较小的数据集，提高挖掘模式的质量，降低时间复杂度。3、客户描述。客户描述是指将数据处理所获取的分析变量整理形成客户概况档案，以帮助营销人员通过与已有的客户更有效的交流，提供更好的服务，以挽留客户。客户档案是精确营销建模的输入变量，通常可以分为三类：基于客户人口统计学(Demographic)数据的基本概况(Basic Profile)、基于客户历史行为的偏好概况(Preference Profile)以及和关联规则(Associa

20、tion Rules)相关的规则概况(Rule Profile)。常见的客户档案包括如下属性(如表1所示)。表1：常用的客户档案属性属性类别属性名称与描述示 例基本概况基本信息姓名、年龄、性别居住区域；联系方式文化程度、民族背景、家庭结构职业情况、收入水平、购买力地理信息文化、种族、家庭背景经济条件、收入情况或购买能力偏好概况购买行为消费频率、购买周期、购买金额抱怨频率、满意度、倾向性对产品、服务或品牌的认知度媒体偏好、信息来源会员注册方式态度认知产品认知信息认知购买行为规则概况生活方式消费习惯、消费倾向等等消费品位、企业消费购买规律4、建模分析。建模分析的本质是基于统计学、计量经济学、消费者

21、行为学理论建立科学分析模型，推断客户偏好、购买行为、咨询行为是确保营销行为能够“精确”指向最终客户的本质手段。通常而言，常用的精确营销建模可分为四类(如表2所示)。表2：常用的精确营销建模及典型应用模型分类常用工具或技术典型应用示例预测模型回归分析模型预测客户对公司产品或服务的反应；预测客户对公司特定营销活动的反应；预测公司促销活动或定价策略效果；预测不同因素对客户行为的影响；预测客户流失概率；Logit和Probit模型神经网络等人工智能建模Bayesian网络模型危险率(Hazard Rate)模型聚类、分类模型聚类(Clustering)模型确定客户属于何种市场细分；分析细分客户群体特征

22、；公司应如何细分客户潜在等级(Latent Class)细分分类回归树(CART)自动交互探测(AID)模型最近临技术偏好模型期望价值(Expectancy Value)模型不同属性客户的价值；备选属性效用对客户的价值；应该向客户推荐何种产品或服务；联合分析(Conjoint Analysis)理想点(Ideal Point)模型层次贝叶斯(HB)分析协同过滤(Collaborative filtering)其它模型遗传算法粗糙集(Rough Set)可视化分析文本挖掘（二）基于增强型价值网络的数据收集战略。只有将数据与公司业务决策和战略发展紧密结合起来，数据才能真正成为企业的核心资产。进入知

23、识经济时代后，尽管信息渠道和收集技术都有了极大的改善，数据来源和收集问题仍是企业进行科学决策的主要约束之一。由于缺乏系统的战略思维，营销活动通常仅仅定位于组织内部的策略性层面，导致相关部门的营销决策正面临“被海量数据淹没，却饥饿于有效知识”的挑战。随着市场环境的变化，企业竞争的内涵已经超越个体的层面；客户最终价值的实现，也越来越依赖于包括企业自身、供应商、渠道商、合作伙伴甚至竞争者共同形成的增强型价值网络(Enhanced Value Net)。因此，在驱动企业精确营销的数据收集方面，也应该引入相关的战略理论进行规划和架构。就本质而言，大部分数据不完善问题可以归结于企业在数据基础方面缺乏系统的

24、战略架构。一方面，精确的预测客户行为和市场反馈需要的大量属性特征数据，不但需要协调企业内部各数据来源(例如联络中心、公司网站、销售人员等等)形成规范的数据库，而且需要综合考虑来自竞争对手、合作伙伴、供应商、渠道商等方方面面的信息，由于现有企业大多缺乏市场营销数据共享利用的战略机制或规划，导致在客户档案、分析建模阶段预测客户特征和行为时往往缺乏更为全面和详尽的参考信息；另一方面，很多运营导向的数据仓库缺乏明确的营销分析目标和全面的客户属性提取规划，系统在记录信息时通常存在多多益善的倾向，不但容易侵犯用户隐私，引起客户警惕和反感，而且会使数据处理和分析建模阶段遭遇“维度灾难”(Curse of D

25、imensionality)。为此，本文基于企业增强型价值网络理论和明确的最终营销需求，提出了系统的数据收集战略框架(如图3所示)。根据增强型价值网络理论框架，企业在纵向维度(交易维度)与供应商和客户交互，在横向维度(竞合维度)与竞争者和合作伙伴交互。从纵向维度来看，企业与上游的供应商、渠道商以及下游的渠道商和客户交互；大部分日常业务发生在交易维度，企业可基于此维度收集的数据构建系统的产业数据库和客户数据库；横向维度主要反应竞争对手和合作伙伴的行为对公司营销策略和效果的影响，例如通过收集竞争对手的产品、价格、渠道、促销(4P)属性信息为全面预测客户特征和行为提供参考依据；基于与商业伙伴的长期合

26、作机制，实现客户数据资源的共享和转化。图略本文试图通过上述数据收集战略框架为公司精确营销能力的持续提升提供有意义的探索和尝试。一方面，上述框架从战略层面全面分析了所有利益相关者(Stakeholder)的战略或行为对公司营销活动的可能影响。例如，产品差异化(Product Differentiation)、价格歧视性(Price Discrimination)、先行者优势(First-mover Advantage)、产品组合(Product Bundle)销售等；另一方面，上述框架从战略上为精确营销活动的实施提供了持续提升的战略视野，形成学习(Learning)匹配(Matching)评估(

27、Evaluation)再学习的持续改善机制。“学习”过程主要包括数据的收集和处理；“匹配”过程主要指根据客户档案预测客户偏好和行为，并采取有针对性的营销活动；“评估”过程是指对学习和匹配的效果根据一定的标准进行评判，并加以改善，为今后更有效的精确营销活动提供依据。（三）精确营销分析变量设计与拓展的战略路径。现有企业在精确营销实践过程中典型问题可以归结为数据来源的单一化和数据处理效率低下化。在前文中，我们已尝试通过基于增强型价值网络的数据收集战略框架解决数据来源贫乏的问题，那么，如何基于收集到的数据构建准确的客户档案和支持精确营销建模的决策变量？一直以来，上述转换过程似乎仅仅是数据分析人员的份内

28、工作，主要关注也仅局限于数据的处理技巧和转换的技术工具。在数据处理和分析过程中，由于缺乏营销领域专家的参与，往往因部分数据缺失或前提条件缺乏，导致大量数据无法准确建模或者建模分析的结果对营销决策难以产生实质意义等尴尬现象，最终使得公司耗资巨大，积累和管理的数据的利用价值大为降低。本文认为，导致上述问题的主要原因在于，在变量设计时缺乏清晰的战略规划，导致建模过程中变量条件不佳；在分析处理过程中缺乏专业的营销知识，失去了通过市场调研、变量拓展等手段，补充相关变量使已有数据“变废为宝”、“点石成金”的机会。为此，本文提出了精确营销分析变量的设计和拓展路径图(如图4所示)。图略本文基于变量设计和拓展的

29、战略视角，将精确营销分析变量的构建过程分为基础数据、业务数据和分析变量三个阶段。前两阶段主要指基于增强型价值网络的数据收集战略框架收集相关信息，形成构建分析变量所需的基础数据库和业务数据库，其中业务规则指与营销或行业相关的系统标准或商业惯例，中间数据(Intermediate Data)指经过系统、算法、规则等处理后的数据；补充数据主要指通过市场调研(Survey)等手段获取的数据；第三阶段将分析变量细分为基础变量、参考变量、概要变量三类，以更好的为预测目标客户行为提供建模依据。具体而言，基础变量(Groundwork Variables)主要指基于公司已有数据构建的相关变量，如产品和客户的基

30、本信息，客户交互行为变量等；参考变量(Reference Variables)指基于市场调研等手段搜集到的数据构建的变量，可以用来详细了解客户深度特征(如客户反馈、品牌认知、媒体偏好等)和市场竞争情况(如主要竞争对手、产品差异等)；概要变量(Summary Variables)是基于业务数据和其它变量，根据营销决策需要生成的有助于进一步深入判断客户属性和行为特征的中间变量。概要变量是拓展精确营销分析变量的重要环节：一方面，概要变量包含并综合了已有数据、业务规划(营销导向)和其它变量的有效信息，已经初步具有对客户特征的推断能力；另一方面，概要变量是精确营销建模分析的重要输入变量，决策价值高，信息

31、规范性强，不但拓展了数据和变量来源，而且可以有效解决模型应用前提条件不满足等瓶颈现象。常用的精确营销建模变量见表3。表3：精确营销常用的建模变量示例变量类型变量名称主要用途基础变量客户基本属性客户姓名、年龄等人口统计学变量；购买、咨询等消费者行为变量；为建模分析提供基本的变量依据产品基本属性产品类别、价格、目标群体偏好等参考变量客户参考属性客户文化层次、收入水平、职业情况等人口统计学变量；客户偏好、态度、倾向、历史营销活动反馈等消费者态度/行为变量为精确细分客户提供详细特征变量产品参考属性和竞争对手、替代产品等相比，公司产品4P等属性差异衡量客户的价格敏感度、产品特征偏好等深度特征概要变量数量

32、类单次最大消费数量判断客户购买目的(个体消费/群体消费)累计最大消费数量价格类单次最高购买单价判断客户消费偏好和档次(高/中/低)累计最高购买单价金额类单次最高购买金额判断客户消费能力大小累计最高购买金额累计购买金额，平均购买金额时间类最近消费(或联系)时间判断客户对公司产品或服务的依赖(/满意/忠诚)程度平均消费频率四、东方票务的精确营销实践（一）文新集团东方票务简介。文汇新民联合报业集团（简称文新集团）是中国最大的报业集团之一，由创刊60年的文汇报和创刊69年的新民晚报联合组建而成。现办有约20种媒体，并拥有东方艺术中心、东方票务公司、东方演艺、上海视觉艺术学院等著名文化设施和机构，是全国经营业绩最佳的新闻媒体之一。近年来，文新集团在文化产业链整合和赢利模式创新方面取得了突破性