智媒体的业务中台建设方案.docx
《智媒体的业务中台建设方案.docx》由会员分享，可在线阅读，更多相关《智媒体的业务中台建设方案.docx（12页珍藏版）》请在冰点文库上搜索。
智媒体的业务中台建设方案
智媒体的业务中台建设方案
内容目录：
0 引 言
1 业务中台建设的三个方向
2 服务治理框架支撑更多应用场景
2.1 服务治理框架
2.1.1 开放接口服务
2.1.2 智媒服务矩阵
2.1.3 深融服务治理
3 智能网关提供API托管服务
3.1 智能API网关整体架构
3.2 使用API网关进行服务的发布与管理
3.2.1 服务管理
3.2.2 路由管理
3.3 使用API网关为企业TOB赋能
3.3.1 消费者管理
3.3.2 计费能力
3.4 API网关使用插件化的机制来进行扩展
3.5 使用API网关来进行系统功能统计分析及告警
3.5.1 系统功能统计分析
3.5.2 接口调用情况监控与告警
4 运维研发一体化平台提升研发和运维效率
4.1 运维研发一体化平台的底层容器能力
4.2 运维研发一体化平台提供持续集成服务
4.3 全链路跟踪工具来跟踪系统线上运行状态
4.3.1 全链路跟踪的总体架构
4.3.2 全链路跟踪的主要功能
5 成 效
6 结 语
智媒体的本质是通过新技术驱动新传播，创新需求强烈、跨界协作密集，需要业务中台的技术支撑。
智媒体业务中台从功能上将智媒能力可见、可控、可用、可联，让协同建设的团队对各系统的理解深入到能力层面，由此提升沟通和建设效率，根本上是要加强如下三个方向，加固中台基底、提升中台效能和开放中台能力。
需要通过服务治理框架支撑更多应用场景；通过智能API网关提供高性能、高可用性的API托管服务；通过运维研发一体化平台来提升研发效率和系统质量。
0 、引 言
智媒体是指用人工智能技术重构新闻信息生产与传播全流程的媒体，技术驱动是智媒体的本质特征，人机协同是智媒体的重要标志，智能传播是智媒体要达到的目标追求。
智媒体在利用大数据和人工智能等新技术对智能分发、用户沉淀、商业模式、生态体系等方面进行探索的过程，需要来自内外多个领域的团队协同来打造智媒技术平台，推动数据驱动、算法重构和应用升级。
基于市场发展和企业架构的理解，这种创新需求强烈、技术领域繁杂、异构系统众多、跨界协作密集的智媒技术平台的成熟进化正是业务中台的价值所在。
为了高效应对变化，支撑前台应用的快速落地，集成后台服务的复杂逻辑，业务中台在媒体领域应运而生。
1 业务中台建设的三个方向
智媒体业务中台从功能上将智媒能力可见、可控、可用、可联，让协同建设的团队对各系统的理解从产品层面深入能力层面，由此提升沟通和建设效率，根本上是要加强如下三个方向：
加固中台基底、提升中台效能和开放中台能力。
（1）加固中台基底。
智媒体应对快速创新和海量访问的同时要保持系统稳定运行，需要通过服务治理框架和统一运维平台的搭建，为中台的上层提供完整的稳定性保障，让下层更关注在基础资源能力本身，让智媒体技术平台成为媒体系统的设计出发点。
（2）提升中台效能。
用充分和不断完善的业务理解让中台能力适应更多场景，支撑更多复用，提升中台的赋能效率。
通过服务治理框架和持续集成平台从场景支撑和研发效率两个方面体现中台的效能价值。
（3）开放中台能力。
中台的能力应对第三方应用可见、可用，在保障第三方使用过程的隔离性时，还要做到可控、可联，不因自身原因影响其他系统。
基于这三个方向，业务中台需要通过服务治理框架支撑更多应用场景，通过智能API网关提供高性能、高可用性的API托管服务，通过运维研发一体化平台来提升研发效率和系统质量。
我们需要建设如下系统：
智能API网关、持续集成平台、统一运维平台、服务治理框架。
2 服务治理框架支撑更多应用场景
业务中台提供的能力从技术实现上讲就是一个个接口服务并用不同方式组合起来。
为了让业务中台适应更多的场景，就要对接口服务不断进行治理，整合拆分，对外开放。
目前的接口服务按照互联网产品的开发模式，采用微服务架构，SpringMVC（一种Java框架）作为程序框架，用Dubbo（一种远程过程调用框架）作为分布式框架，用K8s（Kubernetes，容器集群）完成容器的调度。
在微服务架构的基础上形成业务中台能力不断生长的服务治理框架。
2.1 服务治理框架
智媒体的本质是用新技术驱动新传播，在快速进化过程中，不断消化新技术、融入新创意、产出新内容，而它的进化依赖于技术体系三个层次的升级迭代：
开放接口服务、智媒服务矩阵、深融服务治理。
2.1.1 开放接口服务
第一层次是开放接口服务。
支持在智媒体技术系统基础上进行快速的创新探索和试错。
媒体是一个创新驱动的行业，媒体节奏相对于技术周期突发而迅速，需要技术创新能够跟上媒体节奏。
这个层次的升级为的是在时间窗口内占位，更多的是解决应用快速创新和试错的能力，开放接口在领域和平台上的覆盖度很重要。
在智媒体的核心领域包括用户、稿件、文章、视频、直播、音频、积分、绩效、频道栏目、社区动态、问政报料、自媒体等部分，都应该有相应的接口开放出来，同时要支持在不同技术栈上协同开发，还要将开发接口封装成不同平台上的软件开发包和桥接接口，从而引入上层的第三方技术生态伙伴，加快创新的节奏。
除了快速应用，媒体技术同样需要稳扎稳打来应对更长远的需求，因此需要通过更多类型的服务治理，完成智媒体技术系统自身的升级，支持更多应用场景，与其他行业深度融合。
2.1.2 智媒服务矩阵
第二层次是智媒服务矩阵。
智媒服务矩阵沉淀和整理智媒体所需的各种服务，覆盖内容生产的六大环节，如采集汇聚、策划指挥、内容生产、审核发布、数据分析、综合服务，同时对系统集成和定制区域进行归纳，识别出核心服务。
不断升级核心服务，一方面，基于业务中台向下开放的程度，在底层引入更多新技术供应商在AI、数据、算法上的能力，在智媒服务中暴露出来；另一方面，强化业务中台向上支撑的力度，通过自身技术团队不断细化和强化核心服务，支持内容生产端、呈现端和互动端更长远的技术准备。
在内容生产端上主要是细化六大环节的各项功能，并预埋定制接口方便升级和接入；在内容呈现和交互端上不仅要在服务端上强化服务能力，更要在移动端上强化移动中台服务的支持，在充分理解移动传播的基础上，通过移动中台为上层应用提供开箱即用的服务能力。
在移动端的中台服务如图1所示。
图1 移动中台
移动中台从工程效率、移动监控、App端安全、App端AI、基础设施和业务组件六个领域为上层功能提供服务支持。
工程效率包括模块化、打包服务、灰度部署；移动监控包括本地日志、异常监控、业务监控、离线报表、性能监控；App端安全包括代码混淆、应用加壳、数据加密、接口加密；App端AI包括语音识别、语音合成、用户画像、智能助手、端智能平台、AR、图像识别；基础设施包括网络库、图片加载、列表行为、音视频播放、相册、数据库管理、文件管理、推送、二维码生成及扫描、自定义表情、长链接、H5容器、路由框架、内部通信、权限引导、应用内升级、视频编解码、素材库、直播推流；业务组件包括分享以及第三方登录、社区圈子、动态话题、新闻列表、新闻详情、直播、音频新闻、小视频、报料及其管理、云求助、提问、稿件审核、频道管理。
2.1.3 深融服务治理
第三层次是深融服务治理。
在前两个层次的支持下，智媒体可以支持更多应用场景，通过媒体+、智能+、数据+的模式不断融合到其他领域，在这个层次中，更重要的是服务架构自身的灵活程度。
智媒体需要在如下三个方面进行加强：
服务编排配置管理、服务多租户改造、服务注册/发现。
服务编排配置管理让业务中台的微服务能更加灵活地适应各种应用场景，通过配置管理切换微服务的运行模式、运行环境和运行状态。
配置中心中不同客户、不同项目的配置在ZooKeeper（一种分布式协调服务）上分开存储。
同时配置中心提供团队的公共配置，同一团队下的项目共享此配置，如果项目配置中存在和公共配置相同的配置，则优先从项目配置中读取此配置；在项目启动时，配置中心根据AppTeam、AppName，从ZooKeeper中读取项目配置和公共配置，对此项目配置数据节点目录和公共配置数据节点目录建立监听；
在项目Bean初始化完成后，扫描项目中所有使用占位符的方法和属性，将占位符替换为Bean实例、属性和方法；当项目配置或公共配置数据节点发生变更时，配置中心会收到数据变更通知事件；收到数据节点变更通知后，获取此次发生变更的配置Key和Value，使用反射技术更改属性或方法的值。
服务多租户化支持服务的不同业务实例，需要进行微服务的多租户化改造。
这里改造要解决两个难点，一个是在微服务无状态的调用特性情况下，如何进行租户ID的透传；
另一个是多个租户的数据源如何管理和下发。
在不侵入程序的情况下，用扩展而非修改的方式进行服务的多租户化改造，可采用如下几种措施：
开发多租户Agent，利用Java的Agent技术，从旁路集成到微服务程序，拦截服务被调用或者调用其他服务时的请求，并自动在请求中增加租户ID；对于微服务使用的中间件，采用全链路监控的探针技术，完成租户ID透传。
对于第二个难点，我们通过分布式协调统一下发数据源配置，动态管理租户数据源，对系统代码零入侵。
服务注册/发现是微服务框架中的标准功能，微服务必须经过注册后，才可以被调用方发现。
在业务中台中，我们在服务注册/发现能力上进行了两个方面的加强，首先是对前台应用增加注册功能，前台应用在通过智能网关调用API之前，必须通过服务注册获取该应用的Token，通过Token调用各种服务；其次是下发定制信息，通过注册中心主动推送消息到服务中，比如租户的数据源信息等。
一个智媒体技术系统通常由几十个甚至上百个服务构成。
我们采用Client-Sever架构，独立出一个注册中心，每个服务启动后都去注册中心进行自我注册，当注册中心有了新的数据源信息时，就会基于事件把新的数据源信息推送给每个注册的服务，然后每个服务将新增的数据源加入自己的数据源集合中。
3 智能网关提供API托管服务
智能API网关将接口层调用管理和性能控制集成到业务中台中，各种前台应用从能力上、项目上减少和后端开发的紧耦合。
根据不同的企业中台需求痛点，智媒体主要在如下四个方面打造智能网关：
（1）API发布与管理。
业务中台包含大量的业务中心，同时存在多个异构系统。
API网关通过统一的发布与管理来进行这些业务接口和服务能力的治理和托管。
（2）API租户与计费。
TOB属性将会作为业务中台对企业能力的强补充。
API网关的客户端管理、租户与计费功能将会作为企业TOB能力的统一出口。
（3）APISLA功能管理。
为了保证高可用的接口服务，API网关实现了接口的降级、熔断、限流、黑白名单等非功能性的需求。
（4）API统计分析。
通过统计分析功能对接口调用情况进行量化，能够查看到SLA指标或者加入监控的功能。
3.1 智能API网关整体架构
智能API网关总体采用的架构思想，如图2所示：
图2 智能网关整体架构
智能网关支持各种程序语言，客户端可以采用多种方式访问智能网关，Java原生程序或者Spring框架程序可以通过SDK访问，其他语言的程序可以通过Http协议来访问；服务端可以通过Dobbo、Http、SpringCloud等协议提供接口，同样也支持各种语言开发的服务端程序；
网关集群上实现路由组件和服务组件的高可用和高性能，避免这个环节的单点故障，提高性能，网关消耗在1～2ms；通过插件化设计思想，在插件层可以通过热插拔、易扩展的方式接入更多插件；内置丰富的插件支持，包括鉴权、限流、熔断、防火墙等，实现灵活的流量筛选，能满足各种流量控制。
3.2 使用API网关进行服务的发布与管理
封面智能API网关使用服务管理和路由管理两个功能来完成服务的发布与管理。
3.2.1 服务管理
服务管理指的是整个业务中台能够提供的各种服务，可以是一个Rest请求的接口，一Dubbo的服务，或者是一个AI的算法服务等。
网关支持Http、Https、Dubbo、Nacos等多种服务配置。
Http和Https服务配置超时时间和对应的URL地址，URL地址支持负载均衡；Dubbo配置ZK地址和服务Group、ID、超时时间等；Nacos配置服务器地址、接口名称、Group等。
3.2.2 路由管理
网关对外的最终出口都是通过Restful接口方式，路由配合则决定了一个Resturl会被路由到哪个服务上。
主要的配置信息应该包括：
路由是配置网关对应的URI跳转到那一个服务的；主要配置分组（分组可以带一级URI）、URI、对应的服务；配置是否开启认证，开启之后会通过消费者管理认证规则进行认证；完成了服务和路由的配置后，业务中台的各种能力就有了一个统一的对外接口。
3.3 使用API网关为企业TOB赋能
企业一般通过PASS平台的方式完成TOB的技术支撑。
一般的PASS平台都会具有租户、鉴权、计费等功能。
封面把这些功能也做到了智能API网关中。
3.3.1 消费者管理
消费者在这里表示为PASS平台的租户。
对每个消费者可配置其自己的AccessKey和AccessToken用作权限校验；对每个消费者配置其可以访问的接口列表。
3.3.2 计费能力
对每个消费者智能网关支持定义其对每个接口每一天和每个月的访问次数上限；超过上限后会发送告警给管理员，并且会对接口进行限速。
3.4 API网关使用插件化的机制来进行扩展
为了实现更好的可扩展性，API网关支持Java语言的插件扩展。
目前使用了内置的插件功能来完成对接口各种非功能的特性进行支撑。
目前主要提供的插件为：
Mock插件。
可以Mock接口的请求，可以用作测试环境。
IP访问控制。
可以设置IP访问的黑、白名单来增加安全性。
断路器。
用来配置系统降级之后的业务行为，保证高可用性。
流量保护。
防止突发流量把系统打垮，可以实现流量限制。
3.5 使用API网关来进行系统功能统计分析及告警
3.5.1 系统功能统计分析
为了能够从整体上更好地进行业务接口质量和能力的评估分析，提供了详细的统计分析功能。
主要包括如下的分析内容：
API请求次数统计：
按照不同时间周期统计API调用次数。
APIQPS统计：
统计接口单位时间的调用情况，为性能优化提供数据。
API流量统计：
统计接口调用对流量带宽的占用情况。
API响应平均时长：
统计接口单次调用的响应时长，和QPS一起成为性能优化的重要依据。
API响应状态码统计：
统计接口成功和错误的数量，作为质量优化的重要依据。
API可用率计算：
接口稳定性的重要指标。
断流、限流出发次数统计：
接口容错性的重要指标。
3.5.2 接口调用情况监控与告警
基于实时的API网关监控分析功能，封面网关还提供了对指定指标进行告警的功能。
主要需要配置监控指标、告警规则和告警方式。
其中，监控指标主要有错误数量、请求次数、流量、QPS等；告警规则主要有超出某个阈值、多长时间内没有响应等；告警方式主要有钉钉、邮件、短信通知等。
4 运维研发一体化平台提升研发和运维效率
业务中台通过原生容器云和各种运维工具的引入，实现自动化的流程、快速敏捷的开发、持续交付和部署。
以此来提升我们的研发效能与代码质量。
运维研发一体化平台包括持续集成平台和统一运维平台。
持续集成平台提供开发测试部署上线运行全流程中的各个环节的自动化、安全性和应急操作，通过应用发布流水线管理，让代码、构建、测试、质量、镜像、灰度、蓝绿、发布等环节自动化；通过K8s的引入让服务弹性横向扩容功能更便捷，扩容速度更快；通过各种环境和资源隔离等操作，为上层应用提供统一安全保障。
统一运维平台使用云和其他基础设施能力以及应用各种技术中间件的能力进行整合和包装，通过各种监控手段对业务中台运行情况进行收集和展示，包括监控Portal、提供基础监控、接口监控、业务监控；统一日志，提供日志查询、分析、异常告警的能力；全链路监控，提供全链路监控和全链路压测的能力。
运维研发一体化平台为业务中台打下了坚实的基础。
4.1 运维研发一体化平台的底层容器能力
整个平台依赖于虚拟化技术来构建底层分布式容器能力，整体架构主要具有如下特点：
使用Docker虚拟化技术来屏蔽硬件环境的异构性；使用K8s进行容器编排，提供底层完备的运行时环境和分布式PASS平台能力；充分利用Kubernetes共享信息，自动化配置；通过快速集成能力，与各种DevOps工具相结合。
4.2 运维研发一体化平台提供持续集成服务
持续集成的目的是持续交付和持续部署。
整个流程主要分为构建管理、资源管理、代码管理和部署发布管理四个部分，通过Jenkins+Gitlab+定制开发实现这四个部分。
构建管理：
通过监控代码发布，配置测试环境和编译环境，实现自动化测试和构建。
资源管理：
为构建和自动化测试分配资源，通过精细化管理，为持续集成管理节点资源。
代码管理：
基于Gitlab自建代码库，定义发布模板和分支规范，为持续集成管理代码分支。
部署发布管理：
定制开发部署发布系统，一边对接构建管理，一边对接容器集群和镜像仓库，实现自动化交付。
4.3 全链路跟踪工具来跟踪系统线上运行状态
智媒体业务中台为了应对各种复杂的业务，采用敏捷开发、持续集成等开发方式。
系统架构也从单机大型软件演化成微服务架构。
微服务构建在不同的软件集上，这些软件模块可能是由不同团队开发的，可能使用不同的编程语言来实现，还可能发布在多台服务器上。
因此，如果一个服务出现问题，可能导致几十个应用都出现服务异常。
全链路跟踪系统可以记录请求范围内的信息，例如，一次远程方法调用的执行过程和耗时，全链路跟踪系统是我们排查系统问题和系统性能的重要工具。
4.3.1 全链路跟踪的总体架构
全链路跟踪系统通过使用客户端Agent的方式来采集各种应用程序的使用和接口调用信息，然后输出日志到分析中心，最后在分析中心进行统计分析和监控告警。
链路追踪的主要工作流程为客户侧的应用程序通过集成链路追踪的多语言客户端SDK上报服务调用数据；数据上报至链路追踪控制台后，链路追踪组件进行实时聚合计算和持久化，形成链路明细、性能总览、实时拓扑等监控数据。
4.3.2 全链路跟踪的主要功能
全链路跟踪的主要功能如下：
分布式调用链查询和诊断：
追踪分布式架构中的所有微服务用户请求，并将它们汇总成分布式调用链。
应用性能实时汇总：
通过追踪整个应用程序的用户请求，来实时汇总组成应用程序的单个服务和资源。
分布式拓扑动态发现：
用户的所有分布式微服务应用和相关PaaS产品可以通过链路追踪收集到分布式调用信息。
多语言开发程序接入：
基于OpenTracing标准，全面兼容开源社区，例如Jaeger、Zipkin。
5 成 效
智媒体采用业务中台后，取得非常明显的效果，系统部署上线时间从2周缩短至3天，新业务接入缩短至以周为单位，系统提供更多开发模式，使更多第三方合作伙伴可以加入智媒体周边的开发当中，为媒体业务的技术驱动提供联盟、合作、生态、共享的解决方案。
6 结 语
基于智媒体业务中台的研究和探索，我们在智能API网关、持续集成平台、统一运维平台、服务治理框架四个方面进行开发和搭建，根本上要解决如下三个方面的问题，中台基底的加固、中台效能的提升和中台能力的开放。
一是中台基底的加固。
通过服务治理框架和统一运维平台的搭建，系统具有各种监控手段对业务中台运行情况进行收集和展示；具有统一日志和异常告警能力对异常情况进行快速排查和解决；具有全链路监控和全链路压测工具对系统运行链路进行全环节完整的监控和优化。
中台层面上的监控、告警、全链路工具为中台的下层提供完整的稳定性保障，让下层更关注基础资源能力本身。
二是中台效能的提升。
中台作为上层应用赋能单元，其赋能效率非常重要。
只有在中台基础上更快速、更完整地支撑上层应用，中台的价值才能体现出来。
微服务治理框架为系统带来配置中心、注册中心和多租户能力，通过多层配置、服务注册、租户改造，中台将适应更多应用场景。
持续集成平台提供开发测试部署上线运行全流程中各个环节的自动化、安全性和应急操作，通过应用发布流水线管理，K8s的引入让开发运维更加敏捷，从场景支撑和研发效率两个方面体现中台的效能价值。
三是中台能力的开放。
中台作为技术生态体系的组件，开放程度很重要，中台的能力应对第三方应用可见、可用、可控、可联。
智能API网关通过可视化手段将大量业务中心的业务接口和服务能力在智能网关中治理和托管，通过统计分析功能对接口调用情况进行量化，实现能力可见；作为业务中台对企业能力的强补充，API网关的客户端管理、租户与计费功能将会作为企业TOB能力的统一出口，实现能力可用；APISLA功能管理保证高可用的接口服务，实现了接口的降级、熔断、限流、黑白名单等非功能的性能需求，实现能力可控可联。
升级会员 