劳动合同解除制度的价值分析.docx

劳动合同解除制度的价值分析.docx

《劳动合同解除制度的价值分析.docx》由会员分享，可在线阅读，更多相关《劳动合同解除制度的价值分析.docx（37页珍藏版）》请在冰点文库上搜索。

劳动合同解除制度的价值分析

基于微软轮式仿真足球机器人的

攻防策略设计

OffensiveandDefensiveStrategiesDesignofWheeledRobotSoccerSimulationBasedonMicrosoft

摘要

机器人足球世界杯赛，是多智能体系统的一个典型问题，又是研究分布式人工智能的理想平台。

多智能体学习与协作是当今人工智能领域研究的热点与难点，在动态、复杂、不确定且通信受限的环境中如何进行Agent间的协作是迫切需要解决的问题，而RoboCup比赛正是检验和促进多智能体相关技术发展的有效平台。

RoboCup是Multi—Agent系统的一个典型代表，它是国际上一项为提高相关领域的教育和研究水平而举行的大型比赛和学术活动，通过提供一个标准任务来促进分布式人工智能、智能机器人技术、及其相关领域的研究与发展。

RoboCup是Multi—Agent系统研究的一个很好的平台。

建立一支成功的机器人足球队需要很多领域的知识，合理的模型结构和Agent之间的协调与协作是RoboCup比赛中赢球的关键所在，协调与协作是Multi—Agent系统研究的重要课题。

为了提高决策的速度和智能性，提出一种基于行为的Multi—Agent决策模型，该模型分为个体决策模型和团队决策模型，个体决策模型是为了提高智能体决策的速度，团队决策模型为了提高决策的智能性。

在团队协作方面，使用阵型和角色实现整体队形分布;设计战术系统实现局部配合，并利用队友间通讯共享信息、传达战术意图。

在个体决策方面，根据球场状况、协作建议等，使用决策树为个体球员确定当前的技术动作。

针对关键的控球球员的技术动作，对射门成功率进行评估，并将传球、带球划分为多种类型进行选择。

关键词：

RoboCup多智能体团队决策个体决策

Abstract

TheRoboCupisatypicalissueofMulti—Agentsystem（MRS）andtheidealplatformofDistributedArtificialIntelligence（DIA）research．ThelearningandcollaborationofAgentisdifficultandhotinintelligencerobotresearch．TheissueofhowtocarryoutthecollaborationbetweenAgentsisneedtobesolvedinadynamic，complexanduncertainenvironmentwithlimitedcommunication．TheRoboCupisaneffectiveplatformtotestandpromotethedevelopmentofMulti—Agenttechnology．

RoboCupisanimagerepresentationofMulti—AgentSystems，it'salagrematch＆learningactivityfurimprovingeducationandresearch’slevelincorrelativedomainRoboCupisagoodflatrooffurMulti—AgentSystemsresearch．VariousfieldsknowledgesmakeupofaSuccessRoboCupteam．Reasonablemodel—structureandcorrespondency&collaborationarethekeytoprevailietheRoboCupmatches，SotheyaretheimportantproblemintheMulti—Agentresearchs．

AMulti—AgentdecisionmodelisintroducedtomakeAgentsaccomplishtaskspromptlyandartificially．Thismodelismadeupofindividualdecisionmodelandteamdecisionmodel．TheformerenhancesthereactivityofAgents，andthelaterimprovestheintelligenceofAgents.Intheaspectofteamcooperation，formationsandrolesareusedtorealizethedistributionofteamform，tacticalsystemisdesignedtorealizepartialcooperation，conununicationsamongteammatesareusedtoshareinformationandtotransfertacticalintentions.Intheaspectofpersonaldecision，decisiontreeisusedtodeterminecurrenttechnicalactionforindividualplayeraccordingtothesituationonsoccerfieldandcooperationsuggestion.Asfarasthecrucialtechnicalactionofball一holderisconcerned，theshootsuccessrateisassessed，alsopassinganddribblinsaredividedintoseveraltypesforchoosing.

Keywords:

RoboCupmulti—agentteamdecisionindividualdecision

1.1.3仿真平台的特点…………………………………………………………………7

3.2.1协作概述…………………………………………………………………………20

3.2.2设计难点…………………………………………………………………………21

3.2.3仿真球队面临的协作问题………………………………………………………21

3.2.4RoboCup仿真中的协作策略分析………………………………………………23

3.3.1理性智能体BDI模型……………………………………………………………24

3.3.2规划协作模型……………………………………………………………………25

3.3.3基于学习的自协调协作模型……………………………………………………25

4.1决策系统的设计理念和框架………………………………………………………28

4.2基于行为的智能自信度决策算法…………………………………………………29

4.3决策树………………………………………………………………………………31

4.4本章小结……………………………………………………………………………32

绪论

近年来，随着人工智能、自动控制、通信工程学、运筹学、系统工程学等领域的快速发展和交叉结合，分布式人工智能（DAI，DistributedArtificialIntelligence）已成为人工智能领域的重要研究方向之一。

多智能体系统（MAS，Multi-AgentSystem）的研究是DAI的一个前沿学科，而机器人足球仿真比赛RoboCup是一个典型的MAS[1]。

MAS是由多个相互作用的自治智能体形成的集合，是一种分布式自主系统。

其主要研究目标是调和组织多个智能体，实现相互协作来完成一个共同的目标。

多智能体系统的协作是近年来分布式人工智能领域的研究热点，机器人足球仿真比赛是完全分布式的既有合作又有对抗的MAS协作理论的理想测试平台。

就近期来说，RoboCup为人工智能和机器人学提供了一个标准的测试平台，检验信息自动化前沿研究，特别是MAS研究的最新成果，包括动态不确定的对抗环境下的多智能体协作、实时推理、机器学习和策略获取等当前人工智能的热点问题以及自动控制、机器人学、传感与感知融合、无线通信、精密机械和仿生材料等众多学科的前沿研究与综合集成。

机器人足球RoboCup自1997年7月举办以来，到今天已经发展为一项国际性的赛事。

它为机器人学、人工智能、多智能体系统、模式识别、计算机视觉等其他交叉或前沿学科提供了一个理想的仿真和实验平台。

RoboCup的最终目标是在2050年建立一支完全自治的类人机器人足球队，在遵循国际足联比赛规则的前提下，能够战胜当时的世界杯冠军队。

1.1RoboCup简介

1992年，机器人足球的最初想法是大不列颠哥伦比亚大学的AlanMackworth教授于正式提出。

同领域学者立即对这一想法进行了系统的调研和可行性分析。

1993年MinoruAsada（浅田埝）、HimakiKitano（北野宏明）和YasuoKtmiyoshi等著名学者创办了RoboCup机器人足球世界杯赛。

与此同时，一些研究人员开始将机器人足球作为研究课题。

隶属于日本政府的电子技术实验室（ETL）的ItsukiNoda（松原仁）以机器人足球为背景展开多主体系统的研究，日本大坂大学的浅田埝、美国卡内基梅隆大学的Veloso等也开展了同类工作。

1997年，在国际上最权威的人工智能系列学术大会——第15届国际人工智能联合大会（The15thInternationalJointConferenceonArtificialIntelligence）上，机器人足球被正式列为人工智能的一项挑战。

至此，机器人足球成为人工智能和机器人学新的标准问题。

RoboCup的最终目标是到21世纪中叶，一支完全自治的人形机器人足球队应该能在遵循国际足联正式规则的比赛中，战胜最近的人类世界杯冠军队。

就近期来说，RoboCup为人工智能和机器人学提供了一个标准的测试平台，检验信息自动化前沿研究，特别是多智能体系统研究的最新成果，包括动态不确定的对抗环境下的多智能体合作、实时推理、机器学习和策略获取等当前人工智能的热点问题以及自动控制、机器人学、传感与感知融合、无线通讯、精密机械和仿生材料等众多学科的前沿研究与综合集成。

并且和影响范围最广的足球运动结合，受到了公众的关注，促进了基础研究和实际应用的联系和转化。

RoboCup机器人足球世界杯赛及学术研讨会是国际上级别最高、规模最大、影响最广泛的机器人足球赛事和学术会议。

从1997年在同本名古屋开始举行第一届比赛后，以后每年举办一次。

现在RoboCup共包括四大项活动，分别是足球比赛、紧急救灾比赛、青少年组比赛和研讨会。

足球比赛是整个比赛的主要部分，包括小型组、中型组、四腿组、类人组和仿真组，除了仿真组比赛是全部通过电脑模拟外，其余的比赛都是以实物机器人形式比赛。

仿真组2D和3D比赛是在一个标准的计算机环境下进行的，是所有RoboCup项目中参赛球队数目最多的一种。

仿真环境与人类足球比赛的环境相似，比赛队员的仿真模型与实际人类足球队员也很接近，比赛规则基本上与国际足球联合会的比赛规则一致，只是在某些方面有很小的改动，比赛采用Client／Server方式，由RoboCup委员会提供标准的SoccerServer系统，各参赛队编写各自的Client程序，模拟人类足球实际比赛的情况，故其对于分布式人工智能理论的研究具有重要意义。

RoboCup仿真比赛是一个典型的多智能体系统，它提供了一个完全分布式控制、实时异步的多智能体环境，避开了诸如对象识别、通讯和硬件设计等机器人底层问题，使研究人员能够集中精力研究多智能体之间的协作、学习、规划等高层次问题，通过这个平台可以检验各种多智能体理论、算法和智能体的体系结构，在实时异步、有噪声的对抗环境下模拟实际足球队员的比赛，研究多智能体间的合作和对抗问题。

1.2国外研究现状

近几年，参加RoboCup仿真比赛的球队发展非常迅速，基本上都实现了个人技术和多Agent之间的合作技术，迅速发展的先进智能算法得到了充分运用，并取得了较好的效果。

美国卡耐基梅隆大学的PeterStone在其博士论文中提出将分层学习的方法运用于RoboCup的研究，使用层学习技术来设计和实现机器人的基本动作和顶层决策，将决策分为底层技术层和顶层决策层，在不同的层次采用不同的方法进行决策，上层决策构筑在下层决策之上。

复杂的决策任务被分层后，分到每个层次的决策任务就变得简单了。

卡尔斯鲁厄大学将再励学习（ReinforcementLearning）作为主要的研究方向，期望做到通过告诉Agent去完成进球的任务，而Agent便能够自主的通过和环境的交互，学习各种技能甚至是策略。

从思维层次上说，再励学习模仿的是人类较低级的智能行为，很难表现出如推理这类人类思维中较高级、较抽象的行为。

德国汉堡大学采用Case—Base的方法研究RoboCup，主要是定义各种典型的场景，根据当前场景和典型场景的匹配程度来进行决策。

这种方法无法克服状态空间巨大的问题，而且很难满足环境对动态性的要求。

荷兰阿姆斯特丹大学的UVATrilearn球队是RoboCup2003仿真组的冠军，在2001至2005连续五年的仿真组比赛中，均获得前十名的优秀成绩。

他们开发了智能体的底层代码，设计了一个简单有效的策略高层，并在RoboCup2001仿真组中获得第四名。

之后他们的研究主要集中在高层策略中多智能体的相互协作上。

葡萄牙Aveiro和Porto大学的FCPortugal队是2000年RoboCup仿真组的冠军，他们的主要特点是充分利用人类足球的知识和建立准确的世界模型。

由于环境具有噪声而且是部分可观的，如何充分利用得到的信息去推测当前的世界模型成了比赛的一个关键所在。

1.3国内研究现状

国内著名的球队有清华大学的TsinghuAelous，该队的研究重点在智能体的可调节性上，智能体根据来自教练和其他智能体的建议来调节决策参数，对每一个动作的使用和选择都比较合理，个体技术较强，如截球、带球等具有较高水平，在此基础上其采取的进攻跑位和防守跑位策略实现的协作准确性很高。

另外一支是中国科技大学的WrightEagle在智能体结构方面采用了BDI模型，也成功地实现了多智能体之间的协作。

国内对RoboCup这一典型MAS的研究虽然起步较晚，但仿真球队一直处于世界领先水平。

到今年为止，中国机器人竞赛共举行了六届，而且在2006年还举行了首届RoboCup中国公开赛，全国30多所大学和研究机构都在进行这方面的研究工作。

清华大学TsinghuAeolm仿真球队获得RoboCup机器人足球世界杯赛仿真组2001、2002年冠军、2003年、2006年亚军。

浙江大学ZJUBase3D仿真球队获得2006年RoboCup世界杯赛的第三名。

中国科学技术大学WrightEagle2D和3D仿真球队在2006年RoboCup世界杯赛中分别获得2D组冠军、3D组亚军，在2007年RoboCup世界杯赛中获得2D组亚军、3D组冠军。

东南大学3D季军。

中南大学CSUYunLu在2005年中国机器人大赛、2006和2007年中国机器人大赛暨RoboCup公开赛中均获2D和3D仿真球队三等奖。

1.4论文的组织

绪论简要介绍了本课题的研究背景、RoboCup的起源、国内外的研究现状以及本文研究的内容。

第一章介绍了RoboCup仿真平台的组成。

第二章介绍了Agent的基础理论。

第三章介绍了RoboCup中的协作策略，首先介绍了多智能体的协作技术，在介绍了常用的协作模型后分析了它们的具体应用，最后分析了清华TsinghuAeolus队防守体系中的协作机制。

第四章具体阐述了决策算法的设计与实现，提出一种基于行为的Multi—Agent决策模型，提高决策的速度和智能性。

1足球机器人仿真平台

RoboCup仿真比赛在标准的计算机环境下进行，比赛模拟了人类足球比赛的实际情况，比赛队员的仿真模型与人类足球队员接近，比赛规则也基本上与国际足球联合会的比赛规则一致，主要区别在于2D仿真平台模拟的是二维平面，没有高度的概念。

仿真比赛环境避开了诸如对象识别、通信和硬件设计等机器人底层问题，使研究人员能够集中精力研究多智能体之间的协作和学习等高层次问题。

另外建立仿真比赛的研究平台只需少量资金投入。

因此，仿真比赛成为所有RoboCup比赛项目中参赛队伍最多的一种。

RoboCup仿真比赛提供了一个完全分布式控制、实时异步的多智能体环境，通过这个平台，测试各种理论、算法和智能体体系结构，在实时异步、有噪声的对抗环境下，研究多智能体问的合作和对抗问题。

1.1RoboCup仿真平台

RoboCup仿真比赛规则基本上与国际足球联合会的比赛规则一致。

仿真比赛在一个标准的计算机环境RoboCup仿真系统中进行。

仿真平台包含两个程序：

Soccerserver和Soccermonitor。

Soccerserver[2]提供了一个虚拟场地，模拟球和所有球员的动作，负责服务器和客户端之间的通信和根据规则控制比赛过程。

Soccermonitor是一个用来将比赛的虚拟场地显示在计算机屏幕上的一个程序。

RoboCup仿真比赛采用Client／Server方式运行：

服务器端运行Soccerserver程序为比赛提供平台；客户端运行各参赛队伍编写的球员程序，每个球员就是一个自治智能体，模拟实际足球队员进行比赛。

每个客户端（Client或Player）程序只能控制一名球员，所以每个参赛队伍的球员数和客户端程序数目相同。

不同客户端程序之间的通信必须通过Soccerserver执行say和hear命令来实现。

仿真系统的结构如图1-1所示，从中看出Server与Agent间的C／S关系。

仿真系统的一个目的就是用来评价MAS的，在这个系统中多智能体之间的通信效率也是一个评价的标准。

参赛队伍必须使用这种受限的通信来实现对多智能体的控制。

图1-1仿真系统的结构

1.1.1服务器（Soccerserver）

由于比赛以Client／Server方式运行，在服务器和每个客户端程序之间的所有通信都是通过一个UDPsocket来进行的，所以参赛队伍可以使用任何支持UDP／IP协议的操作系统平台和编程语言来设计自己的客户端程序。

每个客户端程序是一个独立的进程，通过特定的端口地址连接至Soccerserver上。

每个队伍能启动11个客户端（或球员）和一个在线教练（onlinecoach）。

客户端程序根据自己想要执行的动作向服务器发送命令请求（比如kick，turn或run等），服务器收到这些命令后处理这些请求并响应更新比赛的环境。

除此之外，服务器还向每个球员提供感知信息（比如球、球门和其他队员的位置信息）。

客户端程序就像是球员的大脑：

从服务器接收视觉和听觉信息，根据这些信息做出决策，然后发送控制命令到服务器。

服务器通过将时间分割成离散的时间片来实现一个实时系统，每个周期有特定的长度，任何需要在给定周期内完成的动作必须在相应的周期内到达服务器。

因此，效率引起的丢失动作执行机会对整个队伍的比赛成绩有很大的影响。

1.1.2监视器（Soccermonitor）

监视器作为一个特殊的客户端程序连接至Soccerserver上，是一个可视化工具，用来动态实时显示比赛过程中的服务器信息。

这些信息包括：

当前比分、参赛双方队伍名称、足球场地、球员和球的位置等。

同时Soccermonitor程序也提供了控制服务器的一些简单接口，比如参赛双方的客户端连接到服务器后，可以按Soccermonitor的“Kick-Of”按钮来开始比赛。

对于一场比赛的进行，Soccermonitor不是必须的，然而如果需要，多个Soccermonitor可以同时连接到服务器上，如想在不同的终端上显示比赛。

仿真环境如图1-2所示。

图1-2仿真环境

1.1.3仿真平台的特点

作为一个试验平台，仿真比赛系统提供了一个全分布的、包括合作与对抗的多主体实时环境，很有挑战性[3]。

其具有如下特点：

（1）分布式多主体团队合作和对抗。

所有客户端程序分别控制场上的一名球员或教练，自主决策，分布运行，队友之间有合作，对手之间有对抗。

（2）动态、实时、不确定环境。

在服务器端，整个系统按照100毫秒的周期运转，所有球员都必须按照这个周期运行，意味着球员的所有决策都必须实时完成，由于多主体的存在，环境在动态的转变，无法预知。

（3）感知和行为异步。

由于比赛时间以周期为单位离散，感知和行为就无法同步，所以仅靠传统人工智能方法使用感知来激发行动是远远不够的。

（4）球员能力受限。

场上所有球员的能力都是参照真实球员有所限制的，如体力、加速度、最大速度、惯性等。

（5）视觉受限。

每个球员的视觉都是局部的，受到球员视角和视距的限制，也就是说球员在任何时刻都只能获得一部分球场上的信息。

这就给球员正确分析场上形势，进而做出决策带来了困难。

（6）通讯受限。

球员之间的通讯环境具有单信道、窄带宽等特点，即每队球员公用一条信道，每个球员一个周期内只能“听”到队友一条消息，而且信道容量很有限（缺省为lO字节）。

这样，现有的一些团队合作理论就很难直接应用，因为目前大部分合作理论前提都是要求通讯是及时的、完全的。

（7）多噪声源。

为了真实模拟实际比赛，仿真世界里球员感知和动作都带有噪声，使得球员既无法精确地感知世界也不能完全按照它的意图影响世界。

（8）连接不可靠。

平台网络连接使用UDP／IP，不确保所有信息的正确及时到达，在网络繁忙时一些信息甚至会丢失，这也体现了比赛环境的不确定性，球员程序必须能够适应这一环境。

1.2NewNEU仿真服务

NewNEU仿真服务是NewNEU足球机器人3D仿真平台的主运行服务，主要功能是仿真引擎服务和人机交互服务的消息处理、维护仿真环境的状态、保证比赛的时序和逻辑等。

NewNEU仿真服务主要包括以下模块：

（1）自动裁判模块

自动裁判模块根据仿真环境中的实时状态数据，依据比赛规则裁定简单的犯规，裁决进球等。

（2）回放模块

回放模块主要功能是实现实时在线回放。

反复再现比赛情况，使裁判有充分时间观察某一段时间的比赛，最大限度地保证比赛公平合理地进行，同时也可以多次欣赏比赛的精彩瞬间。

（3）时序控制模块

时序控制模块主要功能是保障比赛高效有序的运行。

控制比赛的运行，停止以及适时调用自动裁判模块处理复杂的情况。

（4）决策模块

决策模块主要功能是调用外部的决策文件（DLL）实现决策控制。

在实时采集仿真环境中足球机器人和足球的位姿信息后，调用决策文件，用返回的控制量控制足球机器人比赛。

1.3人机交互服务

人机交互服务是足球机器人仿真平台的主控制服务，主要功能是显示比赛的运行情况、设置比赛的相关参数以及足球机器人的测试等。

人机交互服务主要包括以下模块：

（1）2D全景视图模块

2D全景视图模块根据比赛的状态数据，同步显示平面的比赛示意图，使用户能够以全局和队形的角度去观看比赛。

（2）比赛设置模块

比赛设置模块实现对比赛的时间、比赛模式等自定义设置。

同时为犯规等特殊情况提供开球方式的选择，NewNEU足球机器人3D仿真平台支