农业大数据研究分析报告文档格式.docx

1、留声机、磁带机也曾经风靡一时，也已难觅踪影；现在当红的信息 技术，像个人电脑、智能手机、IPad 在不远的将来也将被陈列在博物馆。唯有数据，虽然不断的变换表现形态，将一直伴随人类走向未来。物联网本质上是器物层面的技术， 从大数据的视角而言， 是采集数据的终端。云计算本质上是IT服务交付手段的变革，并由此引发一系列技术基础架构的更新。物联网和云计算都是信息技术发展的一定阶段的自然延伸，依然属于信息技术范畴。而大数据可以看成是数据积累到一定规模后，引发的质变。 大数据超越信息技术， 使人们重新界定国家竞争的主战场，重新审视政府治理水平， 重新认识科学研究的新范式， 重新审视产业变迁的驱动因素， 重

2、新理解投资的决策依据， 重新思考公司的战略和组织。综上所述，大数据将是保障国家安全、 社会治理和推动经济发展的恒久主题！1.1.1 国家保障数据安全，促进数据开放2012 年 3 月份，奥巴马发布了美国版的 大数据发展计划 ，通过这个计划， 可以看出： 国家层面大数据技术领域的竞争事关一国的安全和未来。国家数字主权体现为对数据的占有和控制。数字主权将是继边防、海防、空防之后，另一个 大国博弈的空间。大数据必须上升为国家意志，落实为国家战略。欧盟、日本、 新加坡等国家已经开始纷纷行动。362013 年，美国人斯诺登给世人揭开了 “数据战争” 的冰山一角， 美国的“棱镜计划”事实上把所有国家、个人

3、都可以玩弄于股掌之上。连其多年的盟友，德国总理默克尔的手机，都在NSA（美国国家安全局）的监控之下。面对默克尔的 愤怒的质问， 奥巴马只能言辞闪烁的声称 “现在没有监控， 未来也保证不会监控您的手机！”人们把战略核潜艇称为“国之重器” ，的确，神出鬼没的毁灭力量令人望之生畏。但是，如果导弹赖以导航的坐标数据被人为修改或者提前探知了呢？如果 不具备保护这些核心数据的能力， 恐怕就会应了那句老话， 搬起石头砸自己的脚。参与棱镜计划的公司包括谷歌、 雅虎、Facebook、微软、苹果、思科O、racle 、IBM等科技巨头。 可以看到， 大数据时代， IT 产业强大与否已经直接决定一个大国是否成为强

4、国的最为关键的因素。没有数据安全， 就不会有国家安全， 没有强大的 IT 产业，就不会成为一流国家，也就谈不上中国梦！保护国家层面的数据安全，恰恰是以数据开放为基础的。开放是一种态度， 更是一项能力。 一些重大基础数据开放， 可以构成社会的数据基础， 按照大数据定律之一“数据之和的价值远远大于数据价值的和”来推断， 来自不同领域的数据聚合在一起，开放给社会，将会产生类似核聚变一样的价值发现效应。现在，电子商务、社交网络、基础通信、国家各部委的数据，具备聚合的效 应和产生核聚变价值的基础。 国家统计局联合百度、 阿里巴巴， 已经做了一些探索性的尝试，这是非常好的开端。与此同时，“数据割据、拥数自

5、重”的现象也是普遍存在的。譬如气象观测数据，这类数据对于研究大气变化、气候演变、农 业指导等具备非常重要的科学意义。但目前来看， 类似此类的数据应用范围还有很大提升空间。再如住建部的购房数据， 这类数据对于防止腐败、 研究经济走势、人口迁移， 甚至制定国家决策都具有至关重要的数据。这类数据如果开放给社会各界，一定程度上会繁荣多学科、 跨领域交叉研究， 就此有可能会推动中国在各个方面的进步。开放的数据是基础，促使信息产业繁荣，才能诞生真正的数据驱动的企业， 企业反过来在数据领域的技术进步，才是确保国家数据安全的长治久安之策。很难想象， 如果没有谷歌、 微软、Facebook 这样的公司， 单凭美

6、国政府一己之力， 难以实施如此庞大的“棱镜”计划。所以制定国家大数据战略，需要重新思考传统的所谓的“国家机密”和国家安全的关系。应当把消除部门数据割据，建立公开、透明、共享的数据公共平台作为长期的战略目标。多年以后，回顾中国这段历史，也许今天的一些举措，将会是社会“数字文明”的起点。1.1.2 政府转变理念，集成信息，抓住机遇近年来，继云计算、物联网之后，又一股技术革命理念席卷而来大数据。海量、动态、多样的数据，如何让它具备“巨大价值”，是这次被称作“颠覆性技术革命” 的关键。 传统的思维方式和行为方式将面临巨大挑战，尤其在公共服务领域，它有效集成信息资源的能力，将会为政府管理理念和治理模式的

7、转变， 提供强大的技术支撑。当前世界上越来越多的国家开始从战略层面认识大数据， 在政府治理领域融入大数据思维和技术。在此背景下， 我国政府也应顺应时代发展趋势，契合推进国家治理能力现代化的时代要求，充分利用大数据提升国家治理能力。大数据时代政府治理能力将面临更多的机遇与挑战！进入21 世纪，世界上越来越多的国家开始重视和推进大数据的发展。英国2006 年启动“数据权”运动，韩国 2011 年提出打造“首尔开放数据广场” ，美国 2012 年启动“大数据研究和发展计划”，联合国 2012 年推出“数据脉动”计划，日本2013 年正式公布以大数据为核心的新IT国家战略。我国也已开始推动大数据发展，

8、政府、企业和科研院所正在进行多方位布局。对于政府治理而言， 大数据时代在带来机遇的同时也充满挑战。大数据为政府治理能力的提升带来了发展机遇。首先是为推动政府治理理念和模式的变化带来机遇。在政府治理领域，通过让海量、动态、多样的数据有效 集成为有价值的信息资源， 推动政府转变管理理念和治理模式， 进而加快治理体系和治理能力现代化。 其次是为推动政府治理决策精细化和科学化带来机遇。在大数据时代， 互联网数据的价值随着海量积累而产生质变，能够对经济社会运行规律进行直观呈现， 从而降低政府治理偏差概率， 提高政府治理的精细化和科学化。再次是为推动政府治理提高效率和节约成本带来机遇。利用大数据， 可以使

9、政府治理所依据的数据资料更加全面，不同部门和机构之间的协调更加顺畅，进而有效提高工作效率，节约治理成本。大数据对提升政府治理能力的重要性不言而喻，但在实际工作中具体运用大数据却任重而道远。 现阶段， 大数据在政府治理领域还未得到足够重视。我国政府部门目前几乎没有使用大数据技术， 很多政府部门并未对大数据提升业务能力予以足够重视， 大数据资源管理的思维尚未建立。 大数据在政府治理中的技术运 用尚在探索。 随着我国信息化技术应用不断扩展，国家及企业层面产生了巨量大 数据，但总体集成、掌握、整合、分析这些数据需要成熟的技术投入，目前如何 利用大数据进行精细分析仍处于摸索阶段。大数据本身的管理还需要综

10、合完善。 如何管理大数据，我国各部门还缺乏统一标准，各部门的数据来源、数据架构、数据体系各自为政，不能有效整合，大大降低了数据的使用效率1。1.1.3 学术科学的研究数据，用数据来研究科学学术界在大数据时代有了更为广阔的舞台。某种程度而言， 近几年计算机领域的发展是谷歌、 亚马逊等一线的互联网公司所推动的。虽然学术界在算法方面具备无可替代的优势，但在算法工程应用领域，由于缺乏实践场景而裹足不前。 之所以呼吁学术界像谷歌公司学习， 正是看到了学术界不能再走一条从文献到文献的封闭道路。在大数据时代，许多学科表面上研究的方向大不相同，但从数据的视角看， 其实是相通的。例如自然语言处理和生物大分子模型

11、中都用到隐式马氏过程和动态规划方法。 其最根本原因是它们处理的都是一维的随机信号。再如用于图像处理的算法和用于压缩感知的算法也有着许多共同之处。以自然语言的机器翻译研究为例。 最初科学家们试图为计算机建立一系列的语法规则，按照语法、词义，来翻译成另外一门语言。该思路非常直观，因为人们就是如此理解学习语言的。 但在实践中困难重重， 基于语法规则的翻译器， 几乎没有商用过。而当科学家们改弦易张， 计算每一个词， 每一句话的“合理概率” 时，复杂的机器翻译就简化成了文字的概率计算。通俗来讲就是：“如果大多数人都这么说，就认为是对的！ ”这种思想在越来越多的领域得到应用，宏观尺度研究的天体信息学、 社

12、会行1作者：西北大学经济管理学院吴建树为学、微观尺度上分析人类的基金组， 追踪物理学家们梦寐以求的 “上帝粒子”。随着社会的数字化程度逐步加深，越来越来多的学科在数据层面趋于一致。可以采用相似的思想来进行的统一的研究。而这恰恰是数学家的特长。 因此数据科学在数学和实际应用之间建立起了一个直接的桥梁。而这些实际应用正是来自于像信息服务等现代产业中最为活跃的一部分。对数学来说， 这是一个千载难逢的机会。通过建立大数据实验室， 搭建产业界和学术界的桥梁， 为学术界优秀的算法提供演练的舞台， 为产业界困扰的难题提供破解的机会。 从而间接推动数据科学领域学科建设与人才培养的工作。1.1.4 产业产业需要

13、变革，行业需要互融互通产业需要变革，行业需要互通互融。所谓“大数据+”，就是将大数据思维嫁接到不同的产业中，推动大数据在各行各业落地。大数据不仅仅只关系到IT 行业。众多行业龙头公司，都已经意识到了大数据新思维的巨大冲击。 给企业家们带来冲击的并不是大数据本身，而是一些新兴公司不可思议的跨界能力。 行业之间的界限变得越来越模糊， 这些新兴公司所采用新的技术、新的模式，大规模采集数据，迅速形成预判，并迅速扩张到相关企 业行业。譬如乐视网，已经涉及电视销售，电影拍摄；小米公司除手机销售外，也开始涉及电视销售； 百度、360 等企业也都开始做各种硬件， 如百度影棒， 360随身 WiFi 等。互联网

14、金融行业发展快速， 该行业对传统金融行业造成的冲击非常之大，彷佛一夜之间就成了传统金融业的公敌，阿里巴巴旗下的余额宝产品仅仅用了5个多月的时间，累积申购金额就超过了1000 亿元人民币。事实上，目前互联网金融还是在发展的初级阶段， 仅仅是把线上渠道对接了线下金融资源，但就是这种“对接”行为，已经引发了行业性的“地震”。下一步将是线上渠道向智慧方 向演进，这个阶段大数据才真正派上用场。正是：“互联网颠覆金融，大数据重构信用”！借此回顾阿里集团的战略排序是：平台、金融、数据。数据是在金融之后的第三个发力点。类似案例将在各行业轮番上演。 信息化程度越高的行业， 受大数据冲击的可能性越高，被颠覆的可能

15、性越大。所以，以大数据的视角来看， 任何产业中， 数据资产都将成为最核心的竞争力！传统产业、各行各业， 都面临在大数据和移动互联网时代如何彻底转型和再造的问题。 产业整合， 将在大数据时代出现全新的整合逻辑和实现契机。传统产业、各行各业，都可能在大数据和移动互联时代，重现生机、焕发青春。当然， 与此对应的是， 如果不能跟上这个时代步伐的企业和行业，命运可能就将永久地走进过去，退出未来的舞台。1.1.5 公司平台化竞争，特色应用化生存碎片还是平台？这是一个问题！诸如像小米公司和乐视网之间的竞争， 很可能会成为一种奠定产业格局的竞争，一旦格局奠定， 一些公司沦为炮灰或人家平台上的碎片化应用的可能性

16、就非常大了。至于这两家公司是否可以最终胜出，尚难下定论。 但是这两家公司所代表的商业模式，很可能造就出伟大的企业2。未来，各行业只有两类公司得以生存， 一类是平台，一类就是有特色的应用。这种“星空格局”将呈现众星拱月的景象。平台的竞争可能更加残酷，一个行业 甚至只可能存在唯一一个压倒性的平台；应用的竞争同样残酷， 产业成熟周期将缩短到 1 年，决胜期短至 2 个月。在星空格局之下，公司的竞争力更多的体现在“平台+特种部队”的模式。就好比美军前线的一个小分队， 甚至单兵，可以直接指挥后方的导弹、 飞机一样。以星空格局作为产业演化的最终形态，以特种部队作为业务竞争的基本单元，那么公司的战略、组织、

17、文化等方面需要彻底的重组。例如国内的某些公司，组织层级被高度压缩为两级，员工、合伙人。每个合 伙人管理一方面的事务，譬如营销、采购、制造等等。但是合伙人直接管理许多 员工（团队），完全颠覆了一般管理学上定义的， 管理跨度不要超过 7 人的界限。而另外有些公司 , 直接向公司最高管理层汇报的团队有多达数十个。在组织高度扁平化的公司里，企业文化必然有其独到的地方，关键词无外乎包括：“专注、2 上述两家公司的商业模式称为泛互联范式，详情可参考大数据时代的历史机遇第七章极致、口碑、快速、用户体验、全面体察等”。传统公司的确需要重新审视自己的战略，重构组织，再育文化。否则，胜利 的天平总是向这些类似泛互

18、联网范式的公司倾斜。这也便是为什么要强调大数据思维的原因。1.1.6 投资大数据将提供价值分析新视角由于各家公司的成立及上市时间不同，运营结构、体制机制也各具特色 , 如果单从某些指标着手 , 评价结果难免有失偏颇 , 导致投资价值评估不具备典型性 , 无法实现投资价值评估的目的 , 也无法向投资者正确反馈上市公司投资价值高低的信息。其中，“高科技”行业尤其难以研究。隔行如隔山，以软件公司为例，虽 然都是软件公司，但是他们服务的行业不同，采用的技术不同，产业成熟周期不同，最为关键的是， 产业成熟周期有越来越短的趋势。但是一旦发现机会， 就惊世核俗，成为产业的新标杆。谷歌公司仅仅用了15 年的时

19、间，跨入了千亿美元市值公司的行列；小米公司成立三年，估值已达到100 亿美元。如此高速的成长，在传统行业几乎是不可能发生的事情。长期研究分析发现， 以 TM（T 电信、媒体、科技）为代表的高技术含量企业，虽然发展迅速，机会众多，但也随时可能出现潜在的风险，基于此，许多基金经理因看不懂看不准而从不涉足。 这的确是一个两难的问题。 基金经理不了解， 资金就会投入的少，客观上对行业发展不利。用所谓的 WACC方法评估 TMT公司价值，在当前来讲已经不那么现实了。虽然大数据的起源要归功于互联网与电子商务，但大数据最大的应用前景却 在传统产业。 一是因为几乎所有传统产业都在互联网化，二是因为传统产业仍然

20、 占据了国家 GDP 的绝大部分份额。随着数据逐渐成为企业的一种资产，对大量消费者提供产品或服务的企业、做小而美模式的中长尾企业、 面临互联网压力之下急需转型的传统企业， 这三类企业的投资价值与市场发展前景愈发显得难以看透。针对这种情况， 有没有一个简单明了的逻辑， 可以帮助投资人发现公司的潜在价值呢？答案是肯定的！ 大数据将提供分析公司价值的新视角。所谓公司的价值与其拥有的数据资产的规模和活性成正比，与其解释、运用数据的能力成正比。这里提出数据资产的概念， 并强调数据资产的两个属性规模、活性。事实上书中提出数据资产评估模型， 从五个维度来评估数据资产的商业价值。规模和活性仅仅其中的两个 3。

21、利用数据资产评估商业价值的这种思想，获得了越来越多的投资人认可。 大数据已经成为基金经理切入企业发展前景与价值评估的绝好视角和新型工具。产业界和资本市场沟通的 “纽带” 在大数据时代将显得越来越重要。需要让越来越多的投资人理解大数据， 洞察行业发展趋势， 帮助产业界更好地开拓产融结合的路子。综上所述， 不能狭隘的看待大数据， 不能把它当数据挖掘的工具， 不能唯技术论，更不能一概斥之为炒作。从大历史观来看，“大数据”的内涵远远超越物联网、云计算等信息技术的概念，它的意义可以比肩“活字印刷术”的发明，在 世界尺度上大范围的消除信息不对称的现象，释放巨大的生产力， 深刻改变社会的面貌，革新科学研究的

22、思想，促进产业间的跨界、融合和颠覆，并将极大的促 进文明的传播、凝聚、和升华。1.2 国内外大数据发展动态1.2.1 国外大数据发展动态国际战略动态总管世界各国的大数据策略可以发现存在着一下三个共同点：一是推动大数 据全产业链的应用； 二是数据开放与信息安全并重； 三是政府与社会力量共同推动大数据应用。美国美国从 2009 年至今全面开放了 40 万联邦政府原始数据集。日前 Data.gov（美国政府数据库）宣布采用新“开源政府平台”管理数据，代码将向各国开发者开放。奥巴马政府将“大数据战略”上升为最高国策，认为大数据是“未来的新石油”，将对数据的占有和控制作为陆权、海权、空权之外的另一种国家

23、核心3 引自大数据时代的历史机遇第三章赵国栋能力。首批共有 6 个联邦部门宣布投资 2 亿美元，共同提高收集、储存、保留、管理、分析和共享海量数据所需核心技术的先进性， 并形成合力； 对信息技术研发投入推动超级计算和互联网的发展。目前，已有美国大学专门开设了研究大数据技术的课程，培养下一代的 “数据科学家” ，一些美国公司也在向大学提供教育研究资助，并赞助与大数据有关的比赛， 扩大大数据技术开发和应用所需人才的供给，提高美国的科学发展、 环境与生物医药研究、 教育和国家安全的能力； 美国国家卫生研究院开展的免费开放国际千人基因组计划， 它将创建的人类遗传变异研究数据集， 供研究人员自由访问和使

24、用；美国国家科学基金会和美国国家卫生研究院对大数据进行联合招标， 改进核心科学与技术手段， 提高从各种大型数据集中提取重要信息并对其进行有效管理、分析和可视化的能力； 美国国防部则计划每年投资2.5 亿美元左右， 在各个军事部门开展一系列研究计划，以创新方式使用海量数据， 通过感知、 认知 和决策支持的结合，加强大数据决策能力；美国能源部则将斥资2500 万美元建立可扩展数据管理与可视化研究所（SDAV），帮助科学家对数据进行有效管理，促进其生物和环境研究计划、美国核数据计划等的研究成果。此外，美国纽约州能源研究和发展管理局运用一系列的大数据技术来评估气候变化对纽约州的影响，并为农业、 公共卫

25、生、 能源和农业运输等领域提供应对气候变化的策略。这一应用也被引入美国疾病控制中心，它正与美国其他10 个州和城市一起开展“阅读州和城市计划”，共同研究和应对气候变化，而大数据技术是其中一个非常重要的组成部分。英国2011 年 11 月，英国政府发布了对公开数据进行研究的战略政策，英国内阁部长弗朗西斯莫德说，其实英国政府早有意带头建立“英国数据银行”，政府 想算清楚究竟这个国家或政府创造了什么；英国不只是要成为世界首个完全公布政府数据的国家， 还应该成为一个国际榜样， 去探索那些公开数据在商业创新和刺激经济增长方面的潜力。2013 年 1 月，英国商业、创新和技能部宣布，将注资6 亿英镑发展

26、8 类高新技术，大数据独揽其中的1.89 亿英镑，将近三成。 2013 年 8 月 12 日，英国政府发布英国农业技术战略。该战略指出，英国今后对农业技术的投资将集 中在大数据上，目标是将英国的农业科技商业化。2013 年英国首个综合运用大数据技术的医药卫生科研中心在牛津大学成立，这个研究中心总投资达9000 万英镑，可容纳 600 名科研人员。中心通过搜集、存储和分析大量医疗信息， 确定新药物的研发方向， 减少药物开发成本， 同时为发现新的治疗手段提供线索。同时，以英国为首的欧洲核子中心（CERN）将在匈牙利科学院魏格纳物理学研究中心建设一座超宽带数据中心。建成后，魏格纳数据中心将成为连接

27、CERN且具有欧洲最大传输能力的数据处理中心，未来该设施 在处理大型强子对撞机（ LHC）的数据以及实验方面发挥重要作用。日本日本面临着由于长期经济低迷导致国际地位下降、人口老龄化以及日益增大的社会保险费用和社会基础设施老化等诸多问题。为了扭转这一现状， 日本政府决定通过大力发展 IT产业，特别是大数据及开发数据和云计算，以发展开放公共数据和大数据为核心的日本新IT 国家战略，要把日本建设成为一个具有“世界最高水准的广泛运用信息产业技术的社会”，并且将其发展成就扩展到国际范 围内。加拿大随着大数据在全球范围内继续火热， 加拿大的大数据产业也在慢慢升温。 例如，在科研领域， 加拿大政府科学、 技

28、术与创新委员会已要求科研组织就与加拿大经济发展和社会福利密切相关的问题， 为加拿大政府提出基于证据的科技建议。2007 年，加拿大开始实施数字信息战略。2011 年 5 月加拿大广播电视和电信委员会（ CRTC）就发布了新的“国家宽带计划”，该计划显示，到2015 年加拿大全体国民将享有5Mbps的宽带接入速度。 2012 年 9 月 IBM正式启动在加拿 大国内兴建智能数据中心，该中心全称为IBM加拿大领导数据中心（ IBM Canada Leadership Data Centre）。法国虽然法国在数学和统计学领域具有独一无二的优势，但法国的大数据产业发展情况远不如美国、 英国等国家发展的

29、火热。 但近年来， 法国在智慧城市建设方面却投入了大量精力， 包括法国电信、 施耐德集团和达索集团等诸多法国知名企业都在旗下设立了专门从事智慧城市设计和研发的工作室或实验室，在政府引导下积极投身智慧城市建设。2013 年 2 月，法国政府发布数字化路线图，列出 5 项将会大力支持的战略性高新技术，其中一项就是大数据。2013 年 3 月，法国国家教育部推出了四项数字化服务。2013 年 4 月，法国经济、财政和工业部宣布，将投入 1150 万欧元用于支持 7 个未来投资项目，目的在于“通过发展创新性解决方案，并将其用于实践，来促进法国在大数据领域的发展。德国德国 IT 行业协会 BITKOM日前发表报告称，大数据业务在德国发展迅速， 2014年有望增长 59%，营业额达 61 亿欧元，到 2016 年有望再翻一番达到 136 亿欧元。同时因为严谨的名族习惯， 德国在数据保护方面做的非常出色，据了解