马云曾经说过,”互联网还没搞清楚的时候,移动互联来了;移动互联还没搞清楚的时候,大数据来了。“
大数据是什么?指一般的软件工具难以捕捉、管理和分析的大容量数据。
大数据来自哪?医疗、教育、交通、金融(银行、保险)、移动互联(电商、社交、手游)。
大数据解决啥?思维变革、商业变革(支付宝十年账单、移动运营商与数据再利用、收集数据预测-疾病传播和城市繁华、UPS最佳行业行程路径、坐姿研究与汽车防盗系统)。
课程优势:从主流的云计算技术和大数据处理工具入手,侧重从应用和实战的角度,全方位地介绍大数据处理,尤其是Hadoop工具系列的应用开发技巧。将理论研究与实践经验结合,学员在搭建的实验环境中进行实践研究。
主讲老师
杨文川老师,主要从事大数据分析以及云计算技术研究,主持和参与了多个国家和省部级基金项目,具有丰富的工程实践及软件研发经验。
97年博士毕业于北京大学计算机系,曾经任职于美国朗讯公司贝尔实验室研究员。2001年加入北京邮电大学,现任北邮物联网中心主任、责任教授。主要研究方向为物联网、移动互联网以及大数据处理技术,长期从事云计算、数据仓库以及数据中心建设工作,熟悉Android、ios平台上的产品研发技术,具有丰富的J2EE以及Hadoop实战经验。
近年来,在国内外重要学术期刊和国际会议上,发表了研究论文六十余篇,其中被SCI/EI/ISTP引用40余篇。目前在IEEE、中国计算机学会、中国通信学会、中国自动化学会、北京市通信学会高级会员。
课程大纲
第一讲 互联网思维及大数据 1)互联网思维 2)云计算技术 3)大数据概念及其应用 4)大数据的主要技术 |
第二讲 大数据中的主要技术 1)分布式文件系统 2)MapReduce算法机制 3)对稀疏大表的管理技术 4)并发锁管理技术 5)Hadoop技术介绍 |
第三讲 分布式文件系统 1) 分布式文件系统HDFS 2) HDFS与GFS的区别 3)NameNode和DataNode 4)Jobtracker和Tasktracker 5)Yarn和HA、Federation技术 |
第四讲 MapReduce计算模型 1) 并行计算和无共享 2) MapReduce计算模型 3) MapReduce工作流程 4) 行业应用案例 |
第五讲 Pig大数据分析工具 1)Pig Latine 2)分析环境搭建 3)关键性技术 4)Pig应用实例 |
第六讲 NoSQL和云数据库 1) NoSQL云数据库 2) 列数据库HBase介绍 3) HBase的关键技术 4) ZooKeeper的使用和管理 5) 使用案例介绍 |
第七讲 Hive及云数据仓库 1) Hive介绍 2) 云数据仓库搭建 3) Hive数据分析 4) Hive实用案例 |
第八讲 从关系数据库到云数据 1)云数据抽取技术 2)Chukwa的使用 3)Sqoop数据抽取 4)数据抽取案例 |
第九讲 其它大数据产品介绍 1)流数据处理技术-Storm介绍 2)实时数据处理技术-Spark介绍 3)各厂商的大数据产品介绍 |
|