培训目标: |
· 彻底理解Hadoop代表的云计算实现技术的能力; · 具备开发自己网盘的能力; · 具备修改HDFS源码和具体源码实现的能力; · 具备掌握MapReduce内部运行和实现细节并改造MapReduce的能力; · 具备掌握Hive企业级开发和管理的能力; · 掌握Spark的企业级开发的所有核心内容,包括Spark架构设计、Spark内核剖析、Shark、SparkSQL、SparkStreaming、、机器学习MLlib、SparkonYarn、JobServer等; · 掌握Spark和Hadoop协同工作,能够通过Spark和Hadoop轻松应对大数据的业务需求; · 掌握企业线上生产系统中应用Spark/Hadoop成功案例,以及与现有企业BI平台整合的方案。 · 掌握Flink的的体系架构,以及企业线上生产系统中应用Flink成功案例 · 掌握Flink Runtime、DataSet API、DataStream API,以及Flink SQL的使用 |
培训对象:大数据架构师、数据平台开发工程师 |
学员基础:具有一定的数据设计、开发和管理经验 |
授课方式:定制课程 + 案例讲解 + 小组讨论,60%案例讲解,40%实践演练 |
主题章节详细内容大数据平台概览大数据处理平台架构基础大数据的产生背景、发展历程大数据和云计算的关系大数据应用需求以及潜在价值分析业界最新的大数据技术发展态势与应用趋势大数据项目的技术选型与大数据处理系统架构设计“互联网+”时代下的电子商务、制造业、零售批发业、电信运营商、互联网金融业、网上银行、电子政务、移动互联网、教育信息化等行业应用实践与应用案例剖析业界主流的大数据技术产品与项目解决方案国内外主流的大数据解决方案介绍当前大数据解决方案与传统数据库方案的剖析比较Apache大数据平台方案剖析CDH大数据平台方案剖析HDP大数据平台方案剖析开源的大数据生态系统平台剖析Hadoop大数据平台核心技术剖析Hadoop的发展历程以及产业界的实际应用介绍Hadoop大数据平台架构基于Hadoop平台的PB级大数据存储管理与分析处理的工作原理与机制Hadoop的核心组件剖析Hadoop的大数据体系架构Hadoop的起源什么是大数据?专有云上的混搭平台设计OLTP系统和OLAP系统数据仓库的基本概念Google的基本思想Hadoop的体系结构和原理海量数据的存储HDFS· 文件上传的过程· 文件下载的过程· 原信息的合并过程海量数据的计算MapReduce· YARN的工作原理· MapReduce作业执行的过程和原理HBase的基本架构Hadoop集群模式的安装和配置单机模式的安装和配置伪分布模式的安装和配置免密码登录的原理配置Hadoop的集群环境配置和使用HUE |
如果您想学习本课程,请预约报名
如果没找到合适的课程或有特殊培训需求,请订制培训
除培训外,同时提供相关技术咨询与技术支持服务,有需求请发需求表到邮箱lucy@info-soft.cn,或致电4007991916
等....课程
中科信软高级技术服务机构(已成立13年)→13年期间,为各大企业提供:各种软件培训、定制培训、技术咨询、技术支持
时间灵活 地点灵活(北上广深、成都、武汉都有上课点),人数灵活,师资丰富、可按您的需求给您定制课程,匹配教师。
小班授课,公开课,上门内训
特殊技术订制培训或咨询
技术培训,技术咨询,项目承接,专家外包
咨询电话:零一零六二八八 三二四七 (课程安排和价格详情请电话联系我们!)
邮箱: lucy@info-soft.cn
网址:www.zksoft.org/www.info-soft.cn