首页加入收藏
手机网 微信

专业前景

大数据工程师,国外被称为数据科学家(Data Scientist),用阿里巴巴集团研究员薛贵荣的话来说,大数据工程师就是一群“玩数据”的人,玩出数据的商业价值,让数据变成生产力。

近年来,互联网、人工智能的飞速发展,对数据的要求就变得更高。据不完全统计,进入移动互联网时代以来,产生的数据量占人类文明以来产生的数据量的95%以上,可见近年来大数据行业的发展趋势。

由于目前大数据人才匮乏,对于企业来说,很难招聘到合适的人才—既要有高学历,同时最好还有大规模数据处理经验。因此很多企业会通过内部挖掘。因此大数据工程师也被称为IT类职业中的“大熊猫”。大数据工程师的收入待遇可以说达到了同类的顶级。

大数据时代的到来很突然,在国内发展势头激进,而人才却非常有限,现在完全是供不应求的状况。在美国,大数据工程师平均每年薪酬高达17.5万美元,而据了解,在国内顶尖互联网类公司,同一个级别大数据工程师的薪酬可能要比其他职位高20%至30%,且颇受企业重视。

就业薪资

课程大纲

Java面向对象: 变量、条件结构、循环、数组、封装、继承、多态、接口、抽象类与方法

Java核心开发: 语言核心包、异常处理、常用工具包、集合框架、多线程、IO输入输出流、Java反射机制、Java泛型

Linux基础知识: Linux简介与安装部署、熟悉图形化界面、Linux基础命令用户和权限管理、软件包安装

Linux管理: 磁盘管理、日志管理、进程管理、服务管理、任务计划、ssh远程管理、rsync远程同步、selinux、常见故障排除、基本网络配置

Linux进阶: dhcp服务、pxe网络装机、samba服务、vsfptd服务、apache服务、Tomcat服务

Linux Shell编程: Shell的作用及分类、Bash的常用功能、设置和使用Shell变量、编写Shell脚本、条件测试的应用、使用if条件语句、for、while循环语句、for、while循环语句、函数使用

大数据概论: 大数据背景、认识Hadoop、Hadoop架构和组件、Hadoop生态系统、Hadoop经典落地案例、Hadoop安装和部署

分布式文件系统HDFS:HDFS特性和目标、HDFS核心设计、HDFS体系结构、HDFS中数据流的读写、HDFS的HA机制、HDFS的Federation机制、文件压缩、文件序列化

并行计算框架MapReduce: MapReduce编程模型、WordCount编程实例、MapReduce架构、MapReduce类型与格式、剖析MapReduce作业运行机制、shuffle和排序、任务执行与作业调度、YARN平台架构、MapReduce高级开发

数据仓库Hive: Hive基本概念、Hive数据类型和文件编码、HiveQL数据定义与数据操作、HiveQL:查询、视图和索引、Hive内置函数和UDF

ETL工具Sqoop: Sqoop介绍、安装部署Sqoop、Sqoop使用流程、Sqoop实战案例

工作流引擎Azkaban:Azkaban简介、安装部署与配置、使用Azkaban、创建工作流、执行工作流、任务页面查看与系统统计

分布式协调系统Zookeeper:安装、运行ZooKeeper、ZooKeeper实例、Zookeeper选举机制、Zookeeper服务、使用ZooKeeper构建应用

列式数据库HBase:HBase分布式数据库介绍、HBase的核心功能模块、HBase的使用场景和经典案例、HBase基本概念、HBase表结构设计、Shell命令行工具、Java客户端、核心概念、高级特性

实时计算框架Storm: 实时流计算Storm、核心组件、Storm特性、Storm应用于什么场景、使用Storm、核心概念和数据流模型、Storm使用综合案例

消息订阅分发系统Kafka:Kafka介绍、Kafka原理与架构、Kafka使用场景、Kafka的核心概念、Kafka安装与部署、Kafka文件消费者案例

海量日志采集系统Flume:Flume简介、Flume安装、Flume内部原理、Source、Channel、Sink、Flume应用案例

函数式编程Scala: Scala基础、控制结构和函数、数组、映射和元组、Scala中的类、辅助构造器、主构造器、单例对象、伴生对象、apply方法、包与作用域、继承、抽象类与抽象字段、文件操作、特质、操作符、update方法、提取器、高阶函数、柯里化、集合、模式匹配、偏函数优

交互式计算框架Spark:Spark简介、生态系统、Spark架构、Spark集群安装与部署、Spark开发环境配置、Spark应用案例编程、弹性分布式数据集、Spark工作机制、Spark I/O机制、Spark通信模块、Lineage机制、Shuffler机制、Spark SQL运行架构、Spark SQL应用案例、Spark Streaming实时流、GraphX图计算、MLlib体验

数据挖掘与R语言: 数据挖掘算法介绍、分类、聚类、关联规则、决策树、R语言介绍、RStudio安装、常用R包、R语言实现挖掘算法案例

集群运维与调优: 规划Hadoop分布式集群、管理Hadoop集群、Hive调优、HBase调优、CDH的安装部署、HDP的安装部署

环境优势

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

  • 严谨的学术氛围  多彩的校园生活

您的一次咨询,人生将改变一半

  • 学费多少钱?
  • 不知自己学什么教程?
  • 毕业生就业薪资如何?
  • 学不会怎么办?
  • 学完进哪些企业就业?
  • 学完能挣多少钱?
  • 自己适合学吗?