青島ETL大數(shù)據(jù)培訓(xùn)課程，主要學(xué)習(xí)LINUX、HADOOP、HBASE、HIVE、SPOOP等課程內(nèi)容，可從事ETL開發(fā)工程師、業(yè)務(wù)數(shù)據(jù)分析師、大數(shù)據(jù)分析工程師、大數(shù)據(jù)挖掘師、Spark工程師、建模數(shù)據(jù)挖掘師、Python開發(fā)工程師、數(shù)據(jù)產(chǎn)品經(jīng)理等崗位。
主要學(xué)習(xí)LINUX、HADOOP、HBASE、HIVE、SPOOP等課程內(nèi)容。政策支持、行業(yè)前景、人才緊缺、超高薪資，可從事ETL開發(fā)工程師、業(yè)務(wù)數(shù)據(jù)分析師、大數(shù)據(jù)分析工程師、大數(shù)據(jù)挖掘師、Spark工程師等崗位。
起點(diǎn)相同！能力不同！薪資懸殊！
數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)概述
數(shù)據(jù)倉(cāng)庫(kù)概述
數(shù)據(jù)庫(kù)
混合型數(shù)據(jù)中心之大數(shù)據(jù)平臺(tái)
混合型數(shù)據(jù)中心參考架構(gòu)
ORACLE-SQL基礎(chǔ)
數(shù)據(jù)庫(kù)控制
數(shù)據(jù)庫(kù)對(duì)象
ORACLE-PLSQL
SQL語(yǔ)言的基本結(jié)構(gòu)? PLSQL高級(jí)編程
數(shù)據(jù)挖掘理論基礎(chǔ)
數(shù)據(jù)的概念
數(shù)據(jù)的內(nèi)容
數(shù)據(jù)屬性及數(shù)據(jù)集
數(shù)據(jù)特征的統(tǒng)計(jì)描述 數(shù)據(jù)的可視化
數(shù)據(jù)相似與相異性的度量
數(shù)據(jù)質(zhì)量
數(shù)據(jù)預(yù)處理
大數(shù)據(jù)ETL基礎(chǔ)
從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù) 數(shù)據(jù)倉(cāng)庫(kù)的架構(gòu)
數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)模型 ETL技術(shù)
聯(lián)機(jī)分析處理--OLAP OLAP的數(shù)據(jù)模型
大數(shù)據(jù)的加工與處理
抽取工具的特征 KETTLE的使用
數(shù)據(jù)挖掘的應(yīng)用
數(shù)據(jù)挖掘的起源
數(shù)據(jù)挖掘的定義
數(shù)據(jù)挖掘的任務(wù)
數(shù)據(jù)挖掘標(biāo)準(zhǔn)流程
Linux
Linux系統(tǒng)詳解
Linux系統(tǒng)進(jìn)程
Linux啟動(dòng)流程
vi、vim編輯器
Linux用戶和組賬戶管理
Linux磁盤管理
Linux系統(tǒng)文件權(quán)限管理
Linux的RPM軟件包管理
yum 、Linux網(wǎng)絡(luò)
Shell編程
Linux上常見軟件的安裝
Hadoop
Hadoop概述
HDFS
Mapreduce Mapreducer案例 Hadoop2.x集群
HBase
HBase與RDBMS的對(duì)比
數(shù)據(jù)模型
系統(tǒng)架構(gòu)
HBase上的MapReduce
表的設(shè)計(jì)
集群的搭建過(guò)程講解
集群的監(jiān)控
集群的管理
HBase Shell以及演示
Hbase樹形表設(shè)計(jì) Hbase一對(duì)多和多對(duì)多表設(shè)計(jì)
Hbase微博案例
Hbase訂單案例
Hbase表級(jí)優(yōu)化Hbase數(shù)據(jù)讀寫優(yōu)化
Hive
數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)知識(shí)Hive定義
Hive體系結(jié)構(gòu)簡(jiǎn)介Hive集群
客戶端簡(jiǎn)介
HiveQL定義
HiveQL與SQL的比較 數(shù)據(jù)類型
外部表和分區(qū)表
DDL與CLI客戶端演示
Sqoop
配置和介紹Sqoop Sqoop shell使用 Sqoop- import DBMS- hdfs
DBMS- hive
DBMS- hbase Sqoop- export
Flume
flume簡(jiǎn)介-基礎(chǔ)知識(shí) flume安裝與測(cè)試 flume部署方式 flume source相關(guān)配置及測(cè)試
flume sink相關(guān)配置及測(cè)試
flume selector 相關(guān)配置與案例分析 flume Sink Processors相關(guān)配置和案例分析
flume Interceptors相關(guān)配置和案例分析 flume AVRO Client開發(fā)
flume和kafka 的整合
Zookeeper
Zookeeper java API開發(fā)
Zookeeper RMI高可用分布式集群開發(fā) Zookeeper REDIS高可用監(jiān)控實(shí)現(xiàn)
NETTY異步IO通信框架
Zookeeper實(shí)現(xiàn)NRTTY分布式架構(gòu)的高可用
Hue
Cloudera Hadoop Manager的分布式集群部署搭建
基于文件瀏覽器（File Browser）訪問(wèn)HDFS
基于Hive編輯器來(lái)開發(fā)和運(yùn)行Hive查詢
基于Solr進(jìn)行搜索的應(yīng)用，并提供可視化的數(shù)據(jù)視圖，以及儀表板（Dashboard） 基于Impala的應(yīng)用進(jìn)行交互式查詢
Spark編輯器和儀表板（Dashboard）
Oozie編輯器，可以通過(guò)儀表板提交和監(jiān)控Workflow、Coordinator和Bundle
Python編程
介紹Python以及特點(diǎn) Python的安裝 Python基本操作（注釋、邏輯、字符串使用等）
Python數(shù)據(jù)結(jié)構(gòu)（元組、列表、字典） 使用Python進(jìn)行批量重命名
Python常見內(nèi)建函數(shù) Python函數(shù)及使用常見技巧
Python異常的處理 Python函數(shù)的參數(shù)講解
Scala編程
1. scala解釋器、變量、常用數(shù)據(jù)類型等 2. scala的條件表達(dá)式、輸入輸出、循環(huán)等控制結(jié)構(gòu) 3. scala的函數(shù)、默認(rèn)參數(shù)、變長(zhǎng)參數(shù)等 4. scala的數(shù)組、變長(zhǎng)數(shù)組、多維數(shù)組等 5. scala的映射、元組等操作 6. scala的類，包括bean屬性、輔助構(gòu)造器、主構(gòu)造器 7. scala的對(duì)象、單例對(duì)象、伴生對(duì)象、擴(kuò)展類、apply方法
Spark-Score
Spark介紹
Spark應(yīng)用場(chǎng)景 Spark和Hadoop MR、Storm的比較和優(yōu)勢(shì)
RDD Transformation Action、Spark計(jì)算PageRank
Lineage
Spark模型簡(jiǎn)介
Spark緩存策略和容錯(cuò)
處理寬依賴與窄依賴
Spark-Streaming
1Spark Streaming：數(shù)據(jù)源和DStream sparksql 編程實(shí)戰(zhàn) spark的多語(yǔ)言操作 spark新版本的新特性
Kafka
kafka是什么
kafka體系結(jié)構(gòu)
kafka的存儲(chǔ)策略 java編程操作kafka scala編程操作kafka flume和kafka的整合 Kafka和storm的整合
Storm
Storm的基本概念 Storm的應(yīng)用場(chǎng)景 Storm集群搭建 Storm配置文件配置項(xiàng)講解
集群搭建常見問(wèn)題解決
Hadoop項(xiàng)目實(shí)戰(zhàn)
項(xiàng)目實(shí)戰(zhàn)一
項(xiàng)目實(shí)戰(zhàn)二
數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目簡(jiǎn)介：整合各個(gè)業(yè)務(wù)線數(shù)據(jù)，為各個(gè)業(yè)務(wù)系統(tǒng)提供統(tǒng)一&規(guī)范的數(shù)據(jù)出口。是整個(gè)大數(shù)據(jù)系統(tǒng)中的關(guān)鍵，是所有數(shù)據(jù)分析、數(shù)據(jù)挖掘等工作的基礎(chǔ)。
數(shù)倉(cāng)項(xiàng)目開發(fā)流程：技術(shù)選型-數(shù)據(jù)采集-數(shù)倉(cāng)設(shè)計(jì)-數(shù)倉(cāng)開發(fā)-任務(wù)調(diào)度-項(xiàng)目?jī)?yōu)化。
項(xiàng)目性能指標(biāo)：滿足日增100T+數(shù)據(jù)處理；查詢速度滿足秒級(jí)查詢。
項(xiàng)目收獲：學(xué)習(xí)并掌握數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)&數(shù)據(jù)倉(cāng)庫(kù)從0~1的構(gòu)建過(guò)程。
熱線監(jiān)控項(xiàng)目簡(jiǎn)介：對(duì)整個(gè)監(jiān)控系統(tǒng)的一個(gè)可視化數(shù)據(jù)大屏展示，分別體現(xiàn)出訴求業(yè)務(wù)總量，轉(zhuǎn)辦案件排名，資訊業(yè)務(wù)重量，來(lái)電資訊分類等數(shù)據(jù)進(jìn)行分析。
數(shù)倉(cāng)項(xiàng)目開發(fā)流程：技術(shù)選型-數(shù)據(jù)采集-數(shù)倉(cāng)設(shè)計(jì)-數(shù)倉(cāng)開發(fā)-任務(wù)調(diào)度-項(xiàng)目?jī)?yōu)化。
項(xiàng)目性能指標(biāo)：滿足日增100T+數(shù)據(jù)處理；查詢速度滿足秒級(jí)查詢。
項(xiàng)目收獲：學(xué)習(xí)并掌握數(shù)據(jù)倉(cāng)庫(kù)的分層設(shè)計(jì)&數(shù)據(jù)倉(cāng)庫(kù)從0~1的構(gòu)建過(guò)程。
ETL開發(fā)講師，ETL大數(shù)據(jù)工程師，4年Oracle數(shù)據(jù)庫(kù)開發(fā)經(jīng)驗(yàn)，3年EDW項(xiàng)目開發(fā)經(jīng)驗(yàn)，3年大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)，曾任職海爾集團(tuán)、印孚瑟斯技術(shù)（中國(guó)）有限公司等。
精通Oracle、PL/SQL、Mongodb等數(shù)據(jù)庫(kù)，精通Informatica、Kettle工具的使用，精通Hadoop，HIVE，HBASE、Zookeeper、Kafka、Spark、Impala、Sqoop、Hue、Python等大數(shù)據(jù)以及數(shù)據(jù)分析技術(shù)，熟悉數(shù)據(jù)建模過(guò)程，對(duì)制造業(yè)、銀行等行業(yè)IT應(yīng)用方向具有一定經(jīng)驗(yàn)。
參與并主導(dǎo)多個(gè)大數(shù)據(jù)項(xiàng)目：海爾集團(tuán)EDW平臺(tái)的整體建設(shè)，海爾集團(tuán)多媒體客服中心大數(shù)據(jù)平臺(tái)設(shè)計(jì)開發(fā)以及后期升級(jí)改造，1169用戶中心大數(shù)據(jù)項(xiàng)目、四川移動(dòng)大數(shù)據(jù)項(xiàng)目、山東農(nóng)村信用社財(cái)報(bào)項(xiàng)目、濰坊銀行微貸中心核算項(xiàng)目、海爾數(shù)據(jù)倉(cāng)庫(kù)EDW/TBM平臺(tái)搭建項(xiàng)目等。
ETL講師，大數(shù)據(jù)行業(yè)8年工作經(jīng)驗(yàn)。
主要工作領(lǐng)域?yàn)榻鹑诖髷?shù)據(jù)、醫(yī)療大數(shù)據(jù)、政府大數(shù)據(jù)。曾任職于北京文思海輝信息有限公司以及北京宇信科技有限公司。
作為項(xiàng)目經(jīng)理和負(fù)責(zé)人完成過(guò)國(guó)家開發(fā)銀行數(shù)據(jù)集市項(xiàng)目、蘇州銀行1104監(jiān)管報(bào)送項(xiàng)目、浙江義烏商業(yè)銀行數(shù)據(jù)平臺(tái)項(xiàng)目。精通大數(shù)據(jù)可視化以及大數(shù)據(jù)云計(jì)算平臺(tái)的架構(gòu)和搭建，精通分布式計(jì)算的原理和架構(gòu)，精通數(shù)據(jù)庫(kù)運(yùn)行機(jī)制以及ETL工具KETTLE/INFOMATICA的使用，精通大數(shù)據(jù)可視化平臺(tái)帆軟報(bào)表finereport的使用。精通ORACLE/DB2/SQLSERVER/PG等關(guān)系型數(shù)據(jù)庫(kù)的使用，并能根據(jù)業(yè)務(wù)需求搭建合理的數(shù)據(jù)模型，開發(fā)全流程圖形化界面以及B/S架構(gòu)。
大數(shù)據(jù)ETL開發(fā)講師，5年以上軟件開發(fā)設(shè)計(jì)、系統(tǒng)架構(gòu)、項(xiàng)目管理與實(shí)施經(jīng)驗(yàn)。2年以上大數(shù)據(jù)相關(guān)開發(fā)經(jīng)驗(yàn)，2年教學(xué)經(jīng)驗(yàn)。
曾任職重慶中軟國(guó)際開發(fā)事業(yè)部并參與多個(gè)政府項(xiàng)目的開發(fā)：重慶稅務(wù)局稅務(wù)系統(tǒng)、重慶稅務(wù)局黨建系統(tǒng)、
也擔(dān)任過(guò)重慶文投大數(shù)據(jù)項(xiàng)目開發(fā)以及一些ERP系統(tǒng)的開發(fā)
精通各大主流框架如:spring、springmvc、mybatis、hibernate、springboot、springcloud等，熟悉各種主流開發(fā)管理工具：maven、svn、idea等，精通Hadoop，HIVE，HBASE、Zookeeper、Kafka、Python等大數(shù)據(jù)以及數(shù)據(jù)分析技術(shù)
與省內(nèi)多家高校建立校企合作關(guān)系：專業(yè)共建、師資培養(yǎng)、課題申報(bào)、實(shí)驗(yàn)室建設(shè)等；與多家行業(yè)知名企業(yè)建立人才訂單合作：青島海信集團(tuán)、天匠動(dòng)畫、甲殼蟲動(dòng)漫等。
