大數(shù)據(jù)分析高級工程師培訓(xùn)班（上海，7月11-13日）
課程類型：	企業(yè)培訓(xùn)師	授課語言：	普通話
總學(xué)課時(shí)：	3天	培訓(xùn)費(fèi)用：	5800元
授課時(shí)間：	2014年07月11日至2014年07月13日	授課地點(diǎn)：	北京
瀏覽次數(shù)：	6127次	參加培訓(xùn)：	在線報(bào)名

【課程背景】
    我培訓(xùn)中心在人力資源和社會(huì)保障部、工業(yè)和信息化部聯(lián)合支持下，服務(wù)中國IT，創(chuàng)新企業(yè)未來。為深入實(shí)施人才強(qiáng)國戰(zhàn)略，進(jìn)一步加快急需緊缺人才隊(duì)伍建設(shè)，推動(dòng)人才培養(yǎng)工作更好地為經(jīng)濟(jì)社會(huì)發(fā)展服務(wù)，根據(jù)《國家中長期人才發(fā)展規(guī)劃綱要（2010-2020年）》和《專業(yè)技術(shù)人才知識更新工程實(shí)施方案（2010-2020年）》要求，我中心以新型工業(yè)化發(fā)展和信息化建設(shè)所涉及的經(jīng)濟(jì)領(lǐng)域?yàn)橹攸c(diǎn)，緊緊圍繞構(gòu)建和諧社會(huì)和"調(diào)結(jié)構(gòu)、轉(zhuǎn)方式、促發(fā)展"的中心任務(wù)。為響應(yīng)工業(yè)和信息化部2012年正式啟動(dòng)"工業(yè)和信息化領(lǐng)域急需緊缺人才培養(yǎng)工程"。云計(jì)算作為戰(zhàn)略重點(diǎn)項(xiàng)目新興產(chǎn)業(yè)，政府和業(yè)界都表現(xiàn)出了極大的熱情。
   隨著云時(shí)代的來臨，大數(shù)據(jù)技術(shù)將具有越來越重要的戰(zhàn)略意義。大數(shù)據(jù)已經(jīng)滲透到每一個(gè)行業(yè)和業(yè)務(wù)職能領(lǐng)域，逐漸成為重要的生產(chǎn)要素，人們對于海量數(shù)據(jù)的運(yùn)用將預(yù)示著新一輪生產(chǎn)率增長和消費(fèi)者盈余浪潮的到來。大數(shù)據(jù)分析技術(shù)將幫助企業(yè)用戶在合理時(shí)間內(nèi)攫取、管理、處理、整理海量數(shù)據(jù)，為企業(yè)經(jīng)營決策提供積極的幫助。大數(shù)據(jù)分析作為數(shù)據(jù)存儲和挖掘分析的前沿技術(shù)，廣泛應(yīng)用于物聯(lián)網(wǎng)、云計(jì)算、移動(dòng)互聯(lián)網(wǎng)等戰(zhàn)略性新興產(chǎn)業(yè)。雖然大數(shù)據(jù)目前在國內(nèi)還處于初級階段，但是其商業(yè)價(jià)值已經(jīng)顯現(xiàn)出來。為加強(qiáng)大數(shù)據(jù)分析創(chuàng)新發(fā)展頂層設(shè)計(jì)和科學(xué)布局，推動(dòng)相關(guān)人員更好理解和掌握大數(shù)據(jù)分析的關(guān)鍵技術(shù)原理、未來發(fā)展方向，為此培養(yǎng)大數(shù)據(jù)分析高級工程師。現(xiàn)將相關(guān)事宜通知如下：

【課程收益】
    使參訓(xùn)人員了解用戶體驗(yàn)設(shè)計(jì)全套流程與方法，通過案例學(xué)習(xí)相關(guān)工具，認(rèn)識到用戶體驗(yàn)設(shè)計(jì)在產(chǎn)品中的重要性，了解UI設(shè)計(jì)的基本理念與實(shí)踐方法，并能夠通過流程的規(guī)范化來控制設(shè)計(jì)的過程與質(zhì)量，設(shè)計(jì)出讓客戶滿意和用戶喜愛的產(chǎn)品。

【課程大綱】
■Hadoop和傳統(tǒng)數(shù)據(jù)庫技術(shù)優(yōu)劣勢對比 
■Hadoop/Hive 對比 Oracle 在構(gòu)建數(shù)據(jù)倉庫上的優(yōu)劣勢
■Hadoop 如何和傳統(tǒng)IT系統(tǒng)配合完成原來不可能的任務(wù)
■Hadoop版本講解及Hadoop新舊版本使用對比
■Apache社區(qū)版本：Cloudera 版本、MapR版本、Intel版本、Oracle、Dell、HP版本
■Hadoop的來源和動(dòng)機(jī) 
■傳統(tǒng)大規(guī)模系統(tǒng)存在的問題 
■Hadoop概述 
■Hadoop分布式文件系統(tǒng)      
■MapReduce工作原理         
■Hadoop集群剖析             
■Hadoop生態(tài)系統(tǒng)對一種新的解決方案的需求
■Hadoop的行業(yè)應(yīng)用案例分析
■Hadoop在云計(jì)算和大數(shù)據(jù)的位置和關(guān)系
■非結(jié)構(gòu)化數(shù)據(jù)與半結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中的應(yīng)用
 
■某銀行數(shù)據(jù)統(tǒng)一處理平臺，通過Hadoop進(jìn)行系統(tǒng)優(yōu)化
■某電信運(yùn)營商用戶行為分析系統(tǒng) 某電力行業(yè)數(shù)據(jù)采集大數(shù)據(jù)分析案例
■聯(lián)通使用Hadoop/Hbase解決3G詳單查詢問題。
■Hadoop生態(tài)系統(tǒng)介紹和演示 
■Hadoop HDFS 和 MapReduce 
■Hadoop數(shù)據(jù)庫之HBase 
■HBase架構(gòu)及如何應(yīng)用與編程開發(fā)相結(jié)合
■Hadoop數(shù)據(jù)倉庫之Hive
■Hive架構(gòu)及如何應(yīng)用與編程開發(fā)相結(jié)合
■Hadoop數(shù)據(jù)處理腳本Pig 
■Pig架構(gòu)及如何應(yīng)用與編程開發(fā)相結(jié)合 
■Hadoop數(shù)據(jù)接口Sqoop和Flume 
■Sqoop和Flume架構(gòu)及如何應(yīng)用與編程開發(fā)相結(jié)合
■Hadoop工作流引擎 Oozie
■Oozie架構(gòu)及如何應(yīng)用與編程開發(fā)相結(jié)合
■Hadoop生態(tài)系統(tǒng)各模塊應(yīng)用與編程開發(fā)相結(jié)合
■案例及實(shí)驗(yàn) 
■某銀行如何使用Hadoop統(tǒng)一數(shù)據(jù)平臺
■手機(jī)上網(wǎng)日志分析
■移動(dòng)GPRS上網(wǎng)日志查詢系統(tǒng) 
■國家電網(wǎng)城區(qū)用電量分析
■聯(lián)通不良信息檢測系統(tǒng)
■電廠海量數(shù)據(jù)監(jiān)控分析系統(tǒng)
■某銀行數(shù)據(jù)統(tǒng)一處理平臺
■海量指紋比對系統(tǒng)
■Hadoop集群調(diào)優(yōu) 
■選擇適合hadoop的硬件配置
■Hadoop配置項(xiàng)優(yōu)化
■Hadoop配置優(yōu)化 - core-site.xml
■Hadoop配置優(yōu)化 - hdfs-site.xml
■Hadoop配置優(yōu)化 - mapred-site.xml
■Hadoop配置優(yōu)化 - 機(jī)架感知
■Linux操作系統(tǒng)優(yōu)化
■其他配置和參數(shù)調(diào)優(yōu) 
■網(wǎng)絡(luò)帶寬參數(shù)調(diào)優(yōu)
■系統(tǒng)參數(shù)調(diào)優(yōu)
■配置文件管理
■嚴(yán)格控制root權(quán)限
■Java的GC模式
■選擇正確的JDK
■hadoop作業(yè)調(diào)優(yōu)
■Map side tuning設(shè)置
■Map side設(shè)置
 
■Hadoop硬件優(yōu)化
■不是所有的硬件都合適拿來直接使用
■安裝調(diào)優(yōu)的第一步服務(wù)器硬件的選型的竅門
■如何選擇適合業(yè)務(wù)使用的CPU
■內(nèi)存越大越好嗎？設(shè)置合理的的內(nèi)存配置
■連接網(wǎng)絡(luò)的選擇和優(yōu)化
■高速硬盤的選擇注意事項(xiàng)
■硬盤為什么不做raid？
■設(shè)置網(wǎng)絡(luò)的注意事項(xiàng)
■中間結(jié)果壓縮對磁盤和網(wǎng)絡(luò)的優(yōu)化
■機(jī)架感知，網(wǎng)絡(luò)和磁盤IO優(yōu)化作用，確定存儲的具體位置，
■內(nèi)存參數(shù)，map/reduce槽位數(shù)的計(jì)算方法。 
■對磁盤和網(wǎng)絡(luò)的優(yōu)化
■Java工具使用，jstack使用
■Sun和open之間的區(qū)別，JIT編譯器的使用
■inux系統(tǒng)參數(shù)調(diào)優(yōu)
■Linux監(jiān)控系統(tǒng)的使用
■cacti,
■ganglia
■常用的linux排錯(cuò)工具lsof,strace,iostat,vmstat,netstat...
■常見異常現(xiàn)象級處理方法
■網(wǎng)卡流量導(dǎo)致連接失敗                 
■權(quán)限錯(cuò)誤
■主機(jī)名IP轉(zhuǎn)換錯(cuò)誤                    
■NN與DN namespaceID不一致
■磁盤滿導(dǎo)致報(bào)錯(cuò)                       
■Jave heap size OOM
■HDFS高級程序?qū)崙?zhàn)演練 
■HDFS實(shí)戰(zhàn)-命令行等使用                
■HDFS命令行工具 
■啟動(dòng)、停止HDFS服務(wù)                   
■如何查看HDFS日志 
■如何查看HDFS Web控制臺              
■HDFS參數(shù)配置 
■案例及實(shí)驗(yàn)          
■HDFS實(shí)戰(zhàn)-Java API使用                  
■Eclipse 開發(fā)環(huán)境介紹
■HDFS 開發(fā)基本步驟         
■HDFS Java API詳解
■Configuration                           
■Path
■FileSystem                              
■Stream、IOUtils
■Hadoop HDFS HA方案介紹 
■Hadoop 1.0 系 HA的一些辦法 
■Hadoop 2.0 介紹
■MapReduce高級程序?qū)崙?zhàn)演練   
■使用 Hadoop MapReduce Streaming 編程      
■MapReduce的優(yōu)化
■MapReduce的任務(wù)調(diào)度
■MapReduce編程實(shí)戰(zhàn) 
■滿足解決實(shí)際數(shù)據(jù)分析問題的高級Hadoop API 
■MapReduce流程  
■剖析一個(gè)MapReduce程序 
■基本MapReduceAPI 概念  
■驅(qū)動(dòng)代碼 Mapper、Reducer    Hadoop流 
■API 使用Eclipse進(jìn)行快速開發(fā)               
■新MapReduce API 
 

■案例及實(shí)驗(yàn) 
■Hadoop Streaming 和 Java MapReduce Api 差異。
■MapReduce 實(shí)現(xiàn)數(shù)據(jù)庫功能
■利用Combiners來減少中間數(shù)據(jù)
■編寫Partitioner來優(yōu)化負(fù)載平衡
■直接訪問Hadoop分布式文件系統(tǒng)（HDFS）
■Hadoop的join操作 
■輔助排序在Reducer方的合并
■定制Writables和WritableComparables 
■使用SequenceFiles和Avro文件保存二進(jìn)制數(shù)據(jù) 
■創(chuàng)建InputFormats OutputFormats
■Hadoop的二次排序
■Hadoop的海量日志分析
■在Map方的合并  
■Hadoop SQL 接口Hive 
■Hive基礎(chǔ)                               
■Hive的作用和原理說明
■Hadoop倉庫和傳統(tǒng)數(shù)據(jù)倉庫的協(xié)作關(guān)系；    
■Hive與傳統(tǒng)數(shù)據(jù)庫的對接使用 
■Hadoop/Hive倉庫數(shù)據(jù)數(shù)據(jù)流                
■Hive Cli 的基本用法
■HQL基本語法                 
■自行編寫數(shù)據(jù)庫與Hadoop相互ETL工具的思路
■使用JDBC 連接Hive進(jìn)行查詢和分析        
■使用正則表達(dá)式加載數(shù)據(jù)
■HQL高級語法                              
■編寫UDF函數(shù)
■編寫UDAF自定義函數(shù)                     
■執(zhí)行嵌套sql的優(yōu)化
■Hadoop數(shù)據(jù)庫之HBase及HBase優(yōu)化 
■hbase概念與架構(gòu)                          
■hbase核心知識點(diǎn)
■hbase安裝、部署                   
■HBase配置優(yōu)化綜述
■表設(shè)計(jì)優(yōu)化相關(guān)參數(shù)                      
■監(jiān)控工具使用方法及注意事項(xiàng)      
■常見異常現(xiàn)象級處理方法

■案例及實(shí)驗(yàn) 
■hot region造成讀請求瓶頸
■region預(yù)劃分
■Memstore合并設(shè)置的時(shí)機(jī)選擇
■合并storefile策略設(shè)置技巧
■Memstore flush設(shè)置時(shí)機(jī)選擇
■CF數(shù)量多少對讀寫性能的影響
■自動(dòng)關(guān)閉flush的目的 Hbase-env.sh、Single、multi-thread、CMS使用及參數(shù)調(diào)整
■GC回收垃圾時(shí)機(jī)、GC日志打印設(shè)置
■GC階段，region無法提供服務(wù)如何如何處理
■Split時(shí)機(jī)控制（增大、disable）方法



【費(fèi)用及報(bào)名】
1、費(fèi)用：培訓(xùn)費(fèi)5000元（含培訓(xùn)費(fèi)、講義費(fèi)）；如需食宿，會(huì)務(wù)組可統(tǒng)一安排,費(fèi)用自理。
2、報(bào)名咨詢： 鮑老師  
3、報(bào)名流程：電話登記-->填寫報(bào)名表-->發(fā)出培訓(xùn)確認(rèn)函
4、備注：如課程已過期，請?jiān)L問我們的網(wǎng)站，查詢最新課程
5、詳細(xì)資料請?jiān)L問北京曼頓培訓(xùn)網(wǎng)： (每月在全國開設(shè)四百多門公開課，歡迎報(bào)名學(xué)習(xí))

錢老師，中國培訓(xùn)資訊網(wǎng)資深講師。大數(shù)據(jù)專家。在電信、電力、金融行業(yè)從事Java開發(fā)和架構(gòu)設(shè)計(jì)的工作；資深云計(jì)算研發(fā)工程師。作為項(xiàng)目的主要成員和負(fù)責(zé)人參與并領(lǐng)導(dǎo)完成了多個(gè)大型復(fù)雜項(xiàng)目，并成功應(yīng)用于行業(yè)解決方案，如海量數(shù)據(jù)匹配系統(tǒng)、電力行業(yè)實(shí)時(shí)數(shù)據(jù)采集分析系統(tǒng)等。設(shè)計(jì)并實(shí)現(xiàn)了實(shí)時(shí)索引系統(tǒng)-云搜，成功應(yīng)用與某國企知識庫系統(tǒng)。并可應(yīng)用與互聯(lián)網(wǎng)行業(yè)的搜索等應(yīng)用。完成多個(gè)云計(jì)算解決方案的架構(gòu)，涉及到金融韓行業(yè)海量數(shù)據(jù)分析與數(shù)據(jù)處理系統(tǒng)、海量日志分析系統(tǒng)、電力用電信息統(tǒng)計(jì)系統(tǒng)等，獲得業(yè)界認(rèn)可。

大數(shù)據(jù)分析高級工程師培訓(xùn)班（上海，7月11-13日）
【舉辦單位】北京曼頓培訓(xùn)網(wǎng)  中國培訓(xùn)資訊網(wǎng) 
【培訓(xùn)日期】2014年7月25-26日
【培訓(xùn)地點(diǎn)】上海
【培訓(xùn)對象】IT公司數(shù)據(jù)分析師、數(shù)據(jù)中心架構(gòu)師、商業(yè)智能分析師、研發(fā)負(fù)責(zé)人、研發(fā)工程師、各地政府云計(jì)算、物聯(lián)網(wǎng)產(chǎn)業(yè)負(fù)責(zé)人，CIO、信息中心、技術(shù)總監(jiān)，云計(jì)算產(chǎn)業(yè)投資團(tuán)隊(duì)，云計(jì)算應(yīng)用開發(fā)商，云計(jì)算硬件設(shè)備、運(yùn)營服務(wù)提供商，高校、科研院所云計(jì)算項(xiàng)目負(fù)責(zé)人。高級開發(fā)工程師、設(shè)計(jì)師、架構(gòu)師、系統(tǒng)管理員、開發(fā)經(jīng)理、測試經(jīng)理、產(chǎn)品經(jīng)理、項(xiàng)目經(jīng)理等。
 培訓(xùn)證書：工業(yè)和信息化部人才交流中心頒發(fā)的《工業(yè)和信息化領(lǐng)域急需緊缺人才》大數(shù)據(jù)分析高級工程師證書。證書可作為專業(yè)技術(shù)人員職業(yè)能力考核的證明，以及專業(yè)技術(shù)人員崗位聘用、任職、定級和晉升職務(wù)的重要依據(jù)。

上一課程：國際電子商務(wù)師高級研修班（北京，6月14-15日） 下一課程：QCC品管圈活動(dòng)實(shí)務(wù)（蘇州，8月29-30日）

在線報(bào)名>>課程：大數(shù)據(jù)分析高級工程師培訓(xùn)班（上海，7月11-13日）
您的姓名：	*	您的性別：	先生　 女士
固定電話：	*	傳真號碼：
所在公司：	*	現(xiàn)任職務(wù)：
電子郵箱：	*	移動(dòng)手機(jī)：
所在地區(qū)：	*	參加人數(shù)：
聯(lián)系地址：
備注留言：	我想?yún)⒓颖菊n程培訓(xùn)，請給我回電話!
驗(yàn) 證 碼：