‎大数据‎尚学堂·百战程序员‎① Linux深入和shell脚本编程‎Linux 基础‎操作系统概述 Linux 内核与GNU 介绍 Linux 发行版介绍 虚拟化安装centos / 虚拟网络编辑器 规划多主机网络通信‎虚拟化管理快照与克隆 SSH 客户端使用与配置‎Linux 初级‎Linux 命令行原理 help内部命令帮助 man 命令8种帮助手册 df/du 文件系统分析 文件系统HFS 规范 文件系统管理命令‎bash的{}、$扩展‎Linux 文本操‎作‎文件内容预览命令 管道的使用 基于管道的文件游标预览 日志文件追踪 vi命令的快捷操作 vi命令的编辑模式 vi命令的末行模式‎Linux 文本分析‎grep检索文件 / 正则表达式 文本分析命令cut 文本分析命令sort 文本分析命令wc 文本分析命令sed sed 案例:正则和s命令另类使用‎文本分析命令awk awk 脚本案例:统计报表‎Linux 管理‎系统服务配置文件 用户管理 组管理 权限管理 案例:多用户角色资源绑定 网络管理 进程管理 后台服务管理‎Linux 安装管理‎操作系统软件安装原理 源码编译安装及原理 RPM 包管理机制原理 RPM 的查询、安装、卸载 YUM 仓库原‎理‎YUM 本地、局域网仓库源配置 案例:维护多个YUM源 YUM 安装中文帮助文档‎Linux 高级‎shell 原理、命令原理 shell 解释器的4种脚本执行方式 shell 函数、内部命令、外部命令总结 文件描述符与重定向‎输出重定向的6 种方式 输入重定向的4 种方式 案例:重定向http协议到网站请求主页‎Linux 脚本编程‎本地、局部变量 / 位置、特殊变量 父子进程、环境变量 linux 中for 进程原理 / 管道的子进程执行原理 引用、命令替换扩展‎命令状态与逻辑判断 算数表达式及bash扩展 / 条件表达式 流程控制语句&bash词的拆分扩展‎Linux 脚本案例‎shell 脚本:用户管理 shell 脚本:文件管理 shell 脚本:增强for 循环遍历文件 shell 脚本:游标for 循环遍历文件‎shell 脚本:重定向while循环遍历文件 shell 脚本:管道+while 循环遍历文件 bash解释器的7 中命令扩展总结‎② 高并发‎网络基础‎高并发及解决方案概述 TCP/IP协议资深讲解:应用层 TCP/IP协议资深讲解:传输控制层 TCP/IP协议资深讲解:TCP协议/报文/三次握手‎TCP/IP协议资深讲解:网络层 TCP/IP协议资深讲解:路由表和 IP 协议原理 TCP/IP协议资深讲解:链路层‎TCP/IP协议资深讲解:ARP协议及交换机协议‎四层负载均衡‎四层负载均衡LVS 拓扑 NAT 网络原理 LVS 的DNAT模式分析 LVS 的DR模式分析 LVS 的TUN 模式分析 LVS 的静态调度算法‎LVS 的动态调度算法 / 内核配置ARP 协议 LVS 的命令讲解 / LVS 的DR模式实验搭建‎Keepalive 高可用‎高可用概述 健康检查及故障迁移策略 分布式选主策略 keepalived 原理 keepalived 配置文件详解 基于keepalived的高可用 ‎LVS‎高可用验证 后端健康检查验证‎Nginx 原理与配置‎单点性能压力下的面向服务开发理论 反向代理服务器原理 Nginx 介绍 / Nginx和 Apache 的httpd 对比 IO的阻塞模型和异步非阻塞模型‎Nginx 角色框架原理 / Nginx的内核参数配置 Nginx 的内核sendfile零拷贝原理 Nginx 的TCP 配置‎Nginx 反向代理与负载均衡‎Nginx 的虚拟服务器原理 Nginx 的location匹配规则 Nginx 的自动索引 Nginx 的反向代理服务器配置 Nginx 的upstream负载均衡配置‎Nginx 的DNS 负载均衡配置 Nginx 负载均衡下数据一致性解决方案‎Session 和缓存‎Session 一致性问题 Session 复制 Session 共享 Session 同步 Memcached的缓存 K-V 格式缓存 Tomcat和 Memcache / 缓存服务器‎③ Hadoop生态体系‎HDFS概念‎1T文件处理 Hadoop历史 / Hadoop架构 NameNode 讲解 SecondaryNameNode讲解 DataNode 与副本防治策‎略‎HDFS权限 / HDFS安全模式 HDFS文件上传流程 / HDFS读文件流程‎伪分布式集群搭建 hadoop完全分布式集群搭建 hadoop3 新特性 NameNode的Federation NameNode-HA‎NameNode-HA 集群搭建 NameNode-HA 手动切换 NameNode-HA 自动切换 java 客户端操作HDFS‎MapReduce‎MapReduce简介与原语 MapReduce执行流程 二次排序 MapReduce作业提交流程 MapReduce作业执行流程‎YARN-ResourceManager-HA搭建 运行自带的wordcount 程序 手写wordcount 程序‎MapReduce作业提交流程源码解析 作业切片计算的源码解析 MapTask 输入方式的源码解析 MapTask 执行流程源码解析‎MapTask 输出方式的源码解析 MapTask 环形缓冲区源码解析‎RedueTask的shuffle 源码解析 ReduceTask分组的源码解析 ReduceTask输出的源码解析‎MapReduce 案例‎天气案例需求分析/天气案例映射为MR原语 天气案例键值对设计/天气案例开发和运行 天气案例排序比较器分组比较器设计‎好友推荐需求分析/好友推荐映射为MR原语 好友推荐键值对设计/好友推荐开发和运行/好友推荐TopN‎PageRank简介及算法介绍/PageRank映射为MR原语 PageRank 键值对设计/PageRank 编码和运行 TFIDF 简介及算法/TFIDF 映射为MR原语‎TFIDF 键值对设计/TFIDF 编码和运行 itemCF 简介及算法/itemCF 键值对设计/itemCF 编码和运行‎zookeeper‎分布式协调框架 Zookeeper背景与介绍 分布式 zookeeper环境及安装 Zookeeper源语命令操作‎关于节点类型、版本、元数据信息的意义‎Zookeeper 的api 环境 java 操作集群演示 事件注册与节点的变更 基于zookeeper 的分布式协调案例‎ElasticSearch‎ElasticSearch的现状与前景 Lucene框架与倒排索引原理 Lucene框架在el search搜索引擎中的作用 ElasticSearch全分布式特‎性‎ElasticSearch的环境要求与安装 Curl命令与rest 风格的使用 Api 搜索项目演示‎Cloudera Manager‎国内外大数据平台介绍 Cloudera 产品介绍 什么是 CDH 什么是 cloudera manager 什么是 cloudera manager service‎cloudera manager框架原理 集群基础设施配置 纯手工安装cloudera manager‎cloudera manager部署CDH cloudera manager管理主机 cloudera manager管理集群、管理服务‎cloudera manager管理实例、管理配置 cloudera manager管理监控、管理资源 cloudera manager service图表使用‎cloudera manager service图表创建 cloudera manager service的 dashboard‎Hue‎Hue 介绍 Hue 安装 Hue 的HDFS管理与使用 Hue 的YARN管理与使用 Hue 的HIVE管理与使用 Hue 的Oozie 管理与使用‎Hue 的metadata管理与使用 Hue 的用户管理与使用‎impala‎Impala介绍/内存计算与 MR,SPARK 计算的比较 impala框架角色讲解/impala的安装 impala的命令行使用/impala的命令参数详解‎impala的内部命令详解/impala的SQL的 ddl‎impala的 SQL的 dml/impala 的SQL 的dql impala的文件格式与压缩 impala的 hbase整合 impala的配置与监控/impala的调优‎oozie‎Oozie 介绍 Oozie 的基于hadoop的分布式调度原理 Oozie 框架角色原理 Oozie 的xml 配置文件 Oozie 的job 配置文件‎Oozie 的命令 Oozie 的配置与监控 Oozie 的开发‎④ 大数据数据仓库建设