《大数据处理与存储技术》归纳和总结了主流数据库软件和常用数据处理工具的常见问题与应用技巧，为大数据技术与传统数据存储和转换技术相结合提供了技术参考，为促进大数据技术的发展，为数据库和ETL开发人员、运维人员提供了技术支撑。
　　《大数据处理与存储技术》分为3篇，共5章，主要内容包括Oracle数据库应用、MySQL数据库应用、Informatica PowerCenter工具应用、Kettle工具应用、数据库调优与ETL工具应用技巧。《大数据处理与存储技术》分别从数据存储软件、数据抽取与清洗软件等方面，向读者展示了0racle、MysQL、Informatica和Kettle的常见问题、优化与提升的技巧。
　　《大数据处理与存储技术》所涉及的内容均为生产实践中必要的过程和阶段，讲解由浅入深、通俗易懂，适合从事数据库开发、维护、管理、优化任务和高可用设计的工程技术人员及从事ETL开发、优化的工程技术人员使用或参考。

3.2.1 准备安装环境

1. 创建Oracle与infa用户

groupadd dba



大数据处理与存储技术
useradd –g dba oracle
useradd –g dba infa
--设置密码
passwd oracle
passwd infa
2. 配置yum源
将系统镜像挂载至服务器，将系统镜像内的package目录内的所有文件复制到指定
目录。
mkdir /rpm_directory
cp -rv media/Centos6.3_final/Packages/* /rpm_directory
通过rpm命令手工安装createrepo：
cd /rpm_directory
rpm –ivh createrepo* deltarpm* python-deltarpm*
创建repodata，用于存放索引信息：
cd /rpm_directory
createrepo –v /rpm_directory
在/etc/yum.repos.d增加repo配置文件：
cd /etc/yum.repos.d
vi myyum.repo
添加如下内容:
[myyum-repo]
name=myyum
baseurl=file:///rpm_directory
enabled=1
gpgcheck=0
清除yum缓存
yum clean all
3. 安装Oracle客户端（Linux_64位）
将Oracle 客户端上传至服务器，解压后使用xstart 或export DISPLAY=10.***.***.***:0.0
（本机IP ）进入图形化安装。进行到check 步骤时，会提示缺失部分依赖包，这时需要按
照提示安装相应的依赖包，基本命令如下。
yum install unixODBC*
4. 配置tns
在Oracle用户下使用netca命令进行tns配置。确认jdk版本为1.70以上（64位），如果
没有jdk，可以从infa的安装介质中获取，并在infa用户的.bash_profile中配置INFA_JDK_
HOME即可（命令：java –version）。

环境变量为：

export INFA_JDK_HOME=/infa/media/961HF3_Server_Installer_linux-x64/source/
java/bin

export PATH=$INFA_JDK_HOME:$PATH

确认所需端口在服务器防火墙下可通过，端口如下：

 ●
6005至6010；
●
6013至6113。


确认ulimit –n 和 ulimit –u的值均为大于等于32000，修改方法如下：

 ●
以root身份vim /etc/security/limits.conf。
●
在该配置文件最下方追加 ulimit –u 32000。
●
在该配置文件最下方追加 ulimit –n 32000。
●
进入root目录，修改.bash_profile，追加ulimit –u 32000和ulimit –n 32000。
●
以infa身份修改infa的.bash_profile，追加ulimit –u 32000和ulimit –n 32000。
●
以infa身份运行 ulimit –a 查看值是否已经改为32000。
……

第一篇 数据库软件篇
第1章 Oracle数据库应用
1．1 Oracle简介
1．1．1 产品历史
1．1．2 支撑的平台
1．1．3 数据库特点
1．2 安装配置
1．2．1 安装环境
1．2．2 系统配置
1．2．3 0racle安装
1．3 数据库函数
1．3．1 常用函数
1．3．2 数字函数
1．3．3 预定义函数
1．3．4 字符函数
1．3．5 日期函数
1．4 常用查询命令
1．5 常见问题参考
1．5．1 事务处理
1．5．2 索引
1．5．3 触发器
1．5．4 存储过程
1．5．5 参数设置
1．5．6 消息号
1．5．7 表级操作
1．5．8 锁操作
1．5．9 归档的开启与关闭
1．5．10 数据的导入与导出
1．5．11 其他
第2章 MySQL数据库应用
2．1 MySQL简介
2．1．1 产品历史
2．1．2 应用环境
2．1．3 数据库特点
2．2 安装配置
2．3 数据库函数
2．3．1 数学函数
2．3．2 字符串函数
2．3．3 日期函数
2．3．4 条件判断函数
2．3．5 系统信息函数
2．3．6 加密函数
2．3．7 其他函数
2．4 常见问题参考
2．4．1 数据库创建
2．4．2 数据库删除
2．4．3 数据库连接
2．4．4 数据表操作
2．4．5 索引操作
2．4．6 其他

第二篇 ETL工具篇
第3章 lnformatica PowerCenter工具应用
3．1 lnformatica简介
3．2 安装配置
3．2．1 准备安装环境
3．2．2 Informatica软件安装
3．3 常见问题参考
3．3．1 软件安装
3．3．2 软件启动
3．3．3 目标库表
3．3．4 数据库连接
3．3．5 组件应用
3．3．6 其他
第4章 KettIe工具应用
4．1 KettIe简介
4．2 安装配置
4．3 常见问题
4．3．1 连接资源库报错
4．3．2 日志级别设置
4．3．3 时间格式问题
4．3．4 打开资源库后页面空白
4．3．5 Kettle连接0mcle报错

第三篇 高级调优篇
第5章 数据库调优与ETL工具应用技巧
5．1 Oracle调优
5．1．1 最大限度使用索引
5．1．2 SQL优化
5．1．3 hint用法
5．2 MySQL调优
5．2．1 最大限度使用索引
5．2．2 优化提升
5．3 lnformatIca应用技巧
5．3．1 元数据解析
5．3．2 资料库操作
附录A Oracle错误信息表
附录B MySQL错误信息表
附录C PowerCenter错误信息表