ubuntu系统中hive3.1.0+hadoop的配置

hive下载

http://mirror.bit.edu.cn/apache/hive/hive-3.1.0/apache-hive-3.1.0-bin.tar.gz

$tar -xvf apache-hive-3.1.0-bin.tar.gz

然后移动到/opt/hive 里面，将文件夹重命名为 hive-3.1.0

$mv apache- hive-3.1.0-bin /opt/hive
$mv apache- hive-3.1.0-bin hive-3.1.0

2.配置环境变量

编辑 /etc/profile 文件，输入:

$vim /etc/profile

在最后添加:

$export HIVE_HOME=/opt/hive/hive-3.1.0
$export HIVE_CONF_DIR=${HIVE_HOME}/conf

使配置生效输入:

$source /etc/profile

3.创建一些目录

在修改配置文件之前，需要先在本地opt(可以是任意目录)目录下建立一些文件夹。

$mkdir /opt/hive
$mkdir /opt/hive/warehouse

在hadoop上新建同样的目录并赋予读写权限：

$hadoop fs -mkdir -p /opt
$hadoop fs -mkdir -p /opt/hive/
$hadoop fs -mkdir -p /opt/hive/warehouse
$hadoop fs -chmod 777 /opt/hive/
$hadoop fs -chmod 777 /opt/hive/warehouse

4.修改hive-site.xml

切换到 /opt/hive/hive-3.1.0/conf 目录下，将hive-default.xml.template 拷贝一份，并重命名为hive-site.xml然后编辑hive-site.xml文件

$cp hive-default.xml.template hive-site.xml
$vim hive-site.xml

编辑hive-site.xml文件以下内容：

<!-- 指定HDFS中的hive仓库地址 -->
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/root/hive/warehouse</value>
</property>

<property>
    <name>hive.exec.scratchdir</name>
    <value>/root/hive</value>
</property>

<!-- 该属性为空表示嵌入模式或本地模式，否则为远程模式 -->
<property>
    <name>hive.metastore.uris</name>
    <value></value>
</property>

<!-- 指定mysql的连接 -->

<!-- localhost是mysql所在机器的IP这里是本地所以localhost-->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/metastore?createDatabaseIfNotExist=true&amp;useSSL=false</value>
    <description>
        JDBC connect string for a JDBC metastore.
        To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
        For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
</property>
<!-- 指定驱动类 -->
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<!-- 指定用户名 -->
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<!-- 指定密码 -->
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>password</value>
</property>
<property>
    <name>hive.metastore.schema.verification</name>
    <value>false</value>
    <description>
    </description>
</property>

然后将配置文件中所有的
${system:java.io.tmpdir}更改为 /opt/tmp/hive (如果没有该文件则创建)，
并将hive文件夹赋予777权限，将
${system:user.name}更改为 root

5. 修改 hive-env.sh

修改hive-env.sh 文件

$cp hive-env.sh.template hive-env.sh

在这个配置文件中添加

$vim hive-env.sh
export HADOOP_HOME=/opt/git/hadoop-2.7.7
export HIVE_CONF_DIR=/opt/hive/hive-3.1.0/conf
export HIVE_AUX_JARS_PATH=/opt/hive/hive-3.1.0/lib

6. 添加mysql 数据驱动包

安装mysql-connector-java 驱动

$sudo apt-get install -y mysql-connector-java
$cd /usr/share/java
$ ls

可以看到mysql-connector-java-5.1.38.jar(版本可能不一样，名字有一些区别)，将mysql-connector-java-5.1.38.jar复制到 /opt/hive/hive-3.1.0/lib 文件夹下就可以了

$cp mysql-connector-java-5.1.38.jar /opt/hive/hive-3.1.0/lib/mysql-connector-java-5.1.38.jar

7、Hive Shell 测试

在成功启动Hadoop之后进入 /opt/hive/hive-3.1.0/bin目录

$cd /opt/hive/hive-3.1.0/bin

首先初始化数据库
初始化的时候注意要将mysql启动
输入以下命令完成初始化:

$./schematool -initSchema -dbType mysql

输入以下命令就可以进入hive了:

$./hive

贺培超博客机会等于一百也等于零