kafka -> spark -> hive

介绍从kafka消费数据然后写入hive

所有部件的安装配置

步骤非常重要

另外下面每一个环节都有环境变量需要配置，但是没有在各个步骤中列出来而是统一放在了文章最后，所以别忘了增加环节变量。
  • kafka
kafka的安装和启动比较简单，按照官网文档quickstart来做即可：
1、下载
2、启动zookeeper（kafka是靠zookeeper来管理的）
如果遇到权限错误，可以sudo chown -R paul:paul kafka_2.11-2.1.0
3、启动kafka server（这样才有了broker）
4、创建topic
5、生产topic的数据
  • spark
这个过程还是很简单的，解压配置环境变量即可，不过后面配置好hive后会需要拷贝配置文件到conf中。
  • hive
hive的依赖超级长，这里以一种方式完整的呈现出来，后面有需要把Derby换成MySQL也是可以的。
hive的元存储很重要，具体内容：Hive学习之Metastore及其配置管理
因为内嵌式的，也就是使用derby的方式既无法并行开启hive，也没有找到spark使用时因对版本不一致的error，所以改用本地MySQL方式存储metastore
    • Hadoop
hive需要HDFS，所以需要先装好Hadoop，Hadoop的安装可以参考官网的GettingStart
另外Ubuntu系统需要把/etc/hosts中的hostname地址修改为127.0.0.1
（但是在spark运行network流处理时会报IP回环错误，需要在spark-env.sh中设置SPARK_LOCAL_IP=本机固定IP）
注意，官网的步骤基本一个不漏都要做好。
包括：
1 安装ssh

2 Pseudo-Distributed Operation

3 YARN on a Single Node

上面的步骤执行完毕后，最后保证sbin/start-dfs.sh 和 sbin/start-yarn.sh已经启动起来
如果遇到权限问题，可以先创建一个组
groupadd hadoop
然后
sudo chown -R paul:hadoop hadoop-XXX
    • MySQL
使用MySQL来管理metastore的方法详见：configure-mysql-metastore-for-hive
注意事项：
1、不在mysql中使用mysql> SOURCE $HIVE_HOME/scripts/metastore/upgrade/mysql/hive-schema-0.14.0.mysql.sql;
而是配置好其他mysql配置
2、配置好hive-site.xml后使用bin/schematool来做初始化
当然在后面初始化时有看到Initialization script hive-schema-2.3.0.mysql.sql
3、后面spark也需要用到
ln -s /usr/share/java/mysql-connector-java.jar $SPARK_HOME/jars/mysql-connector-java.jar
    • Derby
其实Hadoop装好后就可以装Hive了，但是因为下面用到的是Derby来做JDBC的连接metastore。所以这里可以先把Derby装好。
derby的安装比较简单，解压然后配置环境变量即可，没有额外的配置文件和服务要启动。
不过记得创建data文件夹。
    • Hive
Hive的安装前面部分流程可以参考官网GettingStarted
Hive版本的选择参考：Hive+on+Spark：Getting+Started
在使用hdfs dfs创建并chmod文件夹后，有个很关键的hive-env.sh和hive-site.xml的配置，需要参考：apache-hive-installation-on-ubuntu
因为已经改用MySQL了，所以下面不再使用derby了。
接着，使用derby初始化metastore_db：
bin/schematool -initSchema -dbType derby
bin/schematool -initSchema -dbType mysql 
接着启动hive后就可以尝试官网后面的：
 DDL操作、DML操作、SQL操作 
至此已经可以创建database和table，Hive的简单体验已经可以了，但是还有重要的一块是spark读写hive还没有完成。

上面整个过程还墙裂参考了：tutorialspoint.com/hive/hive_installation
    • 为了spark读写hive需要额外的配置
上面有给出hive-site.xml的配置，但是有个问题是，当spark读写hive时，因为derby的版本不一样，所以会有ERROR ObjectStore: Version information found in metastore differs 2.3.0 from expected schema version 1.2.0. Schema verififcation is disabled hive.metastore.schema.verification so setting version.
解决思路就是修改hive-site.xml的配置
至此hive-site.xml为：
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!--
Licensed to the Apache Software Foundation (ASF) under one or more
contributor license agreements. See the NOTICE file distributed with
this work for additional information regarding copyright ownership.
The ASF licenses this file to You under the Apache License, Version 2.0
(the "License"); you may not use this file except in compliance with
the License. You may obtain a copy of the License at

http://www.apache.org/licenses/LICENSE-2.0

Unless required by applicable law or agreed to in writing, software
distributed under the License is distributed on an "AS IS" BASIS,
WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
See the License for the specific language governing permissions and
limitations under the License.
-->
<configuration>
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:derby:;databaseName=/usr/local/hive/apache-hive-2.3.4-bin/metastore_db;create=true</value>
        <description>
            JDBC connect string for a JDBC metastore.
            To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
            For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
        </description>
    </property>
    <property>
        <name>hive.metastore.warehouse.dir</name>
        <value>/user/hive/warehouse</value>
        <description>location of default database for the warehouse</description>
    </property>
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://master:9083</value>
        <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
    </property>
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>org.apache.derby.jdbc.EmbeddedDriver</value>
        <description>Driver class name for a JDBC metastore</description>
    </property>
    <property>
        <name>javax.jdo.PersistenceManagerFactoryClass</name>
        <value>org.datanucleus.api.jdo.JDOPersistenceManagerFactory</value>
        <description>class implementing the jdo persistence</description>
    </property>
</configuration>
最后：hive --service metastore  启动服务
因为上面这个方案并没有解决问题，所以还是用MySQL的方式。故hive-site.xml的配置应该为：
<?xml version="1.0" encoding="UTF-8" standalone="no"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Licensed to the Apache Software Foundation (ASF) under one or more contributor license agreements. See the NOTICE file distributed with this work for additional information regarding copyright ownership. The ASF licenses this file to You under the Apache License, Version 2.0 (the "License"); you may not use this file except in compliance with the License. You may obtain a copy of the License at http://www.apache.org/licenses/LICENSE-2.0 Unless required by applicable law or agreed to in writing, software distributed under the License is distributed on an "AS IS" BASIS, WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. See the License for the specific language governing permissions and limitations under the License. --> <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://localhost/metastore?createDatabaseIfNotExist=true</value> <description> JDBC connect string for a JDBC metastore. To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL. For example, jdbc:postgresql://myhost/db?ssl=true for postgres database. </description> </property> <property> <name>hive.metastore.warehouse.dir</name> <value>/user/hive/warehouse</value> <description>location of default database for the warehouse</description> </property> <property> <name>hive.metastore.uris</name> <value/> <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>MySQL JDBC driver class</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>hiveuser</value> <description>user name for connecting to mysql server</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>hivepassword</value> <description>password for connecting to mysql server</description> </property> <property>  <name>hive.metastore.schema.verification</name>  <value>false</value>  <description>      Enforce metastore schema version consistency.      True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic            schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures            proper metastore schema migration. (Default)      False: Warn if the version information stored in metastore doesn't match with one from in Hive jars.  </description>   </property> </configuration>

其实上面的配置并不完整，因为使用的spark预编译好的版本中的hive与实际配置的hive版本不一致，所以需要在上面添加一个配置使其不检查也不修改metastore中的schema
参考：【过往记忆】Spark连接Hive的metastore异常
<property> 
   <name>hive.metastore.schema.verification</name> 
   <value>false</value> 
    <description> 
    Enforce metastore schema version consistency. 
    True: Verify that version information stored in metastore matches with one from Hive jars.  Also disable automatic 
          schema migration attempt. Users are required to manully migrate schema after Hive upgrade which ensures 
          proper metastore schema migration. (Default) 
    False: Warn if the version information stored in metastore doesn't match with one from in Hive jars. 
    </description> 
 </property>
    • cp各种配置到spark的conf
需要拷贝到spark的配置有：
Hadoop的：core-site.xml、hdfs-site.xml、yarn-site.xml和Hive的hive-site.xml
    • spark-shell读取hive
import org.apache.spark.sql.{Row, SaveMode, SparkSession}
val spark = SparkSession.builder().appName("Spark Hive Example").config("spark.sql.warehouse.dir", "/user/hive/warehouse").enableHiveSupport().getOrCreate()
import spark.implicits._
import spark.sql
sql("show tables").show()
    • 附环境变量
最后把所以的环境变量附上：
JAVA_HOME=/usr/lib/jvm/java-8-oracle

PATH="$PATH:$HOME/bin"
export HADOOP_HOME=/usr/local/hadoop/hadoopln
export HADOOP_MAPRED_HOME=/usr/local/hadoop/hadoopln
export HADOOP_COMMON_HOME=/usr/local/hadoop/hadoopln
export HADOOP_HDFS_HOME=/usr/local/hadoop/hadoopln
export YARN_HOME=/usr/local/hadoop/hadoopln
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export SPARK_HOME=/usr/local/spark/sparkln
export HIVE_HOME=/usr/local/hive/hiveln
export HIVE_CONF_DIR=$HIVE_HOME/conf
export DERBY_HOME=/usr/local/derby/derbyln
export DERBY_INSTALL=/usr/local/derby/derbyln
export PATH=$PATH:$HADOOP_HOME/bin:$SPARK_HOME/bin:$HIVE_HOME/bin:$DERBY_HOME/bin
export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib/*:.
export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar:.

=================
The END








评论

发表评论

此博客中的热门博文

Bazel WORKSPACE文件编写

WORKSPACE文件主要就是命名workspace以及声明外部的依赖，这就包括外部依赖的获取方式及获取方法。 外部依赖 https://docs.bazel.build/versions/master/external.html WORKSPACE文件告诉Bazel如何去得到其他的工程源，然后package中的BUILD文件就可以根据WORKSPACE中的外部target名字写依赖关系。 先举个例子来看下在本地的两个工程如何实现依赖关系： / home/ user/ project1/ WORKSPACE BUILD srcs/ ... project2/ WORKSPACE BUILD my-libs/ project1希望能依赖project2/BUILD下的target :foo，需要指明project2可以在 /home/user/project2 中被找到，而且接下来project1的BUILD就可以写依赖关系： @project2//:foo WORKSPACE文件允许用户的目标依赖其他文件系统的目标或者从网上下载的目标。 WORKSPACE文件的语法和BUILD文件一致，不过会用到一些特定的内置rule，细节参考下一个章节的内容。 一共有三种外部依赖的主要类型： 依赖于其他Bazel工程 根据这个Bazel工程所处的位置不同，调用不同的内置rule来获得： local_repository ：本地 git_repository ：git仓库 http_archive ：网络下载 假如现在有个工程 my-project/ ，需要依赖与另一个工程 coworkers-project/ 。这两个都是Bazel工程，那么需要在 my_project/WORKSPACE 下添加： local_repository ( name = "coworkers_project" , path = "/path/to/coworkers-project" , ) 然后对于coworke
阅读全文

Bazel的概念和技术

这个文章应该是要长期不定时更新的，因为涉及到的很多概念的理解，技术的理解，这些内容仅通过初次接触Bazel是远远不到位的，甚至不能保证下面缩写内容的正确性。 从整体上来看Bazel的实际对项目的控制和管理是长这个模样的： 1、Bazel对于源码的组织在一个文件夹之下称之为 workspace （这个文件夹下面包含一个WORKSPACE文件） 2、源码文件被一系列的分层结构的 package 所组织 3、每一个package就是一个包含一系列相关的源码文件以及一个BUILD文件 4、BUILD文件指示了如何从源码中输出build结果 开始一些干货： Workspace 其实workspace就是一个文件夹。这个文件夹下面包含一个 WORKSPACE文件，以及一系列的源码文件，这些源码被package组织起来，也就是在各个package中存在的BUILD文件。 而且随着在workspace中进行bazel build这样的操作（可以不在workspace root目录下build），会在workspace的root目录下面产生诸如：bazel-bin  bazel-genfiles  bazel-java-tutorial  bazel-out  bazel-testlogs这样的输出文件夹（软连接） 当然简单的项目中WORKSPACE文件可以是空文件，但是对于正常的工程来说，这里面要写一些整个工程的 外部依赖 及其书写rules： Workspace Rules ，这两块内容会在下一篇博文中介绍。 Package 在workspace中，代码是被一个个的package所管理，每个带BUILD文件的文件夹就是一个package，这里面包括了自己的源码文件以及规定了内外依赖关系。 package将自己所在的目录下面所有包括子文件夹下面的文件都视为属于自己package的。除非子文件夹下面有存在BUILD文件，那么这个子文件夹就是一个新的package。 Target package是一个容器，那么这个容器里面所包含的元素就是target。大部分的target都属于这两个最主要的类型：files和rules。还有一种target叫package groups。 对于file类型的target，主要
阅读全文

Bazel BUILD文件的编写

除了公共部分BUILD文件可以使用的规则外，还有一些与语言相关的build rule https://docs.bazel.build/versions/master/be/overview.html 这里根据不同的语言，来写整理。 Java Bin rules java_binary java_binary( name ,  deps ,  srcs ,  data ,  resources ,  args ,  classpath_resources ,  compatible_with ,  create_executable ,  deploy_manifest_lines ,  deprecation ,  distribs ,  features ,  javacopts ,  jvm_flags ,  launcher ,  licenses ,  main_class ,  output_licenses ,  plugins ,  resource_jars ,  resource_strip_prefix ,  restricted_to ,  runtime_deps ,  stamp ,  tags ,  testonly ,  toolchains ,  use_testrunner ,  visibility ) build一个java的jar文件，并且套上一个shell的脚本来辅助运行。 隐式的输出target： name.jar name-src.jar name_deploy.jar：这个比较特殊，必须显式的build才会生成，比如 bazel build //package:target_deploy.jar name_deploy-src.jar Lib rules java_import java_import( name ,  deps ,  data ,  compatible_with ,  constraints ,  deprecation ,  distribs ,  exports ,  features ,  jars ,  licenses ,  neverlink ,  proguard_specs ,  restricted_to
阅读全文