Eddie昌的博客 Eddie昌的博客
首页
  • 数据理论

    • 《数据仓库工具箱》
    • 《阿里巴巴大数据之路》
    • 《DAMA数据治理》
  • 数据实践

    • TypeScript
  • 数据分析1
  • 数据分析2
  • Hadoop生态
  • Linux
  • Git
  • 爱SQL
  • 学习
  • 面试
  • 心情杂货
  • 实用技巧
  • 分类
  • 标签
  • 归档

Eddie昌

数据领域小学生
首页
  • 数据理论

    • 《数据仓库工具箱》
    • 《阿里巴巴大数据之路》
    • 《DAMA数据治理》
  • 数据实践

    • TypeScript
  • 数据分析1
  • 数据分析2
  • Hadoop生态
  • Linux
  • Git
  • 爱SQL
  • 学习
  • 面试
  • 心情杂货
  • 实用技巧
  • 分类
  • 标签
  • 归档
  • Hadoop生态

    • 一文说全HiveConf类(Hive3.1.2版本)
    • 搭建Kafka源码环境
      • 搭建过程
    • DataGrip使用Hive On Spark提示创建Session失败
    • 搭建一套源生Hadoop、Spark、Flink集群1-环境准备
    • 搭建一套源生hadoop、Spark、Flink集群2-Hadoop安装
    • 06.搭建一套源生hadoop、Spark、Flink集群3-Hive安装
  • Linux

  • Git

  • 爱SQL

  • 技术
  • Hadoop生态
Eddie昌
2023-12-25
目录

搭建Kafka源码环境原创

# 搭建Kafka源码环境

# 搭建过程

  1. 安装1.7以上JDK ,打开命令行使用java -version确认;
  2. 下载安装Gradle 地址:https://gradle.org/releases/ 选择跟你下载的Kafka版本发布日期之后的版本,我这里下载的是5.3。下载后解压然后把安装包下的bin目录添加进系统Path中。 打开命令行,使用gradle -v查看是否正常安装。 修改gradle版本库为阿里源: 修改改build.gradle 文件,把https://repo1.maven.org/maven2/替换为http://maven.aliyun.com/nexus/content/groups/public。 如下:

buildscript { repositories { maven { url 'http://maven.aliyun.com/nexus/content/repositories/central/' } mavenCentral() jcenter(){ url 'https://jcenter.bintray.com/'} maven { url "https://plugins.gradle.org/m2/" } }

allprojects {


repositories { maven { url 'http://maven.aliyun.com/nexus/content/repositories/central/' } // mavenCentral() }

  1. 下载并安装Scala 下载地址:http://www.scala-lang.org/download/all.html 我这里下载的是2.11.8,下载后解压然后把安装包下的bin目录添加进系统Path中。 打开命令行,使用Scala -version查看是否正常安装。
  2. 下载kafka源码并编译 下载地址:http://kafka.apache.org/downloads 下载需要的版本,根据scala版本选择相应的版本。我下的是2.2.1 将下载的压缩包解压,并在Kafka的根目录执行gradle idea进行构建。
  3. 打开idea,导入项目即可。
#Kafka
一文说全HiveConf类(Hive3.1.2版本)
DataGrip使用Hive On Spark提示创建Session失败

← 一文说全HiveConf类(Hive3.1.2版本) DataGrip使用Hive On Spark提示创建Session失败→

最近更新
01
06.搭建一套源生hadoop、Spark、Flink集群3-Hive安装 原创
04-26
02
搭建一套源生Hadoop、Spark、Flink集群1-环境准备 原创
04-25
03
搭建一套源生hadoop、Spark、Flink集群2-Hadoop安装 原创
04-25
更多文章>
Theme by Vdoing | Copyright © 2019-2024 Evan Xu | MIT License | 粤ICP备2023070487号-1 | 粤公网安备44200102445447
  • 跟随系统
  • 浅色模式
  • 深色模式
  • 阅读模式