2021-03-19 02:09:55
Hadoop入门教程（九）：本地搭建 Hadoop 开发环境
教程索引目录请访问：《大数据技术入门级系列教程》
上一篇我们大致讲了 HDFS，从本节以后我们将通过编程写代码的方式开始使用 Hadoop 为我们服务，所以需要先搭建本地的 Hadoop 开发环境。如果阅读了前面的文章并在虚拟机中成功搭建了Hadoop，那么在本地搭建是易如反掌的，如果您还没搭建过或者没阅读过前面的文章，建议先阅读前面的文章。
推荐提前阅读
推荐您提前阅读之前的搭建内容，本地的搭建比集群搭建要简单，主要是配置环境变量，修改配置文件。
Java环境配置
首先，我们需要配置Java环境，也就是配置 JAVA_HOME 环境变量，网上教程非常多，我就不赘述了，这里我简单的演示我在 macOS 的环境中配置。
在 macOS 环境中 JAVA_HOME 应该配置为 /usr/libexec/java_home，这一点可能跟 windows 不太一样，因为 macOS 自带了 Java 环境。
Hadoop环境配置
像前面教程写的一样，下载 Hadoop，然后配置 HADOOP_HOME 环境变量，etc/hadopp 中的配置文件配置成跟我们搭建的集群一样就可以，我在本地也修改了 /etc/hosts 文件，使得域名可以解析到我搭建的集群上。
商业用途请联系作者获得授权。
版权声明：本文为博主「任霏」原创文章，遵循 CC BY-NC-SA 4.0 版权协议，转载请附上原文出处链接及本声明。
相关推荐
猜你还喜欢这些内容，不妨试试阅读一下评论与留言
以下内容均由网友提交发布，版权与真实性无法查证，请自行辨别。微信订阅号
扫码关注「任霏博客」微信订阅号内容标签
最新留言
- 大佬 引入jar包那里的 driver class 怎么选的？
- 我也遇到了这个问题，已经解决了，在此分享一下 1、宿主机也要创建kingbase的用户和用户组，并且要查看一下用户和用户组的ID（这个很重要） 2、把data目录的用户和用户组设置为kingbase 3、先不要把data路径挂载到宿主机上，这时就可以正常启动，启动后进入容器，查看一下容器内的kingbase的用户和用户组ID是多少，和第一步的ID是否一致，如果ID一致，那正常挂载目录就行；如果ID不一致，那就需要修改Dockerfile文件，在构建镜像时，修改容器内的用户和用户组ID，必须和宿主机的保持一致。然后重新构建镜像，就可以正常挂载宿主机目录了 4、其实直接修改宿主机的用户和用户组ID也是可以的，但是容器内的ID一般是1000，但是宿主机的这个ID很可能已经被占用了，无法修改，就只能修改容器内的ID
- 接口已经允许跨域请求，也就是说你可以在你的页面上调用，获取用户的公网 IP。 如果你还需要其他需求，可以提交 Issue 给我。
- V008R003C002B0320 这个对应的jdbc链接驱动你在哪里找到的？我也遇到了这个问题。
- WARNING: max_connections should be less than orequal than 10 (restricted by license) HINT: the value of max_connect is set 10 WARNING: max_connections should be less than orequal than 10 (restricted by license) HINT: the value of max_connect is set 10 kingbase: superuser_reserved_connections must be less than max_connections 我按照文档修改了以后，不知道如何重启。
- 然后把数字都改成 1 再启动。 如何重新启动？
- ksql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.KINGBASE.54321"
- 进入容器查看一下日志，是不是启动失败了，日志文件在：/opt/kingbase/logfile
- ksql: could not connect to server: No such file or directory Is the server running locally and accepting connections on Unix domain socket "/tmp/.s.KINGBASE.54321"?
- 先通过 docker exec -it 容器名/id /bin/bash 进入容器，然后在容器中使用 ksql 客户端进行连接数据库：/opt/kingbase/Server/bin/ksql -U system test
热文排行
- 免费.ml域名10年委托合同到期被马里共和国收回域名经营权
- 从极狐Gitlab看各种中间件技术选型
- 时隔十年首次收到 Google AdSense 的付款
- ga域名被加蓬共和国从Freenom公司手中收回域名经营权
- Freenom 被 Meta(Facebook) 起诉导致暂停 .tk/.ga/.ml/.cf/.gq 等新域名注册
- 生花妙笔信手来 – 基于 Amazon SageMaker 使用 Grounded-SAM 加速电商广告素材生成 [1]
- github.renfei.net 不再完整代理 Github 页面改为代理指定文件
- 优雅的源代码管理（三）：本地优雅的使用 Git Rebase 变基
- 优雅的源代码管理（二）：Git 的工作原理
- 优雅的源代码管理（一）：版本控制系统 VCS（Version Control System）与软件配置管理 SCM（Software Configuration Management）