hadoop安装
首先，我们需要一个linux，由于咱们的centos改为滚动更新，已经不太适合部署了，一开始想用下游替代AlmaLinux结果virtualbox不好用，那就只能使用地道的ubuntu(ubuntu Server 24.04.3 LTS)吧有些东西在大多数的教程内没讲全，我把他们汇总起来并且进行了更正
比如root和普通用户的path问题，3.3.6版本不支持root用户直接启动问题，并且大多数教程是面向你拥有很多主机的情况
我这里是直接面向仅一台主机的情况，在学习上成本更小甚至为0
这里为什么使用ubuntu Server 24.04.3 LTS而不是常规ubuntu呢？
因为我电脑差...
安装linux
我给他分了4GB内存 4核心 40GB硬盘
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101221843459-1005113530.png
第一步
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101221901366-860006490.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101221945298-226060037.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101221957489-403697943.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222009017-986466622.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222043050-1594685157.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222052334-1842428768.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222420698-323107226.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222430075-715174738.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222435487-1556451032.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222442566-1344620135.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222448036-1282485133.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222452645-1089708047.png
这里下面要空格点一下安装openssh
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222457319-84806502.png
然后是安装软件，可以都不安，我就不安了，我空间不够了
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222501968-593027306.png
然后就安装了
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222506849-697153685.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222512697-977006720.png
弹出这个点reboot now
此时正式开机，注意，如果你也用的virtualbox需要强制关机一次
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222518338-1994747292.png
然后输入账号密码登录
查看ip地址(使用ip addr命令)
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222528574-1167454143.png
打码处是ip
然后设置为NAT和端口转发
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222533509-2004728978.png
然后配置22端口转发
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222538856-613555699.png
第二步，超级ssh
使用xshell
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222543967-500308857.png
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222552249-948287082.png
然后新建一下目录备用
cd /sudo mkdir -p /export/{data,servers,software}https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222556497-244552823.png
接下来我们要传软件,提权一下
sudo chmod 777 /exportsudo chmod 777 /export/software然后传输
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222601508-1143304841.png
然后
sudo su# 直接化身root权限# 超级解压cd /export/softwaretar -zxvf jdk-8u391-linux-x64.tar.gz -C /export/servers/# 超级改名cd /export/serversmv jdk1.8.0_391 jdk然后超级配置
vim /etc/profile然后在打开的文件按下键盘i，并且移动到最下面输入
#java配置export JAVA_HOME=/export/servers/jdkexport PATH=$PATH:$JAVA_HOME/binexport CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar大概是这个样子
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222605798-1514729014.png
然后esc，按下:wq!退出
之后强制激活
source /etc/profile第三步，超级安装
现在有了jdk(java)就可以安装hadoop了
cd /export/softwaretar -zxvf hadoop-3.3.6.tar.gz -C /export/servers/同样的方法配置hadoop
vim /etc/profile# 在打开的文件内#hadoop配置export HADOOP_HOME=/export/servers/hadoop-3.3.6export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile第四步，去你的权限
然后这里有个小坑
就是root中权限太大了，需要单独开个java_home
cd /export/servers/hadoop-3.3.6/etc/hadoop/vim hadoop-env.sh#然后找到export JAVA_HOME= 改成export JAVA_HOME=/export/servers/jdk#或者直接最后一行加export JAVA_HOME=/export/servers/jdk然后修改core-site.xml
vim core-site.xml# 找到 fs.defaultFS hdfs://hadoop01的名称:9000 hadoop.tmp.dir /export/servers/hadoop-3.3.6/tmp https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222635779-1884421616.png
同理
vim hdfs-site.xml dfs.replication 3 dfs.namenode.secondary.http-address hadoop02的名称:50090 https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222630074-2071557937.png
vim mapred-site.xml mapreduce.framework.name yarn vim yarn-site.xml yarn.resourcemanager.hostname hadoop01主机 yarn.nodemanager.aux-services mapreduce_shuffle 如果要组集群可以修改
vim workers然后记得给一下用户权限
先su 一开始你创建的用户
ssh-keygen -t rsa -P ""cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod 700 ~/.sshchmod 600 ~/.ssh/authorized_keys并且对你当前用户的
vim ~/.bashrc#然后末尾java和hadoop第五步，超级格式化
hdfs namenode -format最后，端口转发
然后转发一下50090 50070 9000端口就好啦
https://img2024.cnblogs.com/blog/3693292/202511/3693292-20251101222642448-202773487.png
来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！
页:
[1]