系统配置-macOS各种开发环境配置

发表于 | 更新于 | 分类于 | 阅读次数：

[toc]

Homebrew

官网给的安装方法为：

1
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install.sh)"

但是安装缓慢，连接失败，可以尝试以下方法，用中科大镜像加速访问：

1
/usr/bin/ruby -e "$(curl -fsSL https://cdn.jsdelivr.net/gh/ineo6/homebrew-install/install)"

然后会提示把brew添加到环境变量，运行这个语句：

1
2
echo 'eval "$(/opt/homebrew/bin/brew shellenv)"' >> /Users/forestneo/.zprofile
eval "$(/opt/homebrew/bin/brew shellenv)"

然后就可以查看版本了

1
2
3
brew -v
Homebrew 3.3.3
Homebrew/homebrew-core (no Git repository)

Git

macOS安装了Xcode之后就有git了，效果如下：

1
2
3
Last login: Tue Nov  9 09:15:14 on ttys003
forestneo@ForestNeo Desktop % git --version
git version 2.30.1 (Apple Git-130)

然后创建用户名、邮箱信息

1
2
git config --global user.name "your_name"  
git config --global user.email "your_email@youremail.com"

生成秘钥并查看

1
2
ssh-keygen -t rsa -C "your_email@youremail.com"
cat ~/.ssh/id_rsa.pub

然后去GitHub中添加新秘钥即可。

Docker

国内的可以从阿里云镜像下载，下载链接：http://mirrors.aliyun.com/docker-toolbox/mac/docker-for-mac/stable/，我是M1平台，因此下载的 arm 版本。

然后打开docker输入，也可以打开了docker之后在终端中输入：

1
2
docker info
docker version

比如就会有一下这个结果了

image-20211115153034544

然后尝试运行案例

1
2
3
4
forestneo@ForestNeo ~ % docker run hello world
Unable to find image 'hello:latest' locally
docker: Error response from daemon: pull access denied for hello, repository does not exist or may require 'docker login': denied: requested access to the resource is denied.
See 'docker run --help'.

发现有问题，我们使用网易的镜像地址（http://hub-mirror.c.163.com）

参考资料：

JDK

终端直接输入java，他会提示去 http://www.java.com 下载，然后一路安装，安装好了去命令行试一下：

1
2
3
4
forestneo@ForestNeo ~ % java --version
java 17.0.1 2021-10-19 LTS
Java(TM) SE Runtime Environment (build 17.0.1+12-LTS-39)
Java HotSpot(TM) 64-Bit Server VM (build 17.0.1+12-LTS-39, mixed mode, sharing)

MySQL

下载链接：https://dev.mysql.com/downloads/mysql/，下载了一路安装就可以安装成功了。然后打开终端输入 mysql 发现没反应的。

image-20211116102853637

需要进行这么几个操作：

  • 如果是bash,执行open ~/.bash_profile；如果是zsh,执行open ~/.zshrc
  • 添加语句PATH=$PATH:/usr/local/mysql/bin,保存
  • 回到终端，让其立即生效，source ~/.bash_profile or source ~/.zshrc

image-20211116102903163

image-20211116103005247

这时候，在终端输入 mysql 就有反应了，但是会提示权限不够，需要输入：

1
mysql -uroot -p

然后就可以对 MySQL 进行操作了。

参考内容

wget

可以使用 homebrew 进行安装：

1
brew install wget

然后可以测试是否安装成功：

1
2
wget http://www.arefly.com/
wget --help

Latex

Kubernetes

打开docker，把下面图勾上：

image-20211125155314932

Spark

参考了本篇博客：https://www.cnblogs.com/bigdataZJ/p/hellospark.html

安装Spark之前需要安装Hadoop。首先运行ssh localhost测试是否可以运行成功，但是有一个问题就是每次都需要输入密码，所以配置一下使得以后不用重复输入账号密码。但我试了还是不太行，原来的命令还是放过来吧：

1
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

然后开始安装Hadoop，用以下命令：

1
brew install hadoop

运行完了之后，/usr/local/Cellar下面就有hadoop目录了。如果不放心可以再来一遍brew install hadoop，然后他就会告诉你安装成功了。我的路径和网上的不太一样，我的路径是：

1
2
pwd
/opt/homebrew/Cellar/hadoop/3.3.1/libexec/etc/hadoop

然后开始对Hadoop进行配置，进入安装目录，找到 hadoop-env.sh里面的export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"，把它改成：

1
2
export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true -Djava.security.krb5.realm= -Djava.security.krb5.kdc="
export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_121.jdk/Contents/Home"

我的地址是可以从以下代码查看：

1
2
3
4
5
# 查找jdk地址
/usr/libexec/java_home -V
Matching Java Virtual Machines (1):
    17.0.1 (arm64) "Oracle Corporation" - "Java SE 17.0.1" /Library/Java/JavaVirtualMachines/jdk-17.0.1.jdk/Contents/Home
/Library/Java/JavaVirtualMachines/jdk-17.0.1.jdk/Contents/Home

然后开始配置hdfs地址和端口，进到同一个目录，打开core-site.xml，把 ，改成以下内容：

1
2
3
4
5
6
7
8
9
10
11
<configuration>
  <property>
     <name>hadoop.tmp.dir</name>
<value>/usr/local/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:8020</value>
  </property>
</configuration>

注意到上面的路径不太一样，我改成了这个目录：

1
2
3
4
5
6
7
8
9
10
11
<configuration>
  <property>
     <name>hadoop.tmp.dir</name>
<value>/opt/homebrew/Cellar/hadoop/hdfs/tmp</value>
    <description>A base for other temporary directories.</description>
  </property>
  <property>
     <name>fs.default.name</name>
     <value>hdfs://localhost:8020</value>
  </property>
</configuration>

然后配置mapreduce中jobtracker的地址和端口
在相同的目录下，你可以看到一个mapred-site.xml.template首先将文件重命名为mapred-site.xml，同样将<configuration></configuration>替换为

1
2
3
4
5
6
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>localhost:8021</value>
    </property>
</configuration>

接着修改hdfs备份数，相同目录下，打开hdfs-site.xml加上

1
2
3
4
5
6
<configuration>
   <property>
     <name>dfs.replication</name>
     <value>1</value>
    </property>
</configuration>

然后在这个目录运行hdfs namenote -format，结果如下：

image-20220119203659335

然后配置环境变量，输入命令vim ./.bash_profile，加入以下内容，然后运行source ~/.bash_profile更新一下就好了。

1
2
export HADOOP_HOME=/opt/homebrew/Cellar/hadoop/3.3.1
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
Thanks for rewarding