嗨!怎么样,工作还顺利吗?

编程开发

极狐GitLab上的Building风云 - 之Java Maven雄霸天下 JIHULAB 101

2022年03月18日 19:43:44 · 本文共 3,984 字阅读时间约 14分钟 · 3,102 次浏览
极狐GitLab上的Building风云 - 之Java Maven雄霸天下 JIHULAB 101

我是小白,白嫖的白,首先,感谢极狐GitLab提供的白嫖平台,不是,SaaS平台,为我们提供的免费服务;同时也感谢开源大佬的贡献和各位布道师的努力。我作为小白用户用法姿势可能不是最佳实践,仅供参考。

本文连载分为《Java Maven雄霸天下》、《Docker风云必胜》、《Security风云再起》、《API如此多娇》来分别介绍我使用极狐GitLab进行Java代码编译构建、Docker制品的托管、安全合规扫描、API初探使用。

极狐GitLab天下会

小白在江湖漂泊已久,听闻天下会帮主武功盖世,三分归元气(DevOps、DevSecOps、GitOps)天下无敌,一天,看到极狐GitLab天下会正在广发英雄帖招募极狐侠,加入内测堂开始修炼武功。

步入极狐GitLab天下会让我眼花缭乱,各个堂口各显神通。

  • Repository堂口,拥有Git武功秘籍,在线编辑、Commits记录、Branches分支、Tag标签,学会这套武功功法以后,就可以行走江湖了,这也是侠客必须的武功,请不要跳过这个堂口,想学大乘武功这个是必不可少的,同时这个堂口也是弟子最多的。

  • Issues大院,是堂口的大院,里面非常热闹人来人往,有人贴告示提交Issue,有高手揭榜处理Issue,堂主还可以通过Boards查看本堂的动态,通过Milestones查看本堂的目标完成进度,延误进度可是会被天下会帮主惩罚的。

  • Merge堂口,这里高手云集,切磋和讨论武功,最优的武功功法将被合并进堂口的武功秘籍里,从此堂口的武功秘籍里就可以写上你的名字。

  • CI/CD比武场,无论你的武功秘籍写的多牛,都要在CI/CD比武场运行一番才能证明你真的牛,通过Pipelines编排你要使用的武功套路,将见证你编写的武功秘籍的威力如何。

  • Security堂口,这里的侠客都关注武功秘籍里有没有漏洞和弱点,一旦出现漏洞和弱点是危险的。

  • Package仓库,是堂口的制品仓库,这里将各位写的武功秘籍整理打包,让零散的武功组合成威力强大的组合。

  • Analytics监事,这里是堂口的监管部门,各个堂口的情况都会被监管部门实时公示。

  • Wiki解说,这里是各个高手在阅读过本堂口的武功秘籍以后,给其他新手写的批注或者注意事项,确保各位新手侠客以正确的姿势学习和使用本堂口的武功秘籍。

  • Snippets藏经阁,这里收藏了各种武功秘籍中的经典片段,我这样的小白平时不来这里。

  • Settings总舵,这里是管理各个堂口的总舵,你可能看不到入口,因为只有管里权限的堂主才能看到,这里管理着各个堂口的办公事务,甚至可以关闭,某个堂口。


由于小白在江湖漂泊已久,已经具备一些基础内功,前面的堂口之前跳过,我直接奔向CI/CD比武场过过招,这里才是久闻已久三分归元气(DevOps、DevSecOps、GitOps)的使用地方。

CI/CD比武场

来到比武场,这里就是传说中打出三分归元气(DevOps、DevSecOps、GitOps)的地方,让我看起来什么都那么新鲜和好奇,咱们挨个拜访一下。

先来到了 Pipelines,掌事的问我要运行哪套功法?没看到你带.gitlab-ci.yml来啊,我一脸懵,我啥也没有,掌事的说那你先学习一下比武场的规矩吧。

首先你需要一个.gitlab-ci.yml文件来写明你这套功法里面都有哪些stages阶段,每个阶段里有什么 job,我来帮你写吧,你打算分哪些stages阶段?

小白我想了一想,嗯~,我的秘籍需要一些特定的环境,然后需要先编译一下确保语法正确,再运行一下我写好的单元测试,没问题就可以打包了!

掌事说那就先分四个阶段吧:initialize初始化、compile编译、test单元测试、package打包,先写这些:

stages:
  - initialize
  - compile
  - test
  - package

然后你告诉我各个阶段都需要什么执行环境,执行哪些内功心法命令?

小白说:initialize初始化阶段只需要下载个外部的包就行,放到我武功秘籍的指定目录下,我对centos比较熟悉,那就用centos吧,下载地址和放入的地址是巴拉巴拉...

掌事说:下载和解压需要wget unzip命令,先安装一下再使用,然后下载的东西需要流转给后面的阶段,所以要写明 artifacts,后面的阶段会拿到,那就这样写:

stages:
  - initialize
  - compile
  - test
  - package
initialize:
  stage: initialize
  image: centos:centos7
  script:
    - yum install -y wget unzip
    - wget https://jihulab.com/renfei/ip2location/-/raw/master/IP2LOCATION-LITE-DB11.BIN.ZIP
    - wget https://jihulab.com/renfei/ip2location/-/raw/master/IP2LOCATION-LITE-DB11.IPV6.BIN.ZIP
    - unzip -o IP2LOCATION-LITE-DB11.BIN.ZIP -d renfeid-core/src/main/resources/ip2location/
    - unzip -o IP2LOCATION-LITE-DB11.IPV6.BIN.ZIP -d renfeid-core/src/main/resources/ip2location/
  artifacts:
    expire_in: 1d
    when: on_success
    paths:
      - renfeid-core/src/main/resources/ip2location/

小白说:这样啊,我似乎明白了这个套路,我也会写了!

掌事说:小伙儿很棒嘛,但我要提醒你一下,如果你的武功秘籍是open开放状态,那你的CI/CD比武场会被所有人看到,如果你使用了 artifacts 声明了产物,那么所有人也可以下载你的artifacts产物,所以如果你的artifacts产物不想公开,要去Settings总舵设置CI/CD比武场的可见性哦。

小白说:知道啦~~我要自己表演一下了。

接下来是compile编译阶段,我的武功是用Java Maven,所以直接用 Maven 环境就可以;test单元测试的时候需要MySQL数据库和Redis环境,我还是对centos熟悉那就用centos来运行吧,package打包也直接用Maven环境就行。

再环境里需要MySQL数据库和Redis环境,可以使用 services 来声明需要的其他服务,通过variables设置环境变量,所以,我写成了这样:

stages:
  - initialize
  - compile
  - test
  - package
initialize:
  stage: initialize
  image: centos:centos7
  script:
    - yum install -y wget unzip
    - wget https://jihulab.com/renfei/ip2location/-/raw/master/IP2LOCATION-LITE-DB11.BIN.ZIP
    - wget https://jihulab.com/renfei/ip2location/-/raw/master/IP2LOCATION-LITE-DB11.IPV6.BIN.ZIP
    - unzip -o IP2LOCATION-LITE-DB11.BIN.ZIP -d renfeid-core/src/main/resources/ip2location/
    - unzip -o IP2LOCATION-LITE-DB11.IPV6.BIN.ZIP -d renfeid-core/src/main/resources/ip2location/
  artifacts:
    expire_in: 1d
    when: on_success
    paths:
      - renfeid-core/src/main/resources/ip2location/
compile:
  stage: compile
  image: maven:3.8.4-openjdk-8
  script:
    - mvn compile
test:
  stage: test
  image: centos:centos7
  services:
    - name: mariadb:10.6.5
      alias: "mariadb"
    - name: redis:6.0.1
      alias: "redis"
    - name: elasticsearch:7.17.0
      alias: "elasticsearch"
      command: [ "bin/elasticsearch", "-Expack.security.enabled=false", "-Ediscovery.type=single-node" ]
  variables:
    MARIADB_DATABASE: renfeid
    MARIADB_ROOT_PASSWORD: root
  before_script:
    - yum install -y wget java-1.8.0-openjdk* which
    - curl -sS https://downloads.mariadb.com/MariaDB/mariadb_repo_setup | bash
    - rpm --import https://yum.mariadb.org/RPM-GPG-KEY-MariaDB
    - yum install -y MariaDB-server galera-4 MariaDB-client MariaDB-shared MariaDB-backup MariaDB-common
    - mariadb --user=root --password="$MARIADB_ROOT_PASSWORD" --host=mariadb $MARIADB_DATABASE
      < environment/db/renfeid.sql --default-character-set=utf8
  script:
    - ./mvnw test -P gitlab -s environment/maven/settings.xml

小白说:掌事的,看看我写的怎么样?拿去运行一下吧,我要看看我写的武功秘籍威力如何。

掌事说:小伙子基础内力还不错嘛,这么快就学会了,那给你运行一下,咱们看看效果吧,你把写的这些.gitlab-ci.yml放到根目录,提交上来吧。

运行武功秘籍

武功秘籍已经在 Pipelines 里运行起来了,有的时候失败了,重新尝试,虽然能成功,可是好像很缓慢,等待了好长时间,掌事说只要能运行起来就不归我管了,你去问问总舵主吧。

小白找到总舵主,吐槽咱们天地会的 Pipelines 运行太慢了还出错,总舵主听闻过来看了看说:小白啊,Maven依赖你可以缓存到 cache 里啊,没必要每次都去拉取啊,你在里面加入这样的配置:

cache:
  paths:
    - ".m2/repository/"

这样依赖包就不用每次从驿站网络上下载了,会快很多。

另外,小白,咱们天地会是在国内成立的组织,你依赖的环境是需要去境外拉取的,国际驿站网络非常繁忙,难免会超时失败,咱可以优化缓存一下,今天天色不早了,我要先回总舵了,改天再给你讲Docker吧。


未完,后续请期待《极狐GitLab上的Building风云 - 之Docker风云必胜》。


商业用途请联系作者获得授权。
版权声明:本文为博主「任霏」原创文章,遵循 CC BY-NC-SA 4.0 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://www.renfei.net/posts/1003515
评论与留言

以下内容均由网友提交发布,版权与真实性无法查证,请自行辨别。

微信搜一搜:任霏博客