代码扫描工具

2023-06-13,,

代码扫描工具
1. sonar
2.ali的stc平台用的是:findbugs 和 pmd

参考:

测试框架:使用SONAR分析代码质量

配置sonar、jenkins进行持续审查

1、Sonar介绍

Sonar是一个用于代码质量管理的开源平台,用于管理Java源代码的质量。通过插件机制,Sonar 可以集成不同的测试工具,代码分析工具,以及持续集成工具,比如pmd-cpd、checkstyle、findbugs、Jenkins。通过不同的插件对这些结果进行再加工处理,通过量化的方式度量代码质量的变化,从而可以方便地对不同规模和种类的工程进行代码质量管理。

同时 Sonar 还对大量的持续集成工具提供了接口支持,可以很方便地在持续集成中使用 Sonar。

此外,Sonar 的插件还可以对 Java 以外的其他编程语言提供支持,对国际化以及报告文档化也有良好的支持。

它主要的核心价值体现在如下几个方面:

    检查代码是否遵循编程标准:如命名规范,编写的规范等。
    检查设计存在的潜在缺陷:SonarQub e 通 过插 件 F indbugs、Checkstyl e 等 工具检测代码存在的缺陷。
    检测代码的重复代码量:SonarQub e 可 以展示项目中存在大量复制粘贴的代码。
    检测代码中注释的程度:源码注释过多或者太少都不好,影响程序的可读可理解性。
    检测代码中包、类之间的关系:分析类之间的关系是否合理,复杂度情况。

SonarQub e 平 台是 由 4 个 部分组成:

    SonarQube Server
    SonarQube Database
    SonarQube Plugins
    SonarQube Scanner

2、配置数据库

Apache Derby 是Sonar自带并且默认安装使用的数据库,此外Sonar对如下数据库提供支持:MySQL 5.x, Oracle 10g XE, Postgresql, MS SqlServer等,本文以mysql为例介绍如何配置数据库: 

1)创建数据库

在mysql中执行如下脚本创建数据库及mysql用户

$ ${SONAR_HOME}/war/build-war.sh

c. 启动Tomcat, 通过 http://localhost:8080/sonar 访问.

Tomcat安装配置参见:CenOS系统中安装Tomcat7并设置为自启动服务

4.启动服务
  

sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh stop ## 停止服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh start ## 启动服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh restart ## 重启服务  sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh console ## 控制台启动 sudo tail -f /opt/sonarqube-6.2/logs/sonar.log ## 查看日志


5、配置插件
浏览器访问 http://centos:9000/sonar,用预设的管理员账号(admin/admin)登陆;
在线安装:进入插件中心 (Administration / System / Update Center / Available Plugins) 找到所需的插件,点击右侧的 “Install” 开始安装;

离线安装:在线安装容易失败,可尝试离线安装,下载插件 jar 文件至插件目录下,并重启 SonarQube 生效;
插件 jar 文件的下载地址,可以到在线安装页找到插件的 Homepage 再找 releases,如下:
- Git: 已自带安装;
- SVN: 已自带安装;
- Java: 已自带安装,Java 源代码解析,计算指标等;
- JavaScript: 已自带安装;
- Chinese Pack:SonarQube 页面汉化;
- Findbugs
- Checkstyle
- PMD
- SonarGraph

插件的离线安装脚本如下:

  1. cd /opt/sonarqube-6.2/extensions/plugins/
  2. sudo rm -rf sonar-csharp-plugin-*.jar
  3. sudo wget https://github.com/SonarQubeCommunity/sonar-l10n-zh/releases/download/sonar-l10n-zh-plugin-1.13/sonar-l10n-zh-plugin-1.13.jar
  4. sudo wget https://github.com/SonarQubeCommunity/sonar-findbugs/releases/download/3.4.4/sonar-findbugs-plugin-3.4.4.jar
  5. sudo wget https://github.com/SonarQubeCommunity/sonar-checkstyle/releases/download/2.4/sonar-checkstyle-plugin-2.4.jar
  6. sudo wget https://github.com/SonarQubeCommunity/sonar-pmd/releases/download/2.6/sonar-pmd-plugin-2.6.jar
  7. sudo wget https://github.com/SonarQubeCommunity/sonar-sonargraph/releases/download/sonar-sonargraph-plugin-3.5/sonar-sonargraph-plugin-3.5.jar
  8. sudo /opt/sonarqube-6.2/bin/linux-x86-64/sonar.sh restart ## 重启服务
  9. ## 注意:不完整的 wget 下载文件必须删掉,否则会导致 SonarQube 启动失败!

a)插件介绍

Sonar支持多种插件,将下载后的插件上传到${SONAR_HOME}extensions\plugins目录下,重新启动sonar。

sonar默认集成了Java Ecosystem插件,该插件是一组插件的合集

  • Java [sonar-java-plugin]:java源代码解析,计算指标等
  • Squid [sonar-squid-java-plugin]:检查违反Sonar定义规则的代码
  • Checkstyle [sonar-checkstyle-plugin]:使用CheckStyle检查违反统一代码编写风格的代码
  • FindBugs [sonar-findbugs-plugin]:使用FindBugs检查违反规则的缺陷代码
  • PMD [sonar-pmd-plugin]:使用pmd检查违反规则的代码
  • Surefire [sonar-surefire-plugin]:使用Surefire执行单元测试
  • Cobertura [sonar-cobertura-plugin]:使用Cobertura获取代码覆盖率
  • JaCoCo [sonar-jacoco-plugin]:使用JaCOCO获取代码覆盖率

生成认证令牌(Token)

外部系统(比如 Jenkins)访问 SonarQube 时要用到;
进入:Administration(配置) / Security(权限) / User(用户),找到用户 admin,点击 “Tokens” 一列;
弹出界面里:输入 TokenName=”admin”, 点击 “Generate”, 生成 “8687b74188c446f2e02ec6eb5ee9d80b88048406”

部署至 Tomcat

上面是 Sonar 以独立 server 方式运行,也可以改为集成至 Tomcat:

## 注意修改 $TOMCAT_HOME/bin/catalina.sh 初始内存 1G+ sudo /opt/sonarqube-6.2/war/build-war.sh ## 将sonar达成一个war包 sudo cp /opt/sonarqube-6.2/war/sonar.war %TOMCAT_BASE/web-apps/

二、与jenkins集成

1、通过Maven进行集成

修改maven的主配置文件(${MAVEN_HOME}/conf/settings.xml文件或者 ~/.m2/settings.xml文件),在其中增加访问Sonar数据库及Sonar服务地址,添加如下配置:

  1. <profile>
  2. <id>sonar</id>
  3. <properties>
  4.     <sonar.jdbc.url>jdbc:mysql://localhost:3306/sonar
  5.     <sonar.jdbc.driver>com.mysql.jdbc.Driver</sonar.jdbc.driver>
  6.     <sonar.jdbc.username>sonar</sonar.jdbc.username>
  7.     <sonar.jdbc.password>sonar</sonar.jdbc.password>
  8.     <sonar.host.url>http://localhost:9000
  9. </properties>
  10. </profile>
  11. <activeProfiles>
  12.   <activeProfile>sonar</activeProfile>
  13. </activeProfiles>

此处注意sonar.host.url地址应根据sonar部署情况修改

同样,为了避免内存溢出,推荐增加内存堆栈的大小。设置MAVEN_OPTS环境变量:

set MAVEN_OPTS=”-Xmx512m -XX:MaxPermSize=256m”  

使用Sonar

a. 运行Sonar服务器;

b. 通过 mvn sonar:sonar 将代码注入到Sonar中进行分析处理,并将处理结果以XML的形式保存在数据库中;

c. 通过浏览器访问,显示分析结果;

d. 持续运行Maven构建,会迭代显示分析结果;

e. 可以显式指定sonar插件的版本,如下:

  1. <project>
  2.             <build>
  3.                 <plugins>
  4.                     <plugin>
  5.                         <groupId>org.codehaus.sonar</groupId>
  6.                         <artifactId>sonar-maven-plugin</artifactId>
  7.                         <version>3.5.1</version>
  8.                     </plugin>
  9.                 </plugins>
  10.             </build>
  11.         </project>

f. 可以显式的将sonar绑定到Maven生命周期中,如下:

  1. <plugin>
  2.             <groupId>org.codehaus.sonar</groupId>
  3.             <artifactId>sonar-maven-plugin</artifactId>
  4.             <version>3.5.1</version>
  5.             <executions>
  6.                 <execution>
  7.                     <id>sonar</id>
  8.                     <phase>site</phase>
  9.                     <goals>
  10.                     <goal>sonar</goal>
  11.                     </goals>
  12.                 </execution>
  13.             </executions>
  14.       </plugin>

此时,指定Maven的site声明周期时,则会自动调用sonar.sonar 命令.

2、直接与Jenkins集成

在jenkins的插件管理中选择安装SonarQube Plugin,该插件可以使项目每次构建都调用sonar进行代码度量。

安装完毕后,进入:系统管理 / 系统设置 / SonarQube servers, 点击 “Add SonarQube” 按钮:
- Name: SonarQube-6.2
- Server URL: http://centos:9000/sonar
- Server version: 5.3 or higher
- Server authentication token: 8687b74188c446f2e02ec6eb5ee9d80b88048406(前面 SonarQube 生成的)
Jenkins 会把构建结果通过 URL和认证令牌发送给 SonarQube

调整 Jenkins 构建设置

构建设置 Build 中,指定 Maven goals: “sonar:sonar”
项目构建时就会自动上报构建报告给 Sonar

构建错误排查

构建如有报错,可查看 SonarQube 日志来分析:

## cat /opt/sonarqube-6.2/logs/web.log Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (6428688 > 4194304). 
You can change this value on the server by setting the 'max_allowed_packet' variable.
  • ## cat /opt/sonarqube-6.2/logs/web.log Caused by: com.mysql.jdbc.PacketTooBigException: Packet for query is too large (6428688 > 4194304). 
    You can change this value on the server by setting the 'max_allowed_packet' variable.

含义是 MySQL Server 的参数值设置过小,调整并重启 mysqld:

## sudo vim /etc/my.cnf ## sudo systemctl restart mysqld [mysqld]
max_allowed_packet=64M ## default 4M

查看报告

进入登陆 SonarQube 查看:
http://centos:9000/sonar

应用程序构建时就会自动触发Sonar对代码的检查