网站首页 > 博客文章 正文
一、项目简介
这阵子试验多模块开发,基于一个开源框架验证,框架采用了Springboot框架,多模块结构也比较典型,两个主模块,一个API模块对应移动客户端,一个Admin模块对应后台管理前端,然后都依赖于Service模块,Service模块再依赖于Common和Bean模块,配置文件application.yml、application-dev.yml、application-prod.yml只有在主模块有,被依赖的模块按需要增加模块自己的配置文件,如common.properties之类,模块关系图如下:
二、两类业务场景概述
1、系统需要调用后端的Python代码,去完成爬虫、AI等具体任务,需要采用哪种集成方案,Restful、JNI、Processbuilder等;
2、开发中需要用到的常量一般在Common模块中定义,但一些常量如文件路径等会跟环境有关,开发环境一般是个人电脑,如MAC或Windows,部署环境一般是云服务器的CentOS等Linux环境,包括数据库、缓存地址等,如何实现。
这两类业务场景在百度上一搜一大把,但在多模块的实践场景和实际业务调试中,花了我不少时间,记录一下,供大家参考。
三、Java调用第三方代码
先用文言一心、豆包结合百度搜索,绝大部分都是建议使用ProcessBuilder方法调用,偶尔会有提通过JNI调用,因为是目标是Python脚本,所以很快就确定使用Processbuilder。
看到几乎所有的示例代码都是通过Processbuilder加上Thread直接调用,然后读取Python脚本的错误输出流和标准输出流进行交互反馈的,
因为在这个项目中调用脚本的场景并不是高并发场景,但脚本执行的时间周期不确定,完全等待执行完成再反馈早就超时了,而按照网上最佳实践来说,应该要用waitfor等脚本执行完成再返回。
于是最后使用在处理Restful请求时新开一个线程Thread,线程启动后即反馈给调用客户端一个成功的响应,在新开线程中按照最佳实践进行Processbuilder相关处理,如重定向错误输出流,及时响应输出流以免阻塞,使用waitfor等待脚本执行结束等。
其实还有一个方法可以实现类似效果,就是Restful接口处理服务直接写消息中间件如RabbitMQ等,写成功后即反馈调用客户端的成功响应,然后开设一个MQ消费者去读取消息队列中的任务,但考虑到任务执行有长有短,所以最好还是建一个独立线程去处理每一个任务,而如果任务并发量很大,就需要引入线程池来限制过大的资源消耗了。
概要的示例代码如下:
// other code
try {
// generate a thread to call the python script
Thread pythonThread;
pythonThread = new Thread(() -> {
ProcessBuilder pb;
String line;
pb = new ProcessBuilder(Constant.PYTHON_PATH, Constant.APP_PATH, Constant.PYTHON_PARAM);
// important! redirect error stream to output stream, so you can deal with the output stream only!
pb.redirectErrorStream(true);
try {
Process process = pb.start();
BufferedReader bufferReader = new BufferedReader(new InputStreamReader(process.getInputStream()));
while ((line = bufferDownload.readLine()) != null) {
// deal with the output, adjust to your code here
System.out.println(line);
}
process.waitFor();
}
catch (IOException e) {
e.printStackTrace();
}
catch (InterruptedException e) {
e.printStackTrace();
}
});
pythonThread.start();
return;
} catch (Exception e) {
// doing with error
e.printStackTrace();
return;
}
四、多模块配置文件读取
最开始用文言一心搜索,告诉我不能Java各模块间是无法互相读取配置文件信息的,我心一凉,莫非要每个模块都定义一个dev和prod配置文件,然后根据启动参数进行适配?网上查了一下,确实有不少这么做的文章,而且因为每个模块的配置文件还不能重名,即如果主模块用application-dev.yml,那么Service模块要用类似application-servdev.yml,然后在主模块的application.yml的配置中,在active中把这些配置文件都包含进去,如下所示。
spring:
profiles:
active: dev, servdev
这个方案不是不行,但感觉不太漂亮,程序员都懂的:)
于是在Common模块的常量类中,针对final static的常量定义,试了一下@Commponent和@Value,提示final不行,去掉后,不报错,但是只能取到null值,想想要不就用变量吧,直接在Service模块Service实现类中注入吧,居然OK了。莫非一级依赖可以,二级依赖就不行吗?在Common模块试验非static变量注入,也OK了,百度发现static要用不同的注入方式,改为@PostConstruct注解后正常!
总结一下:
1、多模块设计中,各级依赖的模块是可以读取到主模块的配置文件的,用@Component和@Value注解就可以,当然还有其他几种用法,不过我觉得这种用法相对更加灵活一些;
2、在一些常量使用场景下,final static的常量型变量无法直接使用注解,据文言一心反馈需要重写从Spring读取配置文件的方法,太复杂了,所以就使用static变量,这样只需@PostConstruct,结合@Value就可以实现。
在常量类的代码中两种方案都可以看见:
@Component
public class Constant {
public static final String SPIDER_PARAM_SEARCH = 'search";
public static String PYTHON_PATH;
@Value("${python.python_path}")
private String pythonPath;
@PostConstruct
private void init() {
PYTHON_PATH = pythonPath;
}
}
需要注意的是:因为API和Admin模块都依赖了Common模块,无论API和Admin是否使用PYTHON_PATH常量,在它们的application-dev.yml或application-prod.yml中都必须包含有python段以及python_path的定义,否则build没有问题,但是在启动时会因为Constan类报错而失败。
猜你喜欢
- 2025-05-05 Springboot项目中几种跨域的解决方法
- 2025-05-05 快来试试这款一行代码实现多平台文件存储的工具!
- 2025-05-05 Spring Boot3 整合 Redis 实现数据缓存操作全解析
- 2025-05-05 Spring Boot 优雅实现多租户架构(多租户开源框架 java)
- 2025-05-05 手把手教你搭建Spring Boot项目(springboot工程搭建步骤)
- 2025-05-05 详细介绍一下Spring Boot配置文件的加载顺序?
- 2025-05-05 第三章:SpringBoot 配置文件(springboot配置文件详解)
- 2025-05-05 Spring Boot3 整合 Thymeleaf 模板引擎全攻略
- 2025-05-05 震碎认知!将原理融会贯通到顶点的SpringBoot实战项目
- 2025-05-05 Spring Boot3 整合 Nacos 实现配置管理全解析
你 发表评论:
欢迎- 368℃用AI Agent治理微服务的复杂性问题|QCon
- 367℃手把手教程「JavaWeb」优雅的SpringMvc+Mybatis整合之路
- 359℃初次使用IntelliJ IDEA新建Maven项目
- 352℃Maven技术方案最全手册(mavena)
- 348℃安利Touch Bar 专属应用,让闲置的Touch Bar活跃起来!
- 347℃InfoQ 2024 年趋势报告:架构篇(infoq+2024+年趋势报告:架构篇分析)
- 345℃IntelliJ IDEA 2018版本和2022版本创建 Maven 项目对比
- 343℃从头搭建 IntelliJ IDEA 环境(intellij idea建包)
- 最近发表
- 标签列表
-
- powershellfor (55)
- messagesource (56)
- aspose.pdf破解版 (56)
- promise.race (63)
- 2019cad序列号和密钥激活码 (62)
- window.performance (66)
- qt删除文件夹 (72)
- mysqlcaching_sha2_password (64)
- ubuntu升级gcc (58)
- nacos启动失败 (64)
- ssh-add (70)
- jwt漏洞 (58)
- macos14下载 (58)
- yarnnode (62)
- abstractqueuedsynchronizer (64)
- source~/.bashrc没有那个文件或目录 (65)
- springboot整合activiti工作流 (70)
- jmeter插件下载 (61)
- 抓包分析 (60)
- idea创建mavenweb项目 (65)
- vue回到顶部 (57)
- qcombobox样式表 (68)
- vue数组concat (56)
- tomcatundertow (58)
- pastemac (61)
本文暂时没有评论,来添加一个吧(●'◡'●)