Merge pull request WeBankFinTech#295 from WeDataSphere/dev-1.0.0-rc

Modify the linkis version to 1.1.0. Modify the DSS version to 1.0.1
Mu-L · May 30, 2022 · 81fedaf · 81fedaf
2 parents 2f6407c + a0e9986
commit 81fedaf
Show file tree

Hide file tree

Showing 13 changed files with 342 additions and 42 deletions.
diff --git a/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md b/docs/zh_CN/ch1/exchangis_appconn_deploy_cn.md
@@ -67,27 +67,43 @@ sql语句如下（在init.sql文件中）：
 ![image](https://user-images.githubusercontent.com/27387830/169786065-1391cf24-f88c-4f47-9a26-3d810fbafa22.png)
 
 #### 3）执行脚本进行自动化安装
-进入已经安装好的Exchangis目录，找到sbin目录下面的install-appconn.sh文件，目前安装采用默认安装的方式，将打包出来的exchangis-appconn.zip包和install-appconn.sh文件拷贝到{EXCHANGIS_INSTALL_HOME}/dss-appconns目录下。直接执行以下命令：
+进入DSS安装目录下，将exchangis.zip文件(APPCONN安装包)放入{DSS_INSTALL_HOME}/dss-appconns目录下并解压。
+
+在解压出来的{DSS_INSTALL_HOME}/dss-appconns/exchangis/db目录下找到安装部署脚本appconn-install.sh，并使用如下命令执行安装部署脚本
 
 ```
-./sbin/install-appconn.sh
+sh appconn-install.sh
 ```
+
 该脚本为交互式安装，安装步骤依次分为以下几步：
-1.	解压缩lib包
+1.	判断已安装好的exchangis是以域名访问还是ip加port形式访问。
+
+当出现该提醒时：Whether your exchangis appconn is accessed with a domain name？(Y/N)
+
+输入Y，说明您的exchangis使用域名进行访问，需要按照第二章第五点在init.sql中提前配置相应参数，再执行脚本接下来的数据库初始化步骤。否则为使用ip和端口的形式访问exchangis，为脚本交互式配置参数。
 
-当出现该提醒时：Do you want to decompress this package: [exchangis-appconn.zip]
+输入N，会出现以下提示
+
+```
+Please enter the ip of appconn: （输入访问excahngis的IP）
+Please enter the port of appconn: （输入访问exchangis的端口）
+```
 
-输入y确认解压，就会将项目的实际zip包解压到dss项目的APPCONN目录{DSS_INSTALL_HOME}/dss-appconns下。
 2.	exchangis-appconn数据库初始化。
 
 
 #### 4）exchangis-appconn数据库初始化
 如果你的服务上安装有mysql命令，在执行安装脚本的过程中则会出现以下提醒：
 ```
-Scan out mysql command, so begin to initalize the dss-appconn database
-Do you want to initalize database with sql: [{INSTALL_PATH}/db/init.sql]? (Y/N)y
+Scan out mysql command, so begin to initalize the database
+Do you want to initalize database with sql: [{INSTALL_PATH}/bin/exchangis-init.sql]? (Y/N)y
+Please input the db host(default: 127.0.0.1): 
+Please input the db port(default: 3306): 
+Please input the db username(default: root): 
+Please input the db password(default: ): 
+Please input the db name(default: exchangis)
 ```
-依据init.sql中的数据库配置，大部分情况下即可快速完成初始化。
+按照提示输入数据库地址，端口号，用户名，密码以及数据库名称，大部分情况下即可快速完成初始化。
 
 如果服务上并没有安装mysql命令，则可以取用目录下/db/init.sql脚本去手动执行。（需提前知道您的DSS数据库地址）
 

diff --git a/docs/zh_CN/ch1/exchangis_deploy_cn.md b/docs/zh_CN/ch1/exchangis_deploy_cn.md
@@ -189,27 +189,6 @@ server {
 
         }
 }
-location /api {
-			proxy_pass http://127.0.0.1:9001; #后端Linkis的地址
-			proxy_set_header Host $host;
-			proxy_set_header X-Real-IP $remote_addr;
-			proxy_set_header x_real_ipP $remote_addr;
-			proxy_set_header remote_addr $remote_addr;
-			proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
-			proxy_http_version 1.1;
-			proxy_connect_timeout 4s;
-			proxy_read_timeout 600s;
-			proxy_send_timeout 12s;
-			proxy_set_header Upgrade $http_upgrade;
-			proxy_set_header Connection upgrade;
-        }
-		error_page   500 502 503 504  /50x.html;
-
-        location = /50x.html {
-
-			root   /usr/share/nginx/html;
-
-        }
 }
 
 server {

diff --git a/docs/zh_CN/ch1/exchangis_sqoop_deploy_cn.md b/docs/zh_CN/ch1/exchangis_sqoop_deploy_cn.md
@@ -1,5 +1,5 @@
 ### 环境准备
-Sqoop引擎是执行Exchangis数据同步任务不可或缺的组件，只有安装部署完成Sqoop引擎才能够成功执行数据同步任务。
+Sqoop引擎是执行Exchangis数据同步任务不可或缺的组件，只有安装部署完成Sqoop引擎才能够成功执行数据同步任务。同时，确保所部署的机器上有安装sqoop。
 
 您在安装部署Sqoop引擎之前，请按照Exchangis1.0.0安装部署文档安装完成Exchangis1.0.0及相关组件的安装，并确保工程基本功能可用。
 

diff --git a/docs/zh_CN/ch1/release_node.md b/docs/zh_CN/ch1/release_node.md
@@ -0,0 +1,92 @@
+Exchangis-1.0.0-RC版本包含所有 Project Exchangis-1.0.0-RC。
+
+本次发布是Exchangis数据同步任务平台的全新RC版本，支持不同类型数据源之间的数据同步。平台将数据交换流程进行拆分，抽象出数据源，数据交换任务，任务调度等概念，加强了与linkis，DSS之间的联动，是0.X版本之后的重构版本。
+
+该版本主要包含了以下内容：
+
+1、【提交数据同步作业】数据同步作业执行重构
+
+2、【子任务运行情况】对正在运行或者已完成的子作业查看他们的各项指标信息，以便对任务进行实时监控。
+
+3、【获取实时日志】数据同步进行中/结束能展示job和task的实时日志，准确快速的排查问题
+
+4、【数据源管理模块】对数据同步数据源进行一系列的管理操作
+
+5、【同步历史模块】对已完成或正在执行的同步数据任务进行历史信息管理
+
+6、【项目管理模块】对数据同步项目、任务进行配置管理
+
+7、【数据同步作业构建模块】对数据同步作业配置的信息进行构建，形成能够提交给linkis的形式
+
+8、 Exchangis1.0 Appconn对接DSS，支持工作流形式执行数据同步任务
+
+## 缩写：
+
+EJS: Exchangis Job Server
+EJB:Exchangis Job Builder
+EP:Exchangis Project
+EDS:Exchangis Datasource Server
+EXAPP:Exchangis Appconn
+
+##  新特性：
+
+- [EJS][[Exchangis-102]](https://github.com/WeBankFinTech/Exchangis/pull/102) 增加新的exchangis-job-server模块，新增对数据同步任务调度类、执行类、提交任务类，新政任务增删改查功能、日志监控功能、同步历史管理功能  
+- [EJB][[Exchangis-110]](https://github.com/WeBankFinTech/Exchangis/pull/110) 增加新的exchangis-job-builder模块，新增对数据同步作业的构建管理类，将数据同步作业转换为能够提交给linkis的形式. 
+- [EP][[Exchangis-86]](https://github.com/WeBankFinTech/Exchangis/issues/86) 增加新的exchangis-project模块，提供数据同步项目管理服务，通过restful接口提供了数据同步项目的增删查改等功能。
+- [EDS][[Exchangis-95]](https://github.com/WeBankFinTech/Exchangis/pull/95) 增加新的exchangis-datasource-server模块，提供对linkis-datasouce的数据源管理服务，通过restful接口提供了对数据源的增删改查、连接测试、版本管理等功能。
+- [EJS][[Exchangis-]](https://github.com/WeBankFinTech/Exchangis/pull/160) 新增加对已提交数据同步任务的的管理服务，通过restful接口提供了历史任务的日志监控，指标信息查看，中止已提交任务等功能。 
+- [EJS][[Exchangis-131]](https://github.com/WeBankFinTech/Exchangis/pull/131) 对数据同步作业的执行过程进行了重构，提供异步执行、多租户功能和任务的高可用性
+- [EXAPP][[Exchangis-179]](https://github.com/WeBankFinTech/Exchangis/pull/179) 增加新的exchangis-appconn模块，通过appconn以第三方组件的方式与DSS对接，实现工作流形式执行数据同步任务，同步增删改查任务等功能。
+
+## 功能增强：
+
+- [EJS][[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/pull/140) 对于正在运行/已完成的某个子作业，能够展示各项指标信息。
+- [Exchangis][[Exchangis-284]](https://github.com/WeBankFinTech/Exchangis/pull/284) 安装部署脚本优化。
+- [Exchangis][[Exchangis-284]](https://github.com/WeBankFinTech/Exchangis/pull/284) 完善exchangis ddl，dml，配置文件。
+- [Exchangis][[Exchangis-281]](https://github.com/WeBankFinTech/Exchangis/pull/281) 添加对ISSUE模板、Pull request模板和github CI action的支持。
+- [Exchangis][[Exchangis-224]](https://github.com/WeBankFinTech/Exchangis/pull/224) 升级exchangis对linkis的依赖版本由1.0.3到1.1.0。
+- [EJS][[Exchangis-222]](https://github.com/WeBankFinTech/Exchangis/pull/222) 重构job-server模块以适配新的数据库表。
+- [EP][[Exchangis-189]](https://github.com/WeBankFinTech/Exchangis/pull/189) 重构数据同步项目管理模块。
+- [EJB][[Exchangis-188]](https://github.com/WeBankFinTech/Exchangis/pull/188) 增强sqoop引擎数据同步作业构建功能。
+- [EXAPP][[Exchangis-179]](https://github.com/WeBankFinTech/Exchangis/pull/179) 重构exchangis appconn模块
+- [EJS][[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/pull/140) 数据同步进行中/结束能展示job/和task的实时日志。
+- [EJS,EP][[Exchangis-167]](https://github.com/WeBankFinTech/Exchangis/pull/167) 添加作业更新接口，添加作业及项目的分页功能，优化restful层 
+- [Exchangis][[Exchangis-141]](https://github.com/WeBankFinTech/Exchangis/pull/141) 添加对数据同步任务日志的前端异常处理 
+- [EJS][[Exchangis-143]](https://github.com/WeBankFinTech/Exchangis/pull/143) 添加获取任务日志、获取所有所有历史任务和杀死任务的接口 
+- [EJS][[Exchangis-147]](https://github.com/WeBankFinTech/Exchangis/pull/147) 调整日志组件的获取逻辑 
+- [EJS][[Exchangis-150]](https://github.com/WeBankFinTech/Exchangis/pull/150) 增加对hive分区信息获取的功能 
+- [EDS][[Exchangis-165]](https://github.com/WeBankFinTech/Exchangis/pull/165) 客户端RPC的实现和restful类的命名空间的修改 
+
+## Bug修复：
+
+- [[Exchangis-227]](https://github.com/WeBankFinTech/Exchangis/pull/227) [EJS] 解决job info服务因库表变动而造成的不适配问题 
+
+- [[Exchangis-185]](https://github.com/WeBankFinTech/Exchangis/pull/185) [EJS-Execution] 避免map计算方法中netscape调用过程中的死锁:调整调度任务选择规则 
+
+- [[Exchangis-158]](https://github.com/WeBankFinTech/Exchangis/pull/158) [EJS-Execution] 修复更新进度、状态和指标的错误。
+
+- [[Exchangis-165]](https://github.com/WeBankFinTech/Exchangis/pull/165) [EDS] 客户端RPC的实现和restful类的命名空间的修改。
+
+- [[Exchangis-292]](https://github.com/WeBankFinTech/Exchangis/issues/292) [EJS] 修复hive的run_date时间分区系统变量获取失败的问题
+
+- [[Exchangis-293]](https://github.com/WeBankFinTech/Exchangis/issues/293) [EJS-Execution] 修复sqoop工作流节点在取消任务后依旧在后台执行的问题 
+
+- [[Exchangis-282]](https://github.com/WeBankFinTech/Exchangis/pull/282) [EJS-Execution] 修复复制子任务后更改数据源库表，导致原子任务的字段映射被覆盖的问题 
+
+- [[Exchangis-140]](https://github.com/WeBankFinTech/Exchangis/issues/294) [EJS-Execution] 修复将任务提交到wtss进行调度代理用户失效的问题 
+
+- [[Exchangis-241]](https://github.com/WeBankFinTech/Exchangis/issues/241) [EJS] 修复子任务日志缺失问题
+
+- [[Exchangis-221]](https://github.com/WeBankFinTech/Exchangis/issues/221) [EJS] 修复查看子任务时候的重复请求问题 
+
+- [[Exchangis-204]](https://github.com/WeBankFinTech/Exchangis/issues/204) [EJB] 在任务配置选择数据源库表时候，增加搜索框进行快速搜索 
+
+- [[Exchangis-210]](https://github.com/WeBankFinTech/Exchangis/issues/210) [EJS] 修复点击执行ID查看任务进度后关闭，及时切换到别的页面，依旧在不停的拉取任务进度的问题 
+
+
+
+
+
+## 贡献者：
+
+EXCHANGIS 1.0.0-RC发布离不开EXCHANGIS社区的贡献者，感谢所有的社区贡献者！包括但不仅限于以下Contributors：
diff --git a/...java/com/webank/wedatasphere/exchangis/datasource/service/ExchangisDataSourceService.java b/...java/com/webank/wedatasphere/exchangis/datasource/service/ExchangisDataSourceService.java
@@ -1070,7 +1070,7 @@ public Message publishDataSource(HttpServletRequest request, Long id, Long versi
         PublishDataSourceVersionResult result;
         try {
             result = linkisDataSourceRemoteClient.publishDataSourceVersion(
-                    new PublishDataSourceVersionAction.Builder().setUser(userName).setDataSourceId(Long.parseLong(id + "")).setVersion(Long.parseLong(version + "")).build()
+                    new PublishDataSourceVersionAction.Builder().setUser(userName).setDataSourceId(Long.parseLong(id + "")).setVersion(String.valueOf(Long.parseLong(version + ""))).build()
             );
         } catch (Exception e) {
             if (e instanceof ErrorException) {

diff --git a/.../wedatasphere/exchangis/job/server/restful/external/ExchangisJobDssAppConnRestfulApi.java b/.../wedatasphere/exchangis/job/server/restful/external/ExchangisJobDssAppConnRestfulApi.java
@@ -187,9 +187,9 @@ public Message executeJob(@PathVariable("id") Long id, HttpServletRequest reques
             ExchangisProject project = projectMapper.getDetailById(jobVo.getProjectId());
             LOG.info("project: {}, getProjectId:{}",project,jobVo.getProjectId());
             //find project user authority
-            if (!hasExecuteAuthority(submitUser, project)){
+            /*if (!hasAuthority(submitUser, jobVo)){
                 return Message.error("You have no permission to execute job (没有执行DSS任务权限)");
-            }
+            }*/
             // Send to execute service
             String jobExecutionId = executeService.executeJob(jobInfo, StringUtils.isNotBlank(jobInfo.getExecuteUser()) ?
                     jobInfo.getExecuteUser() : loginUser);

diff --git a/exchangis-plugins/exchangis-appconn/src/main/assembly/distribution.xml b/exchangis-plugins/exchangis-appconn/src/main/assembly/distribution.xml
@@ -64,6 +64,8 @@
             <directory>${basedir}/src/main/resources</directory>
             <includes>
                 <include>init.sql</include>
+                <include>init_real.sql</include>
+                <include>appconn-install.sh</include>
             </includes>
             <fileMode>0777</fileMode>
             <outputDirectory>db</outputDirectory>

diff --git a/...datasphere/exchangis/dss/appconn/operation/project/AbstractExchangisProjectOperation.java b/...datasphere/exchangis/dss/appconn/operation/project/AbstractExchangisProjectOperation.java
@@ -31,9 +31,12 @@ public AbstractExchangisProjectOperation(){
     protected ProjectReqEntity getProjectEntity(ProjectRequestRef projectRequestRef){
             // Build project request entity
         Map<String, Object> source = new HashMap<>();
-        String editUsers= StringUtils.join( projectRequestRef.getEditUsers(),",");
+        /*String editUsers= StringUtils.join( projectRequestRef.getEditUsers(),",");
         String viewUsers = StringUtils.join( projectRequestRef.getAccessUsers(),",");
-        String execUsers = StringUtils.join( projectRequestRef.getReleaseUsers(),",");
+        String execUsers = StringUtils.join( projectRequestRef.getReleaseUsers(),",");*/
+        String editUsers= projectRequestRef.getName();
+        String viewUsers = projectRequestRef.getName();
+        String execUsers = projectRequestRef.getName();
                 ProjectReqEntity projectReqEntity = new ProjectReqEntity(projectRequestRef.getId(), editUsers,viewUsers,execUsers,
                 projectRequestRef.getName(), projectRequestRef.getDescription(), source);
         projectReqEntity.setLabels(AppConnUtils.serializeDssLabel(projectRequestRef.getDSSLabels()));

diff --git a/...nk/wedatasphere/exchangis/dss/appconn/operation/project/ExchangisProjectGetOperation.java b/...nk/wedatasphere/exchangis/dss/appconn/operation/project/ExchangisProjectGetOperation.java
@@ -1,3 +1,4 @@
+/*
 package com.webank.wedatasphere.exchangis.dss.appconn.operation.project;
 
 import com.webank.wedatasphere.dss.common.entity.project.DSSProject;
@@ -23,10 +24,12 @@
 import java.util.Map;
 import java.util.Objects;
 
+*/
 /**
  * @author tikazhang
  * @Date 2022/3/22 0:48
- */
+ *//*
+
 public class ExchangisProjectGetOperation extends AbstractExchangisProjectOperation implements ProjectGetOperation {
     private static Logger LOG = LoggerFactory.getLogger(ExchangisProjectDeletionOperation.class);
 
@@ -86,4 +89,4 @@ public void setStructureService(StructureService structureService) {
         this.structureService = structureService;
         setSSORequestService(this.structureService);
     }
-}
+}*/
diff --git a/...n/java/com/webank/wedatasphere/exchangis/dss/appconn/service/ExchangisProjectService.java b/...n/java/com/webank/wedatasphere/exchangis/dss/appconn/service/ExchangisProjectService.java
@@ -3,7 +3,7 @@
 import com.webank.wedatasphere.dss.standard.app.structure.project.*;
 import com.webank.wedatasphere.exchangis.dss.appconn.operation.project.ExchangisProjectCreationOperation;
 import com.webank.wedatasphere.exchangis.dss.appconn.operation.project.ExchangisProjectDeletionOperation;
-import com.webank.wedatasphere.exchangis.dss.appconn.operation.project.ExchangisProjectGetOperation;
+//import com.webank.wedatasphere.exchangis.dss.appconn.operation.project.ExchangisProjectGetOperation;
 import com.webank.wedatasphere.exchangis.dss.appconn.operation.project.ExchangisProjectUpdateOperation;
 
 /**
@@ -36,11 +36,11 @@ protected ProjectDeletionOperation createProjectDeletionOperation() {
         return new ExchangisProjectDeletionOperation(this);
     }
 
-    @Override
+   /* @Override
     protected ProjectGetOperation createProjectGetOperation() {
         return null;
         //return new ExchangisProjectGetOperation(this);
-    }
+    }*/
 
     @Override
     protected ProjectUrlOperation createProjectUrlOperation() {