From 74e6d70dfb2d118db0f3192cda6b6adf9c18d681 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 6 Feb 2020 14:35:08 +0800 Subject: [PATCH 01/30] DSS workflow add shell node close #97 --- conf/config.sh | 2 +- db/azkaban.sql | 5 +++-- 2 files changed, 4 insertions(+), 3 deletions(-) diff --git a/conf/config.sh b/conf/config.sh index 5499f42c1d..dea8a60d7b 100644 --- a/conf/config.sh +++ b/conf/config.sh @@ -71,7 +71,7 @@ VISUALIS_NGINX_PORT=8088 #azkaban address for check AZKABAN_ADRESS_IP=127.0.0.1 -AZKABAN_ADRESS_PORT=8091 +AZKABAN_ADRESS_PORT=8081 #qualitis.address for check QUALITIS_ADRESS_IP=127.0.0.1 diff --git a/db/azkaban.sql b/db/azkaban.sql index 489ded7bb1..7f18b33087 100644 --- a/db/azkaban.sql +++ b/db/azkaban.sql @@ -1,3 +1,4 @@ INSERT INTO `dss_application` (`id`, `name`, `url`, `is_user_need_init`, `level`, `user_init_url`, `exists_project_service`, `project_url`, `enhance_json`, `if_iframe`, `homepage_url`, `redirect_url`) VALUES (NULL, 'schedulis', NULL, '0', '1', NULL, '0', NULL, NULL, '1', NULL, NULL); -UPDATE `dss_application` SET url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT', project_url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT/manager?project=${projectName}',homepage_url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT/homepage' WHERE `name` in - ('schedulis'); +UPDATE `dss_application` SET url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT', project_url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT/manager?project=${projectName}',homepage_url = 'http://AZKABAN_ADRESS_IP_2:AZKABAN_ADRESS_PORT/homepage' WHERE `name` in ('schedulis'); +SELECT @shcedulis_id:=id FROM `dss_application` WHERE `name` = 'schedulis'; +insert into dss_workflow_node values(null,null,'linkis.shell.sh',@shcedulis_id,1,1,0,1,null); From 2d8665f012e4be3952a6c9cbd40ffcf402e3deb9 Mon Sep 17 00:00:00 2001 From: zwx-master <1208247854@qq.com> Date: Tue, 11 Feb 2020 19:51:55 +0800 Subject: [PATCH 02/30] =?UTF-8?q?=E6=96=B0=E5=BB=BAshell=E8=8A=82=E7=82=B9?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- web/src/js/service/mixin.js | 2 +- web/src/js/service/nodeType.js | 2 +- web/vue.config.js | 4 ++-- 3 files changed, 4 insertions(+), 4 deletions(-) diff --git a/web/src/js/service/mixin.js b/web/src/js/service/mixin.js index 90341c5ddd..4ca8713dc7 100644 --- a/web/src/js/service/mixin.js +++ b/web/src/js/service/mixin.js @@ -34,7 +34,7 @@ export default { { rule: /\.python$/i, lang: 'python', executable: true, application: 'python', runType: 'python', ext: '.python', scriptType: 'python', abbr: 'py', logo: 'fi-python', isCanBeNew: true, label: 'Python', isCanBeOpen: true, flowType: 'python' }, { rule: /\.py$/i, lang: 'python', executable: true, application: 'spark', runType: 'python', ext: '.py', scriptType: 'pythonSpark', abbr: 'py', logo: 'fi-spark-python', isCanBeNew: true, label: 'PythonSpark', isCanBeOpen: true, flowType: 'pyspark' }, { rule: /\.r$/i, lang: 'r', executable: true, application: 'spark', runType: 'r', ext: '.r', scriptType: 'r', abbr: 'r', logo: 'fi-r', isCanBeNew: true, label: 'R', isCanBeOpen: true }, - { rule: /\.sh$/i, lang: 'sh', executable: true, application: 'shell', runType: 'shell', ext: '.sh', scriptType: 'shell', abbr: 'shell', logo: 'fi-r', isCanBeNew: false, label: 'Shell', isCanBeOpen: true, flowType: 'shell' }, + { rule: /\.sh$/i, lang: 'sh', executable: true, application: 'shell', runType: 'shell', ext: '.sh', scriptType: 'shell', abbr: 'shell', logo: 'fi-r', isCanBeNew: true, label: 'Shell', isCanBeOpen: true, flowType: 'shell' }, { rule: /\.qmlsql$/i, lang: 'hql', executable: false, application: 'spark', runType: 'sql', ext: '.qmlsql', scriptType: 'qmlsql', abbr: 'qmlsql', logo: 'fi-spark', isCanBeNew: false, label: 'QMLSQL', isCanBeOpen: true }, { rule: /\.qmlpy$/i, lang: 'python', executable: false, application: 'spark', runType: 'python', ext: '.qmlpy', scriptType: 'qmlpy', abbr: 'qmlpy', logo: 'fi-python', isCanBeNew: false, label: 'QMLPy', isCanBeOpen: true }, { rule: /\.txt$/i, lang: 'text', executable: false, application: null, runType: null, ext: '.txt', scriptType: 'txt', abbr: '', logo: 'fi-txt', isCanBeNew: false, isCanBeOpen: true }, diff --git a/web/src/js/service/nodeType.js b/web/src/js/service/nodeType.js index bf0a654985..5b6a55803b 100644 --- a/web/src/js/service/nodeType.js +++ b/web/src/js/service/nodeType.js @@ -34,7 +34,7 @@ import qualitis from '../module/process/images/newIcon/qualitis.svg'; import python from '../module/process/images/newIcon/python.svg'; import jdbc from '../module/process/images/newIcon/JDBC2.svg'; const NODETYPE = { - SHELL: 'azkaban.shell', + SHELL: 'linkis.shell.sh', HQL: 'linkis.hive.hql', SPARKSQL: 'linkis.spark.sql', SPARKPY: 'linkis.spark.py', diff --git a/web/vue.config.js b/web/vue.config.js index 376a13f4a4..d951102270 100644 --- a/web/vue.config.js +++ b/web/vue.config.js @@ -38,8 +38,8 @@ module.exports = { onEnd: { copy: [ { source: 'node_modules/monaco-editor/dev/vs', destination: `./dist/dist/static/vs` }, - { source: './config.sh', destination: `./dist` }, - { source: './install.sh', destination: `./dist` } + { source: './config.sh', destination: `./dist/conf` }, + { source: './install.sh', destination: `./dist/bin` } ], // 先删除根目录下的zip包 delete: [`./wedatasphere-DataSphereStudio-${getVersion()}-dist.zip`], From 07aa8c2296b065b16be4c6c65609125b51a5f97e Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 15:37:09 +0800 Subject: [PATCH 03/30] DSS_LINKIS Quick Install Documentation close #103 --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 497 +++++++++++++++++++++ 1 file changed, 497 insertions(+) create mode 100644 docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md new file mode 100644 index 0000000000..3a0fca2758 --- /dev/null +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -0,0 +1,497 @@ +# DataSphere Studio快速安装使用文档 + +由于DataSphere Studio依赖于[Linkis](https://github.com/WeBankFinTech/Linkis)，本文档提供了以下两种部署方式供您选择： + +1. DSS & Linkis 一键部署 + +     该模式适合于DSS和Linkis都没有安装的情况。 +     进入[DSS & Linkis安装环境准备]() + +2. DSS 一键部署 + +     该模式适合于Linkis已经安装，需要安装DSS的情况。 + +     进入[DSS快速安装文档](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS%E5%BF%AB%E9%80%9F%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8%E6%96%87%E6%A1%A3.md) + +     **请根据实际情况，选择合理安装方式**。 + +## 一、DSS & Linkis安装环境准备 + +**根据安装难度，我们提供了以下两种环境准备方式，请根据需要选择：** + +1. **精简版** + +     没有任何安装难度，适合于调研和学习，10分钟即可部署起来。 + +     支持的功能有： + +- 数据开发IDE - Scriptis，仅支持：执行Python和JDBC脚本 +- Linkis管理台 + +**进入[DSS & Linkis精简版环境准备]()** + +2. **标准版**： + +     有一定的安装难度，体现在Hadoop、Hive和Spark版本不同时，可能需要重新编译，可能会出现包冲突问题。 + +适合于试用和生产使用，2~3小时即可部署起来。 + +     支持的功能有： + +- 数据开发IDE - Scriptis + +- 工作流实时执行(**单机版**) + +- 信号功能和邮件功能 + +- 数据可视化 - Visualis(**单机版**) + +- 数据质量 - Qualitis(**单机版**) + +- 工作流定时调度 - Azkaban(**单机版**) + +- Linkis管理台 + +**进入[DSS & Linkis标准版环境准备]()** + +---- + +## 二、DSS & Linkis精简版环境准备 + +### a. 基础软件安装 + +        下面的软件必装： + +- MySQL (5.5+)，[如何安装MySQL](https://www.runoob.com/mysql/mysql-install.html) +- JDK (1.8.0_141以上)，[如何安装JDK](https://www.runoob.com/java/java-environment-setup.html) +- Python(2.x和3.x都支持)，[如何安装Python](https://www.runoob.com/python/python-install.html) +- Nginx，[如何安装Nginx](https://www.tecmint.com/install-nginx-on-centos-7/) + +### b. 创建用户 + +        例如: **部署用户是hadoop账号** + +1. 在部署机器上创建部署用户，用于安装 + +```bash + sudo useradd hadoop +``` + +2. 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎，从而执行作业，所以部署用户需要有 sudo 权限，而且是免密的。 + +```bash + vi /etc/sudoers +``` + + hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL + +3. **如果您的Python想拥有画图功能，则还需在安装节点，安装画图模块**。命令如下： + +```bash + python -m pip install matplotlib +``` + +### c. 安装包准备 +DSS_LINKIS一键部署，安装包准备有两种方式: +1. 下载DataSphereStudio官方预编译且打包在一起的安装包，进行安装. +2. 用户自行编译或者去各个组件的release页面下载后替换一键部署目录中预编译的安装包。 + +（1）使用DSS社区预编译好的release安装包 + +请访问[点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90)）进行下载，解压后的安装目录结构如下 + +```text +├── dss_linkis # 一键部署主目录 + ├── backup # 用于兼容Linkis老版本的安装启动脚本 + ├── bin # 用于一键安装启动DSS+Linkis + ├── conf # 一键部署的配置文件 + ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 + ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 + ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 + ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 + ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 + ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 +``` + + +（2）用户自行编译或者去各个组件release页面下载得到的安装包 + +- [wedatasphere-linkis-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/Linkis/releases) +- [wedatasphere-dss-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- [wedatasphere-dss-web-x.x.x-dist.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- [linkis-jobtype-x.x.x.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- azkaban-solo-server-x.x.x.tar.gz +- [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) + + +先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： + +```text +├── dss_linkis # 一键部署主目录 + ├── backup # 用于兼容Linkis老版本的安装启动脚本 + ├── bin # 用于一键安装启动DSS+Linkis + ├── conf # 一键部署的配置文件 + ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 + ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 + ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 + ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 + ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 + ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 +``` +**注意事项：** +1. Azkaban: 社区没有提供单独的release安装包，用户需要自行编译后的将安装包放置于安装目录下。 +2. DSS: 用户自行编译DSS安装包，会缺失visualis-server部分，因此，visualis-server也需要用户自行编译。从[visualis项目](https://github.com/WeBankFinTech/Visualis)编译打包后放置于wedatasphere-dss-x.x.x-dist.tar.gz的share/visualis-server目录下,否则dss安装时可能报找不到visualis安装包。 + +### d. 修改配置 + +将conf目录下的config.sh.lite.template，修改为config.sh + +```shell + cp conf/config.sh.lite.template conf/config.sh +``` + +**精简版可以不修改任何配置参数**，当然您也可以按需修改相关配置参数。 + +``` + vi conf/config.sh + + SSH_PORT=22 #ssh默认端口 + deployUser="`whoami`" #默认获取当前用户为部署用户 + WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/ ##工作空间路径，默认为本地路径，尽量提前创建并授于写权限 + RESULT_SET_ROOT_PATH=file:///tmp/linkis ##结果集路径，默认为本地路径，尽量提前创建并授于写权限 + DSS_NGINX_IP=127.0.0.1 #DSS Nginx访问IP + DSS_WEB_PORT=8088 #DSS Web页面访问端口 + +``` + +```properties + # 说明：通常情况下，精简版，上述参数默认情况均可不做修改，即可直接安装使用 + +``` + +### e. 修改数据库配置 + +```bash + vi conf/db.sh +``` + +```properties + # 设置数据库的连接信息 + MYSQL_HOST= + MYSQL_PORT= + MYSQL_DB= + MYSQL_USER= + MYSQL_PASSWORD= +``` + + +```properties + # 说明：此为必须配置参数，并确保可以从本机进行访问，验证方式： + mysql -h$MYSQL_HOST -P$MYSQL_PORT -u$MYSQL_USER -p$MYSQL_PASSWORD +``` + +精简版配置修改完毕，进入[安装和使用]() + +## 三、DSS & Linkis标准版环境准备 + +### a. 基础软件安装 + +        下面的软件必装： + +- MySQL (5.5+)，[如何安装MySQL](https://www.runoob.com/mysql/mysql-install.html) + +- JDK (1.8.0_141以上)，[如何安装JDK](https://www.runoob.com/java/java-environment-setup.html) + +- Python(2.x和3.x都支持)，[如何安装Python](https://www.runoob.com/python/python-install.html) + +- Nginx，[如何安装Nginx](https://www.tecmint.com/install-nginx-on-centos-7/) + +        下面的服务必须可从本机访问： + +- Hadoop(**2.7.2，Hadoop其他版本需自行编译Linkis**) + +- Hive(**1.2.1，Hive其他版本需自行编译Linkis**) + +- Spark(**支持2.0以上所有版本**) + +### b. 创建用户 + +        例如: **部署用户是hadoop账号** + +1. 在所有需要部署的机器上创建部署用户，用于安装 + +```bash + sudo useradd hadoop +``` + +2. 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎，从而执行作业，所以部署用户需要有 sudo 权限，而且是免密的。 + +```bash + vi /etc/sudoers +``` + +```properties + hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL +``` + +3. 确保部署 DSS 和 Linkis 的服务器可正常访问Hadoop、Hive和Spark。 + +        **部署DSS 和 Linkis 的服务器，不要求必须安装Hadoop，但要求hdfs命令必须可用，如：hdfs dfs -ls /**。 + +        **如果想使用Linkis的Spark，部署 Linkis 的服务器，要求spark-sql命令必须可以正常启动一个spark application**。 + +        **在每台安装节点设置如下的全局环境变量**，以便Linkis能正常读取Hadoop、Hive和Spark的配置文件，具备访问Hadoop、Hive和Spark的能力。 + +        修改安装用户hadoop的.bash_rc，命令如下： + +```bash + vim /home/hadoop/.bash_rc +``` + +        下方为环境变量示例： + +```bash + #JDK + export JAVA_HOME=/nemo/jdk1.8.0_141 + #HADOOP + export HADOOP_CONF_DIR=/appcom/config/hadoop-config + #Hive + export HIVE_CONF_DIR=/appcom/config/hive-config + #Spark + export SPARK_HOME=/appcom/Install/spark + export SPARK_CONF_DIR=/appcom/config/spark-config + export PYSPARK_ALLOW_INSECURE_GATEWAY=1 # Pyspark必须加的参数 +``` + +4. **如果您的Pyspark想拥有画图功能，则还需在所有安装节点，安装画图模块**。命令如下： + +```bash + python -m pip install matplotlib +``` + +### c. 安装包准备 + +（1）使用DSS社区预编译好的release安装包 + +请访问[点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90)）进行下载，解压后的安装目录结构如下 + +```text +├── dss_linkis # 一键部署主目录 + ├── backup # 用于兼容Linkis老版本的安装启动脚本 + ├── bin # 用于一键安装启动DSS+Linkis + ├── conf # 一键部署的配置文件 + ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 + ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 + ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 + ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 + ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 + ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 +``` + + +（2）用户自行编译或通过各个组件release下载得到的安装包 + +- [wedatasphere-linkis-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/Linkis/releases) +- [wedatasphere-dss-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- [wedatasphere-dss-web-x.x.x-dist.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- [linkis-jobtype-x.x.x.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) +- azkaban-solo-server-x.x.x.tar.gz +- [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) + +先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： + +```text +├── dss_linkis # 一键部署主目录 + ├── backup # 用于兼容Linkis老版本的安装启动脚本 + ├── bin # 用于一键安装启动DSS+Linkis + ├── conf # 一键部署的配置文件 + ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 + ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 + ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 + ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 + ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 + ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 +``` +**注意事项：** +1. Azkaban: 社区没有提供单独的release安装包，用户需要自行编译后的将安装包放置于安装目录下。 +2. DSS: 用户自行编译DSS安装包，会缺失visualis-server部分，因此，visualis-server也需要用户自行编译。从[visualis项目](https://github.com/WeBankFinTech/Visualis)编译打包后放置于wedatasphere-dss-x.x.x-dist.tar.gz的share/visualis-server目录下,否则安装时可能报找不到visualis安装包。 + +### d. 修改配置 + +将conf目录下的config.sh.stand.template，修改为config.sh + +```shell + cp conf/config.sh.stand.template conf/config.sh +``` + +您可以按需修改相关配置参数： + +``` + vi conf/config.sh +``` + +参数说明如下： +```properties + WORKSPACE_USER_ROOT_PATH=file:///tmp/linkis/ ##本地工作空间路径，默认为本地路径，尽量提前创建并授于写权限 + HDFS_USER_ROOT_PATH=hdfs:///tmp/linkis ##hdfs工作空间路径，默认为本地路径，尽量提前创建并授于写权限 + RESULT_SET_ROOT_PATH=hdfs:///tmp/linkis ##结果集路径，默认为本地路径，尽量提前创建并授于写权限 + WDS_SCHEDULER_PATH=file:///appcom/tmp/wds/scheduler ##DSS工程转换为azkaban工程后的存储路径 + #DSS Web，注意distribution.sh中VISUALIS_NGINX的IP和端口必须和此处保持一致 + DSS_NGINX_IP=127.0.0.1 #DSS Nginx访问IP + DSS_WEB_PORT=8088 #DSS Web页面访问端口 + ##hive metastore的地址 + HIVE_META_URL=jdbc:mysql://127.0.0.1:3306/metastore?useUnicode=true + HIVE_META_USER=xxx + HIVE_META_PASSWORD=xxx + ###hadoop配置文件目录 + HADOOP_CONF_DIR=/appcom/config/hadoop-config + ###hive配置文件目录 + HIVE_CONF_DIR=/appcom/config/hive-config + ###spark配置文件目录 + SPARK_CONF_DIR=/appcom/config/spark-config + +``` + +### e. 使用分布式模式 + +        如果您打算将DSS和Linkis都部署在同一台服务器上， 本步骤可以跳过。 + +        如果您打算将 DSS 和 Linkis 部署在多台服务器上，首先，您需要为这些服务器配置ssh免密登陆。 + +        [如何配置SSH免密登陆](https://www.jianshu.com/p/0922095f69f3) + +        同时，您还需要修改分布式部署模式下的distribution.sh配置文件，使分布式部署生效。 + +```shell script + vi conf/distribution.sh +``` + +```说明：IP地址和端口 + LINKIS和DSS的微服务IP地址和端口，可配置成远程地址，例如您想把LINKIS和DSS安装在不同的机器上，那么只需把linkis各项微服务的IP地址修改成与DSS不同的IP即可。 + +``` + +### f. 修改数据库配置 + +```bash + vi conf/db.sh +``` + +```properties + # 设置数据库的连接信息 + MYSQL_HOST= + MYSQL_PORT= + MYSQL_DB= + MYSQL_USER= + MYSQL_PASSWORD= +``` + +```properties + # 说明：此为必须配置参数，并确保可以从本机进行访问，验证方式： + mysql -h$MYSQL_HOST -P$MYSQL_PORT -u$MYSQL_USER -p$MYSQL_PASSWORD +``` + +标准版配置修改完毕，进入[安装和使用]() + +---- + + +## 四、安装和使用 + +### 1. 执行安装脚本： + +```bash + sh bin/install.sh +``` + +### 2. 安装步骤 + +- 该安装脚本会检查各项集成环境命令，如果没有请按照提示进行安装，以下命令为必须项： +_yum java mysql unzip expect telnet tar sed dos2unix nginx_ + +- 安装过程如果有很多cp 命令提示您是否覆盖安装，说明您的系统配置有别名，输入alias，如果有cp、mv、rm的别名，如果有可以去掉，就不会再有大量提示。 + +- install.sh脚本会询问您安装模式。 +安装模式分为精简版、标准版，请根据您准备的环境情况，选择合适的安装模式。 + +- install.sh脚本会询问您是否需要初始化数据库并导入元数据，linkis和dss 均会询问。 + +     **第一次安装**必须选是。 + +### 3. 是否安装成功： + +     通过查看控制台打印的日志信息查看是否安装成功。 + +     如果有错误信息，可以查看具体报错原因。 + +     您也可以通过查看我们的[安装常见问题](https://github.com/WeBankFinTech/DataSphereStudio/wiki/FAQ)，获取问题的解答。 + +### 4. 启动服务 + +#### (1) 启动服务： + +     在安装目录执行以下命令，启动所有服务： + +```shell script + sh bin/start-all.sh > start.log 2>start_error.log +``` + +     如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行**通信检测**，如果有异常则可以帮助用户定位异常日志和原因。 + +     您可以通过查看我们的[启动常见问题](https://github.com/WeBankFinTech/DataSphereStudio/wiki/FAQ)，获取问题的解答。 + +#### (2) 查看是否启动成功 + +     可以在Eureka界面查看 Linkis & DSS 后台各微服务的启动情况。如下图，如您的Eureka主页**启动日志会打印此访问地址**，出现以下微服务，则表示服务都启动成功，可以正常对外提供服务了： + + ![Eureka](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/images/zh_CN/chapter2/quickInstallUse/quickInstall.png) + +#### (3) 谷歌浏览器访问： + +请使用**谷歌浏览器**访问以下前端地址： + +`http://DSS_NGINX_IP:DSS_WEB_PORT` **启动日志会打印此访问地址**。登陆时管理员的用户名和密码均为部署用户名，如部署用户为hadoop，则管理员的用户名/密码为：hadoop/hadoop。 + +如果您想支持更多用户登录，详见 [Linkis LDAP](https://github.com/WeBankFinTech/Linkis/wiki/%E9%83%A8%E7%BD%B2%E5%92%8C%E7%BC%96%E8%AF%91%E9%97%AE%E9%A2%98%E6%80%BB%E7%BB%93) + +如何快速使用DSS, 点我进入 [DSS快速使用文档](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch3/DSS_User_Manual.md) + +【DSS用户手册】提供了更加详尽的使用方法，点我进入 [DSS用户手册](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch3/DSS_User_Manual.md) +#### (4) 停止服务： +     在安装目录执行以下命令，停止所有服务：sh bin/stop-all.sh + +**注意** +1. 如果用户想启动和停止**单个应用**，可修改启动脚本注释掉其他应用的启动和停止命令即可。 + +2. 如果用户想启动和停止**单个微服务**，则可进入该微服务安装目录下执行sh bin/start-微服务名称.sh或sh bin/stop-微服务名称.sh + +## 五、云资源 +## 云资源 + +**我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： + +#### Baidu cloud: +*   百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g  +*   Password: p82h  + +#### Tencent Cloud: +*   腾讯云链接：https://share.weiyun.com/5vpLr9t +*   Password: upqgib + +**以下为Linkis安装包资源：** +*   腾讯云链接：https://share.weiyun.com/5Gjz0zU +*   密码：9vctqg  +*   百度云链：https://pan.baidu.com/s/1uuogWgLE9r8EcGROkRNeKg  +*   密码：pwbz  + +**以下为DSS安装包资源：** +*   腾讯云链接：https://share.weiyun.com/5n2GD0h +*   密码：p8f4ug +*   百度云链接：https://pan.baidu.com/s/18H8P75Y-cSEsW-doVRyAJQ  +*   密码：pnnj + +**附Qualitis及Azkaban单机版安装包资源：** +*   腾讯云链接：https://share.weiyun.com/5fBPVIV +*   密码：cwnhgw +*   百度云链接：https://pan.baidu.com/s/1DYvm_KTljQpbdk6ZPx6K9g  +*   密码：3lnk From 9d48564dd653ba3ac42ecf63b6549269749e58da Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:38:19 +0800 Subject: [PATCH 04/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 3a0fca2758..39f97b7120 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -5,7 +5,7 @@ 1. DSS & Linkis 一键部署      该模式适合于DSS和Linkis都没有安装的情况。 -     进入[DSS & Linkis安装环境准备]() +     进入[DSS & Linkis安装环境准备](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E4%B8%80dss--linkis%E5%AE%89%E8%A3%85%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87) 2. DSS 一键部署 @@ -28,7 +28,7 @@ - 数据开发IDE - Scriptis，仅支持：执行Python和JDBC脚本 - Linkis管理台 -**进入[DSS & Linkis精简版环境准备]()** +**进入[DSS & Linkis精简版环境准备](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E4%BA%8Cdss--linkis%E7%B2%BE%E7%AE%80%E7%89%88%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87)** 2. **标准版**： @@ -52,7 +52,7 @@ - Linkis管理台 -**进入[DSS & Linkis标准版环境准备]()** +**进入[DSS & Linkis标准版环境准备](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E4%B8%89dss--linkis%E6%A0%87%E5%87%86%E7%89%88%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87)** ---- @@ -124,7 +124,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： +先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： ```text ├── dss_linkis # 一键部署主目录 @@ -190,7 +190,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: mysql -h$MYSQL_HOST -P$MYSQL_PORT -u$MYSQL_USER -p$MYSQL_PASSWORD ``` -精简版配置修改完毕，进入[安装和使用]() +精简版配置修改完毕，进入[安装和使用](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E5%9B%9B%E5%AE%89%E8%A3%85%E5%92%8C%E4%BD%BF%E7%94%A8) ## 三、DSS & Linkis标准版环境准备 @@ -298,7 +298,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： +先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： ```text ├── dss_linkis # 一键部署主目录 @@ -391,7 +391,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: mysql -h$MYSQL_HOST -P$MYSQL_PORT -u$MYSQL_USER -p$MYSQL_PASSWORD ``` -标准版配置修改完毕，进入[安装和使用]() +标准版配置修改完毕，进入[安装和使用](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E5%9B%9B%E5%AE%89%E8%A3%85%E5%92%8C%E4%BD%BF%E7%94%A8) ---- @@ -424,7 +424,7 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_      如果有错误信息，可以查看具体报错原因。 -     您也可以通过查看我们的[安装常见问题](https://github.com/WeBankFinTech/DataSphereStudio/wiki/FAQ)，获取问题的解答。 +     您也可以通过查看我们的[安装常见问题](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch1/DSS%E5%AE%89%E8%A3%85%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E5%88%97%E8%A1%A8.md)，获取问题的解答。 ### 4. 启动服务 @@ -438,7 +438,7 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_      如果启动产生了错误信息，可以查看具体报错原因。启动后，各项微服务都会进行**通信检测**，如果有异常则可以帮助用户定位异常日志和原因。 -     您可以通过查看我们的[启动常见问题](https://github.com/WeBankFinTech/DataSphereStudio/wiki/FAQ)，获取问题的解答。 +     您可以通过查看我们的[启动常见问题](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch1/DSS%E5%AE%89%E8%A3%85%E5%B8%B8%E8%A7%81%E9%97%AE%E9%A2%98%E5%88%97%E8%A1%A8.md)，获取问题的解答。 #### (2) 查看是否启动成功 From 2cfe2d52f1411fe0b39eb70d271f7d903604dfcb Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:45:37 +0800 Subject: [PATCH 05/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 39f97b7120..7fe0b6bd11 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -471,26 +471,32 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ **我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： #### Baidu cloud: + *   百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g  *   Password: p82h  + #### Tencent Cloud: + *   腾讯云链接：https://share.weiyun.com/5vpLr9t *   Password: upqgib **以下为Linkis安装包资源：** + *   腾讯云链接：https://share.weiyun.com/5Gjz0zU *   密码：9vctqg  *   百度云链：https://pan.baidu.com/s/1uuogWgLE9r8EcGROkRNeKg  *   密码：pwbz  **以下为DSS安装包资源：** + *   腾讯云链接：https://share.weiyun.com/5n2GD0h *   密码：p8f4ug *   百度云链接：https://pan.baidu.com/s/18H8P75Y-cSEsW-doVRyAJQ  *   密码：pnnj **附Qualitis及Azkaban单机版安装包资源：** + *   腾讯云链接：https://share.weiyun.com/5fBPVIV *   密码：cwnhgw *   百度云链接：https://pan.baidu.com/s/1DYvm_KTljQpbdk6ZPx6K9g  From b26940c1e15b8315bcfe178105c845d4e9e91ac3 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:46:44 +0800 Subject: [PATCH 06/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 14 ++++++++++++++ 1 file changed, 14 insertions(+) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 7fe0b6bd11..84255fe12c 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -473,31 +473,45 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ #### Baidu cloud: *   百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g  + *   Password: p82h  #### Tencent Cloud: *   腾讯云链接：https://share.weiyun.com/5vpLr9t + *   Password: upqgib **以下为Linkis安装包资源：** *   腾讯云链接：https://share.weiyun.com/5Gjz0zU + *   密码：9vctqg  + *   百度云链：https://pan.baidu.com/s/1uuogWgLE9r8EcGROkRNeKg  + *   密码：pwbz  + **以下为DSS安装包资源：** *   腾讯云链接：https://share.weiyun.com/5n2GD0h + *   密码：p8f4ug + *   百度云链接：https://pan.baidu.com/s/18H8P75Y-cSEsW-doVRyAJQ  + *   密码：pnnj + **附Qualitis及Azkaban单机版安装包资源：** *   腾讯云链接：https://share.weiyun.com/5fBPVIV + *   密码：cwnhgw + *   百度云链接：https://pan.baidu.com/s/1DYvm_KTljQpbdk6ZPx6K9g  + *   密码：3lnk + From 4ee4fd294191764e83485001883b5cd536ac81bd Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:55:01 +0800 Subject: [PATCH 07/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 45 +++++++++++----------- 1 file changed, 22 insertions(+), 23 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 84255fe12c..dcb2f48c8f 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -466,52 +466,51 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ 2. 如果用户想启动和停止**单个微服务**，则可进入该微服务安装目录下执行sh bin/start-微服务名称.sh或sh bin/stop-微服务名称.sh ## 五、云资源 -## 云资源 +## 云资源 -**我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： +**我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： -#### Baidu cloud: +### Baidu cloud: -*   百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g  +- 百度云链接： -*   Password: p82h  +https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g +- Password: p82h -#### Tencent Cloud: +### Tencent Cloud: -*   腾讯云链接：https://share.weiyun.com/5vpLr9t +- 腾讯云链接：https://share.weiyun.com/5vpLr9t -*   Password: upqgib +- Password: upqgib **以下为Linkis安装包资源：** -*   腾讯云链接：https://share.weiyun.com/5Gjz0zU +- 腾讯云链接：https://share.weiyun.com/5Gjz0zU -*   密码：9vctqg  +- 密码：9vctqg -*   百度云链：https://pan.baidu.com/s/1uuogWgLE9r8EcGROkRNeKg  - -*   密码：pwbz  +- 百度云链： +https://pan.baidu.com/s/1uuogWgLE9r8EcGROkRNeKg +- 密码：pwbz **以下为DSS安装包资源：** -*   腾讯云链接：https://share.weiyun.com/5n2GD0h - -*   密码：p8f4ug +- 腾讯云链接：https://share.weiyun.com/5n2GD0h -*   百度云链接：https://pan.baidu.com/s/18H8P75Y-cSEsW-doVRyAJQ  +- 密码：p8f4ug -*   密码：pnnj +- 百度云链接：https://pan.baidu.com/s/18H8P75Y-cSEsW-doVRyAJQ +- 密码：pnnj **附Qualitis及Azkaban单机版安装包资源：** -*   腾讯云链接：https://share.weiyun.com/5fBPVIV - -*   密码：cwnhgw +- 腾讯云链接：https://share.weiyun.com/5fBPVIV -*   百度云链接：https://pan.baidu.com/s/1DYvm_KTljQpbdk6ZPx6K9g  +- 密码：cwnhgw -*   密码：3lnk +- 百度云链接：https://pan.baidu.com/s/1DYvm_KTljQpbdk6ZPx6K9g +- 密码：3lnk From 3de7405bf0dd46bf636a9a1d6daf8e827b5357c7 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:56:05 +0800 Subject: [PATCH 08/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 +--- 1 file changed, 1 insertion(+), 3 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index dcb2f48c8f..e58fc4a5ca 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -472,9 +472,7 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ ### Baidu cloud: -- 百度云链接： - -https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g +- 百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g - Password: p82h From 5b494f146069c606f4818863f04328eddbd4d001 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 16:59:58 +0800 Subject: [PATCH 09/30] Update README-ZH.md --- README-ZH.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/README-ZH.md b/README-ZH.md index 216b6af862..bcfcfb709b 100644 --- a/README-ZH.md +++ b/README-ZH.md @@ -157,7 +157,7 @@ DSS主要特点： ## 快速安装使用 -点我进入[快速安装使用](docs/zh_CN/ch2/DSS快速安装使用文档.md) +点我进入[快速安装使用](docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md) ## 架构 @@ -167,7 +167,7 @@ DSS主要特点： #### 1. 安装编译文档 -[快速安装使用文档](docs/zh_CN/ch2/DSS快速安装使用文档.md) +[快速安装使用文档](docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md) [**DSS安装常见问题列表**](docs/zh_CN/ch1/DSS安装常见问题列表.md) @@ -203,4 +203,4 @@ DSS主要特点： ## License -DSS is under the Apache 2.0 license. See the [License](LICENSE) file for details. \ No newline at end of file +DSS is under the Apache 2.0 license. See the [License](LICENSE) file for details. From 7f4085a3af9f3f8b9cf2dee04600cf73fe6ebc15 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 17:26:13 +0800 Subject: [PATCH 10/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 1 + 1 file changed, 1 insertion(+) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index e58fc4a5ca..68d6d32917 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -5,6 +5,7 @@ 1. DSS & Linkis 一键部署      该模式适合于DSS和Linkis都没有安装的情况。 +      进入[DSS & Linkis安装环境准备](https://github.com/WeBankFinTech/DataSphereStudio/blob/master/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md#%E4%B8%80dss--linkis%E5%AE%89%E8%A3%85%E7%8E%AF%E5%A2%83%E5%87%86%E5%A4%87) 2. DSS 一键部署 From db62e451b9e6f4823aecfea9efc530e51d81d982 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 17:40:11 +0800 Subject: [PATCH 11/30] =?UTF-8?q?Update=20DSS=E5=BF=AB=E9=80=9F=E5=AE=89?= =?UTF-8?q?=E8=A3=85=E4=BD=BF=E7=94=A8=E6=96=87=E6=A1=A3.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...4\275\277\347\224\250\346\226\207\346\241\243.md" | 12 +++++------- 1 file changed, 5 insertions(+), 7 deletions(-) diff --git "a/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" "b/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" index 23c3008bc2..70f03db110 100644 --- "a/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" +++ "b/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" @@ -78,7 +78,7 @@ Nginx，[如何安装Nginx](https://www.tecmint.com/install-nginx-on-centos-7/) deployUser=hadoop #指定部署用户 - DSS_INSTALL_HOME=/appcom/Install/DSS #指定DSS的安装目录 + DSS_INSTALL_HOME=$workDir #默认为上一级目录 WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录，存储用户的脚本文件和日志文件等，是用户的工作空间。 @@ -189,7 +189,7 @@ Nginx，[如何安装Nginx](https://www.tecmint.com/install-nginx-on-centos-7/) deployUser=hadoop #指定部署用户 - DSS_INSTALL_HOME=/appcom/Install/DSS #指定DSS的安装目录 + DSS_INSTALL_HOME=$workDir #默认为上一级目录 WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录，存储用户的脚本文件和日志文件等，是用户的工作空间。 @@ -302,7 +302,7 @@ Azkaban [如何安装Azkaban](https://github.com/azkaban/azkaban) deployUser=hadoop #指定部署用户 - DSS_INSTALL_HOME=/appcom/Install/DSS #指定DSS的安装目录 + DSS_INSTALL_HOME=$workDir #默认为上一级目录 WORKSPACE_USER_ROOT_PATH=file:///tmp/Linkis #指定用户根目录，存储用户的脚本文件和日志文件等，是用户的工作空间。 @@ -386,14 +386,12 @@ dss_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/      安装模式就是简单模式或标准模式，请根据您准备的环境情况，选择合适的安装模式，精简版、简单模式和标准模式都会检查mysql服务，标准模式还会检测Qualitis服务和Azkaban外部server服务，如果检测失败会直接退出安装。 +- 安装过程如果有很多cp 命令提示您是否覆盖安装，说明您的系统配置有别名，输入alias，如果有cp、mv、rm的别名，如果有可以去掉，就不会再有大量提示。 + - install.sh脚本会询问您是否需要初始化数据库并导入元数据。      因为担心用户重复执行install.sh脚本，把数据库中的用户数据清空，所以在install.sh执行时，会询问用户是否需要初始化数据库并导入元数据。      **第一次安装**必须选是。 -- install.sh脚本会询问您是否需要初始化使用[davinci](https://github.com/edp963/davinci)所依赖的库表,如果您没有安装过davinci，则需要进行初始化建表，如果您已经安装了davinci，则无需再次初始化。 -     因为担心用户会mysql中已安装好的davinci数据清空，所以在install.sh执行时，会询问用户是否需要初始化。 -     **第一次安装**必须选是。 - ### c. 是否安装成功： From 3e8d41ac745a68ff01a3cc8cfa045c70232b5d8c Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 12 Feb 2020 21:27:27 +0800 Subject: [PATCH 12/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 6 ++++++ 1 file changed, 6 insertions(+) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 68d6d32917..a8397ecf03 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -350,6 +350,12 @@ DSS_LINKIS一键部署，安装包准备有两种方式: HIVE_CONF_DIR=/appcom/config/hive-config ###spark配置文件目录 SPARK_CONF_DIR=/appcom/config/spark-config + ###azkaban服务端IP地址及端口，单机版安装时请勿修改 + AZKABAN_ADRESS_IP=127.0.0.1 + AZKABAN_ADRESS_PORT=8081 + ####Qualitis服务端IP地址及端口，单机版安装时请勿修改 + QUALITIS_ADRESS_IP=127.0.0.1 + QUALITIS_ADRESS_PORT=8090 ``` From dc4e39fe74a18169599de19078ea0ccee8605747 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 14:52:30 +0800 Subject: [PATCH 13/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 52 ++++------------------ 1 file changed, 8 insertions(+), 44 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index a8397ecf03..4e16ee932c 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -93,30 +93,11 @@ ``` ### c. 安装包准备 -DSS_LINKIS一键部署，安装包准备有两种方式: -1. 下载DataSphereStudio官方预编译且打包在一起的安装包，进行安装. -2. 用户自行编译或者去各个组件的release页面下载后替换一键部署目录中预编译的安装包。 -（1）使用DSS社区预编译好的release安装包 - -请访问[点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90)）进行下载，解压后的安装目录结构如下 - -```text -├── dss_linkis # 一键部署主目录 - ├── backup # 用于兼容Linkis老版本的安装启动脚本 - ├── bin # 用于一键安装启动DSS+Linkis - ├── conf # 一键部署的配置文件 - ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 - ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 - ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 - ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 - ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 - ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 -``` - - -（2）用户自行编译或者去各个组件release页面下载得到的安装包 +如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +下列步骤为用户自行编译或者去各个组件release页面下载安装包： +1. 下载安装包 - [wedatasphere-linkis-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/Linkis/releases) - [wedatasphere-dss-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/DataSphereStudio/releases) - [wedatasphere-dss-web-x.x.x-dist.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) @@ -124,8 +105,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) - -先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： +2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再上述下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 @@ -272,26 +252,10 @@ DSS_LINKIS一键部署，安装包准备有两种方式: ### c. 安装包准备 -（1）使用DSS社区预编译好的release安装包 - -请访问[点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90)）进行下载，解压后的安装目录结构如下 - -```text -├── dss_linkis # 一键部署主目录 - ├── backup # 用于兼容Linkis老版本的安装启动脚本 - ├── bin # 用于一键安装启动DSS+Linkis - ├── conf # 一键部署的配置文件 - ├── azkaban-solo-server-x.x.x.tar.gz #azkaban安装包 - ├── linkis-jobtype-x.x.x.zip #linkis jobtype安装包 - ├── wedatasphere-dss-x.x.x-dist.tar.gz # DSS后台安装包 - ├── wedatasphere-dss-web-x.x.x-dist.zip # DSS前端安装包 - ├── wedatasphere-linkis-x.x.x-dist.tar.gz # Linkis安装包 - ├── wedatasphere-qualitis-x.x.x.zip # Qualitis安装包 -``` - - -（2）用户自行编译或通过各个组件release下载得到的安装包 +如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +下列步骤为用户自行编译或者去各个组件release页面下载安装包： +1. 下载安装包 - [wedatasphere-linkis-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/Linkis/releases) - [wedatasphere-dss-x.x.x-dist.tar.gz](https://github.com/WeBankFinTech/DataSphereStudio/releases) - [wedatasphere-dss-web-x.x.x-dist.zip](https://github.com/WeBankFinTech/DataSphereStudio/releases) @@ -299,7 +263,7 @@ DSS_LINKIS一键部署，安装包准备有两种方式: - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -先下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将自行编译或单独下载的安装包放置于该解压目录下，目录层级结构与上述保持一致： +2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再上述下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 From 95ec13e64ceefb6b3e73b5b3fbb7f2ed6293d92b Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 14:54:42 +0800 Subject: [PATCH 14/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 4e16ee932c..d75e5e13d5 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -105,7 +105,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再上述下载的安装包放置于该目录下，目录层级如下： +2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 @@ -263,7 +263,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再上述下载的安装包放置于该目录下，目录层级如下： +2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 From f806cf1b3ef99b87a003b6c13ab1bceaff693508 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 15:05:20 +0800 Subject: [PATCH 15/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index d75e5e13d5..21f72398bc 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -94,7 +94,7 @@ ### c. 安装包准备 -如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 下列步骤为用户自行编译或者去各个组件release页面下载安装包： 1. 下载安装包 @@ -252,7 +252,7 @@ ### c. 安装包准备 -如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 下列步骤为用户自行编译或者去各个组件release页面下载安装包： 1. 下载安装包 From a284303c7145fb32f2093c51bb41379c60bf27d5 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 15:05:57 +0800 Subject: [PATCH 16/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 21f72398bc..377c42b56a 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -94,7 +94,7 @@ ### c. 安装包准备 -**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。** 下列步骤为用户自行编译或者去各个组件release页面下载安装包： 1. 下载安装包 @@ -252,7 +252,7 @@ ### c. 安装包准备 -**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。 +**如果您想使用DSS & Linkis全家桶一键部署安装包(1.3GB)([点我进入下载页面](https://github.com/WeBankFinTech/DataSphereStudio/issues/90))，直接解压即可，以下步骤可忽略。** 下列步骤为用户自行编译或者去各个组件release页面下载安装包： 1. 下载安装包 From edd79823583bd771ebf6598f9c95ec65dbd58d61 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 22:59:43 +0800 Subject: [PATCH 17/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 377c42b56a..af83485864 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -105,7 +105,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： +2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 @@ -263,7 +263,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载[一键部署脚本](https://github.com/WeBankFinTech/DataSphereStudio/releases/download/0.7.0/dss-linkis-one-click-0.7.0-scripts.zip)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： +2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 From 77a71052bc56791c90b9ca75fbef6f559906547b Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 23:14:00 +0800 Subject: [PATCH 18/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 5 +++++ 1 file changed, 5 insertions(+) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index af83485864..b7cc4d7894 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -374,6 +374,7 @@ ```bash sh bin/install.sh ``` +注意：安装脚本里面有两处是相对路径，请严格按照以上命令执行。 ### 2. 安装步骤 @@ -453,6 +454,10 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ - Password: upqgib +**DSS&Linkis 一键部署脚本** + +- URL：https://share.weiyun.com/5Qvl07X + **以下为Linkis安装包资源：** - 腾讯云链接：https://share.weiyun.com/5Gjz0zU From 40b7479d998efab1109439675db41f05bca98691 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 23:14:34 +0800 Subject: [PATCH 19/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index b7cc4d7894..fd9f85977f 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -374,7 +374,7 @@ ```bash sh bin/install.sh ``` -注意：安装脚本里面有两处是相对路径，请严格按照以上命令执行。 +注意：安装脚本有两处是相对路径，请严格按照以上命令执行。 ### 2. 安装步骤 From dffc5246a3131593cc08b78ae63eeace4628c2fe Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 23:16:35 +0800 Subject: [PATCH 20/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index fd9f85977f..03b5e9bf36 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -442,13 +442,13 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ **我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： -### Baidu cloud: +** Baidu cloud:** - 百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g - Password: p82h -### Tencent Cloud: +** Tencent Cloud:** - 腾讯云链接：https://share.weiyun.com/5vpLr9t From e5a3978686e24d8149a40d225314dc866fa0a0f8 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 23:17:13 +0800 Subject: [PATCH 21/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 03b5e9bf36..911bff347c 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -442,13 +442,13 @@ _yum java mysql unzip expect telnet tar sed dos2unix nginx_ **我们提供了DSS + Linkis + Qualitis + Visualis + Azkaban【全家桶一键部署安装包】，由于安装包过大（1.3GB），Github下载缓慢，请通过以下方式获取**： -** Baidu cloud:** +**Baidu cloud:** - 百度云链接：https://pan.baidu.com/s/1hmxuJtyY72D5X_dZoQIE5g - Password: p82h -** Tencent Cloud:** +**Tencent Cloud:** - 腾讯云链接：https://share.weiyun.com/5vpLr9t From 3aaa34510e2c64045ed4dd242f7c0fb6b940a6bd Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Thu, 13 Feb 2020 23:33:19 +0800 Subject: [PATCH 22/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 911bff347c..45459a1eb7 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -374,7 +374,7 @@ ```bash sh bin/install.sh ``` -注意：安装脚本有两处是相对路径，请严格按照以上命令执行。 +注意：安装脚本有两处是相对路径，为了正确安装，请按照以上命令执行。 ### 2. 安装步骤 From 78f826eb6082cf91029c2d9b24920383b33539af Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Fri, 14 Feb 2020 16:01:43 +0800 Subject: [PATCH 23/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 45459a1eb7..230116755b 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -41,11 +41,11 @@ - 数据开发IDE - Scriptis -- 工作流实时执行(**单机版**) +- 工作流实时执行 - 信号功能和邮件功能 -- 数据可视化 - Visualis(**单机版**) +- 数据可视化 - Visualis - 数据质量 - Qualitis(**单机版**) From c938df1b346a9b4cb978ac307177e3d9b54a1af8 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Wed, 19 Feb 2020 11:23:50 +0800 Subject: [PATCH 24/30] =?UTF-8?q?Update=20DSS=E5=BF=AB=E9=80=9F=E5=AE=89?= =?UTF-8?q?=E8=A3=85=E4=BD=BF=E7=94=A8=E6=96=87=E6=A1=A3.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...43\205\344\275\277\347\224\250\346\226\207\346\241\243.md" | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git "a/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" "b/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" index 70f03db110..e775e8380e 100644 --- "a/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" +++ "b/docs/zh_CN/ch2/DSS\345\277\253\351\200\237\345\256\211\350\243\205\344\275\277\347\224\250\346\226\207\346\241\243.md" @@ -32,7 +32,7 @@ ## 二、精简版DSS环境配置准备 DSS环境配置准备分为三部分，前后端基础软件安装、后端环境配置准备和前端环配置境准备，详细介绍如下： ### 2.1 前后端基础软件安装 -Linkis简单版(0.9.3及以上)，[如何安装Linkis](https://github.com/WeBankFinTech/Linkis/wiki/%E5%A6%82%E4%BD%95%E5%BF%AB%E9%80%9F%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8Linkis) +Linkis精简版(0.9.3及以上)，[如何安装Linkis](https://github.com/WeBankFinTech/Linkis/wiki/%E5%A6%82%E4%BD%95%E5%BF%AB%E9%80%9F%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8Linkis) JDK (1.8.0_141以上)，[如何安装JDK](https://www.runoob.com/java/java-environment-setup.html) @@ -251,7 +251,7 @@ dss_ipaddr=$(ip addr | awk '/^[0-9]+: / {}; /inet.*global/ {print gensub(/(.*)\/ ## 四、标准版DSS环境配置准备 标准版DSS环境准备也分为三部分，前后端基础软件安装、后端环境准备和前端环境准备，详细介绍如下： ### 4.1 前后端基础软件安装 -Linkis简单版(0.9.3及以上)，[如何安装Linkis](https://github.com/WeBankFinTech/Linkis/wiki/%E5%A6%82%E4%BD%95%E5%BF%AB%E9%80%9F%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8Linkis) +Linkis标准版(0.9.3及以上)，[如何安装Linkis](https://github.com/WeBankFinTech/Linkis/wiki/%E5%A6%82%E4%BD%95%E5%BF%AB%E9%80%9F%E5%AE%89%E8%A3%85%E4%BD%BF%E7%94%A8Linkis) JDK (1.8.0_141以上)，[如何安装JDK](https://www.runoob.com/java/java-environment-setup.html) From d824820a7a443f78e10368623eadda3b6d2e4df7 Mon Sep 17 00:00:00 2001 From: "lindaluo83@126.com" Date: Wed, 11 Mar 2020 11:17:12 +0800 Subject: [PATCH 25/30] fix editor version bug --- web/package.json | 2 +- web/src/js/component/editor/editor.vue | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/web/package.json b/web/package.json index 09814a5fba..95693d3273 100644 --- a/web/package.json +++ b/web/package.json @@ -35,7 +35,7 @@ "md5": "^2.2.1", "mitt": "^1.1.3", "moment": "^2.22.2", - "monaco-editor": "^0.15.1", + "monaco-editor": "^0.20.0", "pinyin": "^2.9.0", "qs": "^6.9.1", "reconnecting-websocket": "^4.1.10", diff --git a/web/src/js/component/editor/editor.vue b/web/src/js/component/editor/editor.vue index 1418ae01aa..dad5484c92 100644 --- a/web/src/js/component/editor/editor.vue +++ b/web/src/js/component/editor/editor.vue @@ -91,7 +91,7 @@ export default { if (newValue == this.getValue()) { return; } - let readOnly = this.editor.getConfiguration().readOnly; + let readOnly = this.editor.getRawOptions().readOnly; if (readOnly) { // editor.setValue 和 model.setValue 都会丢失撤销栈 this.editor.setValue(newValue); From 002c7c7a33220e42f78f9ee6429e199fb84f32c9 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Fri, 20 Mar 2020 10:52:53 +0800 Subject: [PATCH 26/30] =?UTF-8?q?Update=20DSS=E5=AE=89=E8=A3=85=E5=B8=B8?= =?UTF-8?q?=E8=A7=81=E9=97=AE=E9=A2=98=E5=88=97=E8=A1=A8.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- ...\256\351\242\230\345\210\227\350\241\250.md" | 17 ++++++++++------- 1 file changed, 10 insertions(+), 7 deletions(-) diff --git "a/docs/zh_CN/ch1/DSS\345\256\211\350\243\205\345\270\270\350\247\201\351\227\256\351\242\230\345\210\227\350\241\250.md" "b/docs/zh_CN/ch1/DSS\345\256\211\350\243\205\345\270\270\350\247\201\351\227\256\351\242\230\345\210\227\350\241\250.md" index 0b9e779828..795de84515 100644 --- "a/docs/zh_CN/ch1/DSS\345\256\211\350\243\205\345\270\270\350\247\201\351\227\256\351\242\230\345\210\227\350\241\250.md" +++ "b/docs/zh_CN/ch1/DSS\345\256\211\350\243\205\345\270\270\350\247\201\351\227\256\351\242\230\345\210\227\350\241\250.md" @@ -3,17 +3,20 @@ **本文档汇总DSS安装过程中所有问题列表及解决方式，为社区用户安装DSS提供参考。** -#### (1) 创建工程提示用户token为空 +#### (1) 创建工程失败:add scheduler project用户token为空 ``` -sudo vi dss-server/conf/token.properties -``` - -添加用户 +{"method":null,"status":1,"message":"error code(错误码): 90002, error message(错误信息): add scheduler project failederrCode: 90019 ,desc: errCode: 90020 ,desc: 用户token为空 ,ip: dss.com ,port: 9004 ,serviceKind: dss-server ,ip: dss.com ,port: 9004 ,serviceKind: dss-server.","data":{"errorMsg":{"serviceKind":"dss-server","level":2,"port":9004,"errCode":90002,"ip":"dss.com","desc":"add scheduler project failederrCode: 90019 ,desc: errCode: 90020 ,desc: 用户token为空 ,ip: dss.com ,port: 9004 ,serviceKind: dss-server ,ip: dss.com ,port: 9004 ,serviceKind: dss-server"}}} ``` -xxx=xxx -``` + +确保dss-server的token.properties中添加了此用户，并保持与 azkaban 的 azkaban-users.xml用户一致 +以hadoop用户为例: +1、在dss-server的token.properties添加 +hadoop=hadoop +2、在azkaban azkaban-users.xml 文件 添加 + Date: Thu, 2 Apr 2020 18:46:59 +0800 Subject: [PATCH 27/30] Update DSS_LINKIS_Quick_Install.md --- docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md index 230116755b..60e5735fb4 100644 --- a/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md +++ b/docs/zh_CN/ch2/DSS_LINKIS_Quick_Install.md @@ -105,7 +105,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： +2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/58yxh3n)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 @@ -263,7 +263,7 @@ - azkaban-solo-server-x.x.x.tar.gz - [wedatasphere-qualitis-x.x.x.zip](https://github.com/WeBankFinTech/Qualitis/releases) -2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/5Qvl07X)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： +2. 下载DSS&LINKIS[一键部署脚本](https://share.weiyun.com/58yxh3n)，并解压，再将上述所下载的安装包放置于该目录下，目录层级如下： ```text ├── dss_linkis # 一键部署主目录 From 919d5a986601261628f0feac4abefd473051d8a2 Mon Sep 17 00:00:00 2001 From: chaogefeng <673120261@163.com> Date: Sun, 12 Apr 2020 20:30:47 +0800 Subject: [PATCH 28/30] DSS_User_Manual update --- docs/zh_CN/ch3/DSS_User_Manual.md | 26 ++++++++++++++++++-------- 1 file changed, 18 insertions(+), 8 deletions(-) diff --git a/docs/zh_CN/ch3/DSS_User_Manual.md b/docs/zh_CN/ch3/DSS_User_Manual.md index f366e5de31..5d91c0d02e 100644 --- a/docs/zh_CN/ch3/DSS_User_Manual.md +++ b/docs/zh_CN/ch3/DSS_User_Manual.md @@ -44,7 +44,17 @@ __注意：__ 如果要支持多用户登录，DSS的用户登录依赖Linkis， 3. 工程复制：以工程的最新版本为源工程，复制出新工程，初始版本工作流内容为源工程最新版本的工作流。注意：**工程名是唯一，不可重复** ## 3工作流——workflow -### 3.1 工作流编排 +### 3.1 工作流spark节点 +       spark节点分别支持sql、pyspark、scala三种方式执行spark任务，使用时只需将节点拖拽至工作台后编写代码即可。 +### 3.2 工作流hive节点 +       hive节点支持sql方式执行hive任务，使用时只需将节点拖拽至工作台后编写hivesql代码即可。 +### 3.3 工作流python节点 +       python节点支持执行python任务，使用时只需将节点拖拽至工作台后编写python代码即可。 +### 3.4 工作流shell节点 +       shell节点支持执行shell命令或者脚本运行，使用时只需将节点拖拽至工作台后编写shell命令即可。 +### 3.5 工作流jdbc节点 +       jdbc节点支持以jdbc方式运行sql命令，使用时只需将节点拖拽至工作台后编写sql即可，**注意需要提前在linkis console管理台配置jdbc连接信息。** +### 3.6 工作流编排        当点击一个对应的工程后，既可以进入工程首页，在工程首页可以做工作流的编排。 1. 首先需要创建工作流 ![workflow01](/images/zh_CN/chapter3/manual/workflow01.png) @@ -53,7 +63,7 @@ __注意：__ 如果要支持多用户登录，DSS的用户登录依赖Linkis， 3. 节点支持右键功能包括，删除、依赖选择、复制等基本功能，同时数据开发节点还支持脚本关联 ![workflow03](/images/zh_CN/chapter3/manual/workflow03.png) -### 3.2 工作流节点打开 +### 3.7 工作流节点打开 节点支持双击打开： 1. 数据开发节点：点开后即可进入Scriptis进行脚本编辑 ![workflow04](/images/zh_CN/chapter3/manual/workflow04.png) @@ -64,14 +74,14 @@ __注意：__ 如果要支持多用户登录，DSS的用户登录依赖Linkis， 4. 数据可视化节点：跳转到对应的可视化编辑页面 ![workflow07](/images/zh_CN/chapter3/manual/workflow07.png) -### 3.3 层级切换 +### 3.8 层级切换 1. 支持多层级切换：支持快速工程切换、支持在工作流页面切换工作流、支持在单个工作流中切换节点 ![workflow08](/images/zh_CN/chapter3/manual/workflow08.png) 2. 右上脚支持多组件快速切换，在切换后进入的组件的内容都只与该工程相关，让用户更加清晰的去定义工程和业务的内容： ![functions](/images/zh_CN/chapter3/manual/functions.png) -### 3.4 参数和资源设置 +### 3.9 参数和资源设置 1. 工作流上下文信息设置，支持工作流参数、变量、代理用户等 @@ -86,26 +96,26 @@ open("flow://test.txt", encoding="utf-8") #工作流级资源文件使用flow:/ open("node://test.txt", encoding="utf-8") #节点级资源文件使用node://开头 ``` -### 3.5 工作流实时执行 +### 3.10 工作流实时执行 1. 除了功能节点中的subflow会跳过执行，连接节点会作为空节点运行，其他都支持实时执行 ![workflow11](/images/zh_CN/chapter3/manual/workflow11.png) 2. 用户编辑好工作流后点击执行就可以将工作流进行运行，您将看到实时的工作流运行起来可以看到现在运行节点的时间，同时可以右键节点打开节点的管理台去展示该节点的进度，运行结果，运行日志等。支持任务停止等功能 ![workflow12](/images/zh_CN/chapter3/manual/workflow12.png) -### 3.6 工作流调度执行 +### 3.11 工作流调度执行 1. DSS的工程支持发布调度，默认支持发布到Azkaban，同样DSS的调度部分做了深层次的抽象可以做到对其他的调度系统快速支持。发布前会对工作流进行解析，以确保工作流是可以调度运行的： ![workflow13](/images/zh_CN/chapter3/manual/workflow13.png) 2. 发布后即可到调度系统中进行查看，比如去Azkaban页面上进行查看： ![workflow14](/images/zh_CN/chapter3/manual/workflow14.png) 3. DSS如何对接调度系统可以参考：[]() -### 3.7 工作流版本 +### 3.12 工作流版本 1. 工作流创建完成后，具有初始版本，版本号为v000001，直接点击工作流图标时，默认打开工作流的最新版本 2. 可以查看工作流的版本，方便您进行历史版本查看： ![workflow15](/images/zh_CN/chapter3/manual/workflow15.png) -### 3.8 工作流布局修改 +### 3.13 工作流布局修改 1. 工作流格式化：当工作流节点过多，界面太乱时。可以点击节点编辑页的右上方第四个“格式化”按钮。快速美化节点界面： ![workflow16](/images/zh_CN/chapter3/manual/workflow16.png) 如果格式化后不满意，可再次点击节点编辑页的右上方第五个“恢复”按钮，恢复到之前的状态： From a611e120f0621d5859be7cf3843e7a353dc9acfe Mon Sep 17 00:00:00 2001 From: yangzhiyue <904666286@qq.com> Date: Wed, 13 May 2020 21:29:11 +0800 Subject: [PATCH 29/30] modify appjoint implement doc --- ...345\205\245DSS\346\214\207\345\215\227.md" | 142 ++++++++++++++++-- 1 file changed, 131 insertions(+), 11 deletions(-) diff --git "a/docs/zh_CN/ch4/\347\254\254\344\270\211\346\226\271\347\263\273\347\273\237\346\216\245\345\205\245DSS\346\214\207\345\215\227.md" "b/docs/zh_CN/ch4/\347\254\254\344\270\211\346\226\271\347\263\273\347\273\237\346\216\245\345\205\245DSS\346\214\207\345\215\227.md" index 73173626eb..690682aabe 100644 --- "a/docs/zh_CN/ch4/\347\254\254\344\270\211\346\226\271\347\263\273\347\273\237\346\216\245\345\205\245DSS\346\214\207\345\215\227.md" +++ "b/docs/zh_CN/ch4/\347\254\254\344\270\211\346\226\271\347\263\273\347\273\237\346\216\245\345\205\245DSS\346\214\207\345\215\227.md" @@ -31,28 +31,142 @@         NodeService是用来解决用户在DSS提交的任务在第三方系统生成相应的任务的问题。用户如果在DSS系统的工作流中新建了一个工作流节点并进行任务的编辑，第三方系统需要同步感知到 - 4.getNodeExecution -        NodeExecution接口是用来将任务提交到第三方系统进行执行的接口,NodeExecution接口有支持短时间任务的NodeExecution和支持长时间任务的LongTermNodeExecution。一般短时间任务，如邮件发送等，可以直接实现NodeExecution接口，并重写execute方法，DSS系统同步等待任务结束。另外的长时间任务，如数据质量检测等，可以实现LongTermNodeExecution接口，并重写submit方法，返回一个NodeExecutionAction，DSS系统通过这个NodeExecutionAction可以向第三方系统获取任务的日志、状态等。 +        NodeExecution接口是用来将任务提交到第三方系统进行执行的接口,NodeExecution +接口有支持短时间任务的NodeExecution和支持长时间任务的LongTermNodeExecution。一般短时间任务，如邮件发送等，可以直接实现NodeExecution接口，并重写execute方法，DSS系统同步等待任务结束。另外的长时间任务，如数据质量检测等，可以实现LongTermNodeExecution接口，并重写submit方法，返回一个NodeExecutionAction，DSS系统通过这个NodeExecutionAction可以向第三方系统获取任务的日志、状态等。 #### 3.第三方系统接入DSS的实现(以Visualis为例) -        Visualis是微众银行WeDataSphere开源的一款商业BI工具，DSS集成Visualis系统之后可以获得数据可视化的能力。Visualis接入DSS系统的代码在DSS项目中已经同步开源，下面将以开源代码为例，对步骤进行罗列分析。 +        Visualis是微众银行WeDataSphere开源的一款商业BI工具，DSS集成Visualis系统之后可以获得数据可视化的能力。 +Visualis接入DSS系统的代码在DSS项目中已经同步开源，下面将以开源代码为例，对步骤进行罗列分析。 Visualis接入的DSS系统的步骤如下: **3.1.Visualis实现AppJoint接口** -        Visualis实现的 AppJoint接口的实现类是VisualisAppjoint。查看VisualisAppjoint的代码可知，它在init方法时候，初始化了自己实现的SecurityService、 NodeService以及NodeExecution。 +        Visualis实现的 AppJoint接口的实现类是VisualisAppjoint。查看VisualisAppjoint的代码可知，它在init方法时候， +初始化了自己实现的SecurityService、 NodeService以及NodeExecution。 +```java + public void init(String baseUrl, Map params) { + securityService = new VisualisSecurityService(); + securityService.setBaseUrl(baseUrl); + nodeExecution = new VisualisNodeExecution(); + nodeExecution.setBaseUrl(baseUrl); + nodeService = new VisualisNodeService(); + nodeService.setBaseUrl(baseUrl); + } +``` **3.2.Visualis实现SecurtyService接口** -        Visualis实现的SecurityService接口的类名是VisualisSecurityService，并重写了login方法，为了能够进行授权登陆，Visualis采用了提供token的方式，DSS的网关对该token进行授权，这样就能够做到用户鉴权。 +        Visualis实现的SecurityService接口的类名是VisualisSecurityService， +并重写了login方法，为了能够进行授权登陆，Visualis采用了提供token的方式，DSS的网关对该token进行授权，这样就能够做到用户鉴权。 + +```java +public class VisualisSecurityService extends AppJointUrlImpl implements SecurityService { + @Override + public Session login(String user) throws AppJointErrorException { + VisualisSession visualisSession = new VisualisSession(); + visualisSession.setUser(user); + visualisSession.getParameters().put("Token-User",user); + visualisSession.getParameters().put("Token-Code","WS-AUTH"); + return visualisSession; + } + + @Override + public void logout(String user) { + + } +} +``` **3.3.Visualis实现的NodeService接口** -        Visualis实现的NodeService接口的类是VisualisNodeService，并重写了createNode，deleteNode和updateNode三个方法，这三个方法是进行在第三方系统同步生成任务元数据。例如createNode方法是通过调用visualis的HTTP接口在Visualis系统生成同一工程下面的Visualis任务。 +        Visualis实现的NodeService接口的类是VisualisNodeService，并重写了createNode， +deleteNode和updateNode三个方法，这三个方法是进行在第三方系统同步生成任务元数据。例如createNode方法是通过调用visualis的HTTP接口在Visualis系统生成同一工程下面的Visualis任务。 + +```java + @Override + public Map createNode(Session session, AppJointNode node, + Map requestBody) throws AppJointErrorException { + if (DisplayNodeService.getNodeType().equals(node.getNodeType())) { + return DisplayNodeService.createNode(session, getBaseUrl(), String.valueOf(node.getProjectId()), node.getNodeType(), requestBody); + } else if (DashboardNodeService.getNodeType().equals(node.getNodeType())) { + return DashboardNodeService.createNode(session, getBaseUrl(), String.valueOf(node.getProjectId()), node.getNodeType(), requestBody); + } else { + throw new AppJointErrorException(42002, "cannot recognize the nodeType " + node.getNodeType()); + } + } + + @Override + public void deleteNode(Session session, AppJointNode node) throws AppJointErrorException { + if (DisplayNodeService.getNodeType().equals(node.getNodeType())) { + DisplayNodeService.deleteNode(session, getBaseUrl(), String.valueOf(node.getProjectId()), node.getNodeType(), node.getJobContent()); + } else if (DashboardNodeService.getNodeType().equals(node.getNodeType())) { + DashboardNodeService.deleteNode(session, getBaseUrl(), String.valueOf(node.getProjectId()), node.getNodeType(), node.getJobContent()); + } else { + throw new AppJointErrorException(42002, "cannot recognize the nodeType " + node.getNodeType()); + } + } + + @Override + public Map updateNode(Session session, AppJointNode node, + Map requestBody) throws AppJointErrorException { + if (DisplayNodeService.getNodeType().equals(node.getNodeType())) { + return DisplayNodeService.updateNode(session, getBaseUrl(), node.getProjectId(), node.getNodeType(), requestBody); + } else if (DashboardNodeService.getNodeType().equals(node.getNodeType())) { + return DashboardNodeService.updateNode(session, getBaseUrl(), node.getProjectId(), node.getNodeType(), requestBody); + } else { + throw new AppJointErrorException(42002, "cannot recognize the nodeType " + node.getNodeType()); + } + } +``` **3.4.Visualis实现NodeExecution接口** -        Visualis实现的NodeExecution接口的类是VisualisNodeExecution，并重写了execute方法，该方法传入的两个参数为Node和NodeContext，从NodeContext中我们可以拿到用户、DSS的网关地址，还有网关验证的Token。通过这些，我们可以封装成一个HTTP的请求发送到第三方系统Visualis并从Visualis获取响应结果，NodeContext提供写入结果集的方法，如Visualis的结果集一般是以图片的形式展示，在execute方法的最后，Visualis通过nodeContext获取到一个支持图片写入的PictureResultSetWriter方法，并将结果集进行写入。 +        Visualis实现的NodeExecution接口的类是VisualisNodeExecution，并重写了execute方法， +该方法传入的两个参数为Node和NodeContext，从NodeContext中我们可以拿到用户、DSS的网关地址，还有网关验证的Token。 +通过这些，我们可以封装成一个HTTP的请求发送到第三方系统Visualis并从Visualis获取响应结果，NodeContext提供写入结果集的方法， +如Visualis的结果集一般是以图片的形式展示，在execute方法的最后，Visualis通过nodeContext获取到一个支持图片写入的PictureResultSetWriter方法，并将结果集进行写入。 +```scala + override def execute(node: AppJointNode, nodeContext: NodeContext, session: Session): NodeExecutionResponse = node match { + case commonAppJointNode: CommonAppJointNode => + val appJointResponse = new CompletedNodeExecutionResponse() + val idMap = commonAppJointNode.getJobContent + val id = idMap.values().iterator().next().toString + val url = if(commonAppJointNode.getNodeType.toLowerCase.contains(DISPLAY)) getDisplayPreviewUrl(nodeContext.getGatewayUrl, id) + else if(commonAppJointNode.getNodeType.toLowerCase.contains(DASHBOARD)) getDashboardPreviewUrl(nodeContext.getGatewayUrl, id) + else { + appJointResponse.setIsSucceed(false) + appJointResponse.setErrorMsg("不支持的appJoint类型：" + node.getNodeType) + return appJointResponse + } + var response = "" + val headers = nodeContext.getTokenHeader(nodeContext.getUser) + nodeContext.appendLog(LogUtils.generateInfo(s"Ready to download preview picture from $url.")) + Utils.tryCatch(download(url, null, headers.toMap, + input => Utils.tryFinally{ + val os = new ByteArrayOutputStream() + IOUtils.copy(input, os) + response = new String(Base64.getEncoder.encode(os.toByteArray)) + //response = IOUtils.toString(input, ServerConfiguration.BDP_SERVER_ENCODING.getValue) + }(IOUtils.closeQuietly(input)))){ t => + val errException = new ErrorException(70063, "failed to do visualis request") + errException.initCause(t) + appJointResponse.setException(errException) + appJointResponse.setIsSucceed(false) + appJointResponse.setErrorMsg(s"用户${nodeContext.getUser}请求Visualis失败！URL为: " + url) + return appJointResponse + } + nodeContext.appendLog(LogUtils.generateInfo("Preview picture downloaded, now ready to write results.")) + val imagesBytes = response + val resultSetWriter = nodeContext.createPictureResultSetWriter() + Utils.tryFinally{ + resultSetWriter.addMetaData(new LineMetaData()) + resultSetWriter.addRecord(new LineRecord(imagesBytes)) + }(IOUtils.closeQuietly(resultSetWriter)) + appJointResponse.setIsSucceed(true) + appJointResponse + } +``` **3.5.数据库内容的更新(dss-application模块)** @@ -66,7 +180,7 @@ Visualis接入的DSS系统的步骤如下: | url | 10 | 如 http://127.0.0.1:8080 | | is_user_need_init | 是否需要用户初始化 | 默认否 | | user_init_url | 用户初始化url | 默认空 | -| exists_project_service | 是否存在自己的projectService服务, 存在的话要自己写appjoint实现projectService0 | | +| exists_project_service | 是否存在自己的projectService服务, 存在的话要自己写appjoint实现projectService | | | enhance_json | 加强json，在appjoint初始化的时候会作为map进行传入 | | | homepage_url | 接入的系统主页url | | | direct_url | 接入的系统重定向url | | @@ -97,11 +211,11 @@ Visualis接入的DSS系统的步骤如下: **3.6.前端的修改** - 3.6.1 增加节点类型 -修改src/js/service/nodeType.js文件，增加Qualitis节点类型 +修改src/js/service/nodeType.js文件，增加Visualis节点类型 - 3.6.2 增加节点图标 将节点图标复制到src/js/module/process/images/路径下，目前只支持SVG格式。 - 3.6.3 新增节点配置 -修改src/js/module/process/shape.js文件，增加Qualitis的节点配置信息。 +修改src/js/module/process/shape.js文件，增加Visualis的节点配置信息。 - 3.6.4 修改首页单击节点事件 修改src/js/module/process/index.vue文件，增加节点单击事件以及单击事件的处理逻辑。 - 3.6.5 修改工作流节点双击事件 @@ -109,7 +223,13 @@ Visualis接入的DSS系统的步骤如下: **3.7.编译打包成jar包放置到指定位置** -        实现了上述的接口之后，一个AppJoint就已经实现了。打包之后，需要放置到指定的位置。jar包需要放置到dss-server和linkis-appjoint-entrance两个微服务中，以linkis-appjoint-entrance 为例(dss-server与linkis-appjoint-entrance一致)，在linkis-appjont-entrance下面的lib的同级目录有一个appjoints目录，目录下面层次如图3-3所示。 +        实现了上述的接口之后，一个AppJoint就已经实现了。打包之后，需要放置到指定的位置。 +jar包需要放置到dss-server和linkis-appjoint-entrance两个微服务中，以linkis-appjoint-entrance 为例(dss-server与linkis-appjoint-entrance一致)， +在linkis-appjont-entrance下面的lib的同级目录有一个appjoints目录，目录下面层次如图3-3所示。 ![appjoints目录示例](/images/zh_CN/chapter4/appjoints.png)
图3-3 appjoints目录示例 -        在appjoints目录下面新建一个visualis目录。visualis目录下面要求有lib目录，lib目录存放的是visualis在实现VisualisAppJoint的编译的jar包，当然如果有引入dss系统没有带入的jar包，也需要放置到lib目录中，如sendemail Appjoint需要发送邮件功能的依赖包，所以需要将这些依赖包和已经实现的jar包统一放置到lib目录中。另外可以将本AppJoint所需要的一些配置参数放置到appjoints.properties,DSS系统提供的AppJointLoader会将这些配置的参数读取，放置到一个Map中，在AppJoint调用init方法的时候传入。 +        在appjoints目录下面新建一个visualis目录。 +visualis目录下面要求有lib目录，lib目录存放的是visualis在实现VisualisAppJoint的编译的jar包， +当然如果有引入dss系统没有带入的jar包，也需要放置到lib目录中，如sendemail Appjoint需要发送邮件功能的依赖包， +所以需要将这些依赖包和已经实现的jar包统一放置到lib目录中。 +另外可以将本AppJoint所需要的一些配置参数放置到appjoints.properties,DSS系统提供的AppJointLoader会将这些配置的参数读取，放置到一个Map中，在AppJoint调用init方法的时候传入。 From 862bf0e2546ced32d33e648a4a2c535e4a2c3e3b Mon Sep 17 00:00:00 2001 From: zwx-master <1208247854@qq.com> Date: Wed, 3 Jun 2020 15:59:26 +0800 Subject: [PATCH 30/30] sql and pyspark associate script --- web/src/js/module/process/component/associateScript.vue | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/web/src/js/module/process/component/associateScript.vue b/web/src/js/module/process/component/associateScript.vue index 26b4ea9697..545c633390 100644 --- a/web/src/js/module/process/component/associateScript.vue +++ b/web/src/js/module/process/component/associateScript.vue @@ -38,7 +38,7 @@ import { isEmpty, cloneDeep } from 'lodash'; import storage from '@/js/helper/storage'; import directoryDialog from '@js/component/directoryDialog/index.vue'; - +import { ext } from '@/js/service/nodeType'; export default { components: { directoryDialog, @@ -82,8 +82,8 @@ export default { this.setFileTree(); }); this.filterNode = (node) => { - const type = this.nodeData.type.slice(this.nodeData.type.lastIndexOf('.') + 1, this.nodeData.type.length); - const match = this.supportModes.find((item) => item.rule.test(node.label) && item.flowType === type); + const model = ext[this.nodeData.type]; + const match = this.supportModes.find((item) => item.rule.test(node.label) && item.flowType === model); return !node.isLeaf || (node.isLeaf && match); }; },