feat: ensimmäinen versio migraatiotyökalusta (#205)

finnishtransportagency · May 4, 2022 · 2dd28d1 · 2dd28d1
1 parent e22d37b
commit 2dd28d1
Show file tree

Hide file tree

Showing 33 changed files with 102,020 additions and 176 deletions.
diff --git a/.gitignore b/.gitignore
@@ -61,3 +61,7 @@ build
 __pycache__
 /.eslintcache
 .sonar
+migration/node_modules
+migration/~*
+
+/migration/.env.test
diff --git a/backend/integrationtest/aloitusKuulutus/__snapshots__/aloitusKuulutusHandler.test.ts.snap b/backend/integrationtest/aloitusKuulutus/__snapshots__/aloitusKuulutusHandler.test.ts.snap
@@ -3,7 +3,6 @@
 exports[`AloitusKuulutus should create and manipulate projekti successfully 1`] = `
 Object {
   "aloitusKuulutus": Object {
-    "elyKeskus": "Pirkanmaa",
     "esitettavatYhteystiedot": Array [
       Object {
         "etunimi": "Marko",
@@ -28,7 +27,6 @@ Object {
 exports[`AloitusKuulutus should create and manipulate projekti successfully 2`] = `
 Object {
   "aloitusKuulutus": Object {
-    "elyKeskus": "Pirkanmaa",
     "esitettavatYhteystiedot": Array [
       Object {
         "etunimi": "Marko",
@@ -48,7 +46,6 @@ Object {
   },
   "aloitusKuulutusJulkaisut": Array [
     Object {
-      "elyKeskus": "Pirkanmaa",
       "hankkeenKuvaus": Object {
         "RUOTSI": "På svenska",
         "SAAME": "Saameksi",
@@ -101,7 +98,6 @@ Object {
 exports[`AloitusKuulutus should create and manipulate projekti successfully 3`] = `
 Object {
   "aloitusKuulutus": Object {
-    "elyKeskus": "Pirkanmaa",
     "esitettavatYhteystiedot": Array [
       Object {
         "etunimi": "Marko",
@@ -127,7 +123,6 @@ Object {
 exports[`AloitusKuulutus should create and manipulate projekti successfully 4`] = `
 Object {
   "aloitusKuulutus": Object {
-    "elyKeskus": "Pirkanmaa",
     "esitettavatYhteystiedot": Array [
       Object {
         "etunimi": "Marko",
@@ -148,7 +143,6 @@ Object {
   },
   "aloitusKuulutusJulkaisut": Array [
     Object {
-      "elyKeskus": "Pirkanmaa",
       "hankkeenKuvaus": Object {
         "RUOTSI": "På svenska",
         "SAAME": "Saameksi",
@@ -201,7 +195,6 @@ Object {
 exports[`AloitusKuulutus should create and manipulate projekti successfully 5`] = `
 Object {
   "aloitusKuulutus": Object {
-    "elyKeskus": "Pirkanmaa",
     "esitettavatYhteystiedot": Array [
       Object {
         "etunimi": "Marko",
@@ -232,7 +225,6 @@ Object {
           "aloituskuulutusPDFPath": "/aloituskuulutus/KUULUTUS SUUNNITTELUN ALOITTAMISESTA Testiprojekti 1.pdf",
         },
       },
-      "elyKeskus": "Pirkanmaa",
       "hankkeenKuvaus": Object {
         "RUOTSI": "På svenska",
         "SAAME": "Saameksi",

diff --git a/backend/integrationtest/api/__snapshots__/api.test.ts.snap b/backend/integrationtest/api/__snapshots__/api.test.ts.snap
@@ -869,7 +869,6 @@ Object {
           },
           "__typename": "AloitusKuulutusPDFt",
         },
-        "elyKeskus": "Pirkanmaa",
         "hankkeenKuvaus": Object {
           "RUOTSI": "På Svenska",
           "SAAME": "Saameksi",
@@ -891,6 +890,7 @@ Object {
           "puhelinnumero": "123",
           "sukunimi": "Jossain",
         },
+        "tila": "HYVAKSYTTY",
         "velho": Object {
           "__typename": "Velho",
           "kunnat": Array [

diff --git a/backend/integrationtest/api/api.test.ts b/backend/integrationtest/api/api.test.ts
@@ -453,7 +453,7 @@ describe("Api", () => {
     const oid = await searchProjectsFromVelhoAndPickFirst();
     const projekti = await api.lataaProjekti(oid);
     await expect(projekti.tallennettu).to.be.false;
-    log.info(JSON.stringify(projekti, null, 2));
+    log.info({ projekti });
     return projekti;
   }
 

diff --git a/backend/integrationtest/api/apiTestFixture.ts b/backend/integrationtest/api/apiTestFixture.ts
@@ -75,7 +75,6 @@ class ApiTestFixture {
       SAAME: "Saameksi",
     },
     siirtyySuunnitteluVaiheeseen: "2022-01-01",
-    elyKeskus: "Pirkanmaa",
     esitettavatYhteystiedot: this.esitettavatYhteystiedot,
   };
 

diff --git a/backend/src/asiakirja/abstractPdf.ts b/backend/src/asiakirja/abstractPdf.ts
@@ -1,5 +1,4 @@
 import deburr from "lodash/deburr";
-import log from "loglevel";
 import { PDF } from "../../../common/graphql/apiModel";
 
 import PDFDocument from "pdfkit";
@@ -93,7 +92,6 @@ export abstract class AbstractPdf {
 
     // PDF/A standard requires fonts to be embedded.
     const arialFontFile = __dirname + "/files/arialmt.ttf";
-    log.info(arialFontFile);
     doc.registerFont("ArialMT", arialFontFile);
     doc.registerFont("ArialMTBold", __dirname + "/files/ARIALBOLDMT.OTF");
 

diff --git a/backend/src/cache/s3Cache.ts b/backend/src/cache/s3Cache.ts
@@ -17,9 +17,9 @@ export class S3Cache {
     triggerUpdate: () => void,
     populateMissingData: () => Promise<T>
   ): Promise<T> {
-    const cachedData = this.cache.get(key) as T;
+    const cachedData = this.cache.get(key);
     if (cachedData) {
-      return cachedData;
+      return cachedData as T;
     }
 
     const s3Object = await this.getS3Object(key, ttlMillis);
@@ -61,7 +61,7 @@ export class S3Cache {
         .promise();
       const body = output.Body;
       if (body instanceof Buffer) {
-        const s3json = (body as Buffer).toString("utf-8");
+        const s3json = body.toString("utf-8");
 
         const lastModified = output.LastModified;
         const expiresTime = S3Cache.getExpiresTime(lastModified, ttlMillis);

diff --git a/backend/src/database/model/projekti.ts b/backend/src/database/model/projekti.ts
@@ -10,14 +10,6 @@ import { Palaute, SuunnitteluVaihe, Vuorovaikutus } from "./suunnitteluVaihe";
 
 export type LocalizedMap<T> = { [key in Kieli]?: T } | null;
 
-export type Kuulutus = {
-  kuulutusPaiva?: string;
-  siirtyySuunnitteluVaiheeseen?: string;
-  hankkeenKuvaus?: LocalizedMap<string>;
-  elyKeskus?: string;
-  yhteystiedot?: string[];
-};
-
 export type DBVaylaUser = {
   rooli: ProjektiRooli;
   email: string;
@@ -33,7 +25,6 @@ export type AloitusKuulutus = {
   kuulutusPaiva?: string | null;
   siirtyySuunnitteluVaiheeseen?: string | null;
   hankkeenKuvaus?: LocalizedMap<string>;
-  elyKeskus?: string | null;
   esitettavatYhteystiedot?: Yhteystieto[] | null;
   ilmoituksenVastaanottajat?: IlmoituksenVastaanottajat | null;
   palautusSyy?: string | null;

diff --git a/backend/src/database/projektiDatabase.ts b/backend/src/database/projektiDatabase.ts
@@ -87,7 +87,11 @@ function createExpression(expression: string, properties: string[]) {
 }
 
 async function saveProjekti(dbProjekti: Partial<DBProjekti>): Promise<DocumentClient.UpdateItemOutput> {
-  log.info("Updating projekti to Hassu ", { dbProjekti });
+  if (log.isLevelEnabled("debug")) {
+    log.debug("Updating projekti to Hassu ", { projekti: dbProjekti });
+  } else {
+    log.info("Updating projekti to Hassu ", { oid: dbProjekti.oid });
+  }
   const setExpression: string[] = [];
   const removeExpression: string[] = [];
   const ExpressionAttributeNames = {};
@@ -137,7 +141,10 @@ async function saveProjekti(dbProjekti: Partial<DBProjekti>): Promise<DocumentCl
     ExpressionAttributeValues,
   };
 
-  log.info("Updating projekti to Hassu", { params });
+  if (log.isLevelEnabled("debug")) {
+    log.debug("Updating projekti to Hassu ", { params });
+  }
+
   return await getDynamoDBDocumentClient().update(params).promise();
 }
 

diff --git a/backend/src/handler/asiakirjaAdapter.ts b/backend/src/handler/asiakirjaAdapter.ts
@@ -25,6 +25,20 @@ export class AsiakirjaAdapter {
     throw new Error("Aloituskuulutus puuttuu");
   }
 
+  migrateAloitusKuulutusJulkaisu(dbProjekti: DBProjekti): AloitusKuulutusJulkaisu {
+    if (dbProjekti.aloitusKuulutus) {
+      const { palautusSyy: _palautusSyy, ...includedFields } = dbProjekti.aloitusKuulutus;
+      return {
+        ...includedFields,
+        id: createNextID(dbProjekti),
+        yhteystiedot: [],
+        velho: adaptVelho(dbProjekti),
+        suunnitteluSopimus: null,
+      };
+    }
+    throw new Error("Aloituskuulutus puuttuu");
+  }
+
   findAloitusKuulutusWaitingForApproval(projekti: DBProjekti): AloitusKuulutusJulkaisu | undefined {
     if (projekti.aloitusKuulutusJulkaisut) {
       return projekti.aloitusKuulutusJulkaisut

diff --git a/backend/src/handler/emailHandler.ts b/backend/src/handler/emailHandler.ts
@@ -29,15 +29,15 @@ async function getFileAttachment(oid: string, key: string): Promise<Mail.Attachm
       })
       .promise();
 
-    if (output.Body instanceof Readable) {
+    if (output.Body instanceof Readable || output.Body instanceof Buffer) {
       return {
         filename: getFilename(key),
         contentDisposition: "attachment",
         contentType: "application/pdf",
-        content: output.Body as Readable,
+        content: output.Body,
       };
     } else {
-      log.error("Liitetiedoston sisaltossa ongelmia");
+      log.error("Liitetiedoston sisallossa ongelmia");
     }
   } catch (error) {
     log.error("Virhe liitetiedostojen haussa", error);

diff --git a/backend/src/handler/projektiAdapterJulkinen.ts b/backend/src/handler/projektiAdapterJulkinen.ts
@@ -6,13 +6,6 @@ import {
   SuunnitteluSopimus,
 } from "../database/model/projekti";
 import * as API from "../../../common/graphql/apiModel";
-import {
-  AloitusKuulutusPDFt,
-  AloitusKuulutusTila,
-  Kieli,
-  ProjektiJulkinen,
-  Status,
-} from "../../../common/graphql/apiModel";
 import pickBy from "lodash/pickBy";
 import dayjs from "dayjs";
 import {
@@ -30,27 +23,27 @@ import { parseDate } from "../util/dateUtil";
 import { Vuorovaikutus } from "../database/model/suunnitteluVaihe";
 
 class ProjektiAdapterJulkinen {
-  applyStatus(projekti: ProjektiJulkinen) {
+  applyStatus(projekti: API.ProjektiJulkinen) {
     function checkAloituskuulutus() {
       if (projekti.aloitusKuulutusJulkaisut) {
         const julkisetAloituskuulutukset = projekti.aloitusKuulutusJulkaisut.filter((julkaisu) => {
           return julkaisu.kuulutusPaiva && parseDate(julkaisu.kuulutusPaiva).isBefore(dayjs());
         });
 
         if (julkisetAloituskuulutukset?.length > 0) {
-          projekti.status = Status.ALOITUSKUULUTUS;
+          projekti.status = API.Status.ALOITUSKUULUTUS;
         }
       }
     }
 
     function checkSuunnittelu() {
       // Valiaikainen ui kehitysta varten, kunnes suunnitteluvaihe tietomallissa
       if (projekti.suunnitteluVaihe) {
-        projekti.status = Status.SUUNNITTELU;
+        projekti.status = API.Status.SUUNNITTELU;
       }
     }
 
-    projekti.status = Status.EI_JULKAISTU;
+    projekti.status = API.Status.EI_JULKAISTU;
 
     checkAloituskuulutus();
 
@@ -82,7 +75,7 @@ class ProjektiAdapterJulkinen {
       suunnitteluVaihe = ProjektiAdapterJulkinen.adaptSuunnitteluVaihe(dbProjekti);
     }
 
-    const projekti: ProjektiJulkinen = {
+    const projekti: API.ProjektiJulkinen = {
       __typename: "ProjektiJulkinen",
       oid: dbProjekti.oid,
       euRahoitus: dbProjekti.euRahoitus,
@@ -97,24 +90,26 @@ class ProjektiAdapterJulkinen {
     aloitusKuulutusJulkaisut?: AloitusKuulutusJulkaisu[] | null
   ): API.AloitusKuulutusJulkaisuJulkinen[] | undefined {
     if (aloitusKuulutusJulkaisut) {
-      return aloitusKuulutusJulkaisut
-        .filter((julkaisu) => julkaisu.tila == AloitusKuulutusTila.HYVAKSYTTY)
-        .map((julkaisu) => {
-          const { yhteystiedot, velho, suunnitteluSopimus, kielitiedot } = julkaisu;
+      // Pick HYVAKSYTTY or MIGROITU aloituskuulutusjulkaisu, by this order
+      const julkaisu =
+        findJulkaisuByStatus(aloitusKuulutusJulkaisut, API.AloitusKuulutusTila.HYVAKSYTTY) ||
+        findJulkaisuByStatus(aloitusKuulutusJulkaisut, API.AloitusKuulutusTila.MIGROITU);
+      const { yhteystiedot, velho, suunnitteluSopimus, kielitiedot } = julkaisu;
 
-          return {
-            __typename: "AloitusKuulutusJulkaisuJulkinen",
-            kuulutusPaiva: julkaisu.kuulutusPaiva,
-            elyKeskus: julkaisu.elyKeskus,
-            siirtyySuunnitteluVaiheeseen: julkaisu.siirtyySuunnitteluVaiheeseen,
-            hankkeenKuvaus: adaptHankkeenKuvaus(julkaisu.hankkeenKuvaus),
-            yhteystiedot: adaptYhteystiedot(yhteystiedot),
-            velho: adaptVelho(velho),
-            suunnitteluSopimus: this.adaptSuunnitteluSopimus(oid, suunnitteluSopimus),
-            kielitiedot: adaptKielitiedot(kielitiedot),
-            aloituskuulutusPDFt: this.adaptJulkaisuPDFPaths(oid, julkaisu.aloituskuulutusPDFt),
-          };
-        });
+      return [
+        {
+          __typename: "AloitusKuulutusJulkaisuJulkinen",
+          kuulutusPaiva: julkaisu.kuulutusPaiva,
+          siirtyySuunnitteluVaiheeseen: julkaisu.siirtyySuunnitteluVaiheeseen,
+          hankkeenKuvaus: adaptHankkeenKuvaus(julkaisu.hankkeenKuvaus),
+          yhteystiedot: adaptYhteystiedot(yhteystiedot),
+          velho: adaptVelho(velho),
+          suunnitteluSopimus: this.adaptSuunnitteluSopimus(oid, suunnitteluSopimus),
+          kielitiedot: adaptKielitiedot(kielitiedot),
+          aloituskuulutusPDFt: this.adaptJulkaisuPDFPaths(oid, julkaisu.aloituskuulutusPDFt),
+          tila: julkaisu.tila,
+        },
+      ];
     }
     return undefined;
   }
@@ -136,7 +131,7 @@ class ProjektiAdapterJulkinen {
   adaptJulkaisuPDFPaths(
     oid: string,
     aloitusKuulutusPDFS: LocalizedMap<AloitusKuulutusPDF>
-  ): AloitusKuulutusPDFt | undefined {
+  ): API.AloitusKuulutusPDFt | undefined {
     if (!aloitusKuulutusPDFS) {
       return undefined;
     }
@@ -154,11 +149,12 @@ class ProjektiAdapterJulkinen {
         ),
       } as AloitusKuulutusPDF;
     }
-    return { __typename: "AloitusKuulutusPDFt", SUOMI: result[Kieli.SUOMI], ...result };
+    return { __typename: "AloitusKuulutusPDFt", SUOMI: result[API.Kieli.SUOMI], ...result };
   }
 
   private static adaptSuunnitteluVaihe(dbProjekti: DBProjekti): API.SuunnitteluVaiheJulkinen {
-    const { hankkeenKuvaus, arvioSeuraavanVaiheenAlkamisesta, suunnittelunEteneminenJaKesto } = dbProjekti.suunnitteluVaihe;
+    const { hankkeenKuvaus, arvioSeuraavanVaiheenAlkamisesta, suunnittelunEteneminenJaKesto } =
+      dbProjekti.suunnitteluVaihe;
     return {
       __typename: "SuunnitteluVaiheJulkinen",
       hankkeenKuvaus: adaptHankkeenKuvaus(hankkeenKuvaus),
@@ -192,6 +188,13 @@ function adaptVuorovaikutukset(dbProjekti: DBProjekti): API.VuorovaikutusJulkine
   return vuorovaikutukset as undefined;
 }
 
+function findJulkaisuByStatus<T extends { tila?: API.AloitusKuulutusTila }>(
+  aloitusKuulutusJulkaisut: T[],
+  tila: API.AloitusKuulutusTila
+): T {
+  return aloitusKuulutusJulkaisut.filter((j) => j.tila == tila).pop();
+}
+
 function checkIfAloitusKuulutusJulkaisutIsPublic(
   aloitusKuulutusJulkaisut: API.AloitusKuulutusJulkaisuJulkinen[]
 ): boolean {
@@ -200,12 +203,17 @@ function checkIfAloitusKuulutusJulkaisutIsPublic(
     return false;
   }
 
-  const julkaisu = aloitusKuulutusJulkaisut[0];
-  if (julkaisu.kuulutusPaiva && parseDate(julkaisu.kuulutusPaiva).isAfter(dayjs())) {
-    log.info("Projektin aloituskuulutuksen kuulutuspäivä on tulevaisuudessa", {
-      kuulutusPaiva: parseDate(julkaisu.kuulutusPaiva).format(),
-      now: dayjs().format(),
-    });
+  const hyvaksyttyJulkaisu = findJulkaisuByStatus(aloitusKuulutusJulkaisut, API.AloitusKuulutusTila.HYVAKSYTTY);
+  if (hyvaksyttyJulkaisu) {
+    if (hyvaksyttyJulkaisu.kuulutusPaiva && parseDate(hyvaksyttyJulkaisu.kuulutusPaiva).isAfter(dayjs())) {
+      log.info("Projektin aloituskuulutuksen kuulutuspäivä on tulevaisuudessa", {
+        kuulutusPaiva: parseDate(hyvaksyttyJulkaisu.kuulutusPaiva).format(),
+        now: dayjs().format(),
+      });
+      return false;
+    }
+  } else if (!findJulkaisuByStatus(aloitusKuulutusJulkaisut, API.AloitusKuulutusTila.MIGROITU)) {
+    // If there are no HYVAKSYTTY or MIGROITU aloitusKuulutusJulkaisu, hide projekti
     return false;
   }
   return true;