-
Notifications
You must be signed in to change notification settings - Fork 1
/
text_to_images.qmd
452 lines (288 loc) · 18.3 KB
/
text_to_images.qmd
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
---
title: "chatGPT"
subtitle: "Text-to-Images"
description: |
Text-to-Images 관련 기술을 확인합니다.
author:
- name: 이광춘
url: https://www.linkedin.com/in/kwangchunlee/
affiliation: 한국 R 사용자회
affiliation-url: https://github.com/bit2r
title-block-banner: true
#title-block-banner: "#562457"
format:
html:
css: css/quarto.css
theme: flatly
code-fold: true
toc: true
toc-depth: 3
toc-title: 목차
number-sections: true
highlight-style: github
self-contained: false
filters:
- lightbox
lightbox: auto
link-citations: true
knitr:
opts_chunk:
message: false
warning: false
collapse: true
comment: "#>"
R.options:
knitr.graphics.auto_pdf: true
editor_options:
chunk_output_type: console
editor:
markdown:
wrap: 72
---
# 작업흐름
**프롬프트(Prompt)**는 이전에 학습된 모델 가중치를 새로운 맥락에서 재사용할 수 있는 메커니즘으로, 새롭게 등장한 극단적인 형태의 **전이학습(Transfer Learning)**이라고 주장할 수 있다. 수년에 걸쳐 NLP 작업별 모델을 구축할 때 미리 학습된 가중치를 점점 더 많이 재사용할 수 있는 방법을 찾아냈다. 2013년에 `word2vec`은 범용 단어 임베딩을 정적 라이브러리에 번들로 제공했고, 이를 NLP 모델에 입력으로 사용하기 시작했다. 2010년대 후반에는 ELMo와 BERT와 같은 모델에 미세 조정(Fine-Tuning) 기능이 도입되어 사전 학습된 모델의 전체 아키텍처를 재사용하고 각 작업에 대해 최소한의 가중치만 추가하여 연결함으로써 NLP 작업을 구현하는 표준적인 방식으로 자리잡았다. 마지막으로, GPT-3는 2020년 프롬프트를 통해 전이 학습에 대한 마침표를 찍었다. 이제부터 사전 학습된 단일 모델에 추가 매개변수나 재학습 없이도 단순히 텍스트 입력만으로 올바른 방향으로 안내하기만 하면 거의 모든 특정 NLP 작업을 수행할 수 있게 되었다. NLP 모형과 마찬가지로 Stable Diffusion, DALL-E와 같은 텍스트-이미지(Text-to-Image) 모형은 전이 학습 스펙트럼의 한 자리를 당당히 차지하고 있다. [@Turc_2022]
[[Kaggle: Midjourney User Prompts & Generated Images](https://www.kaggle.com/datasets/succinctlyai/midjourney-texttoimage)]{.aside}
# 프롬프트
생성형 이미지 제작을 위한 프롬프트에서 중요한 것은 텍스트 프롬프트 제작과 다소 차이가 있다.
:::{.panel-tabset}
### 객체(Object)
- castle
- dragon
- knight
- wizard
- king
- queen
### 형용사
- beautiful
- realistic
- colorful
- massive
- abstract
- aesthetic
- ball bearing
- biomorphic
- brushwork
- classic
- clever
- complex
- conceptual
### 아티스트
- Peter Mohrbacher
- Craig Mullins
- Refer
- Ashley Wood
- hajime sorayama
- floria sigismondi
- matt mahurin
- robert mapplethorope
### 빛
- monochromatic
- uplight
- neon light
- soft light
- cinematic light
- volumetric light
### 해상도
- hd
- 4k
- 8k
- extreme detail
- highly detail
- hyper detail
### 카메라 뷰
- ultra wide-angle
- street level view
- panoramic
- top view
- low angle view
- bird-eye view
### 사진
- analog photography
- nature photography
- 80s photography
- cinematic photography
### 스타일
- concept art
- digital art
- digital painting
- sketch
- matte painting
- pop art
- line art
- manga
- stencil art
- crayon
- chalk
- oil paintings
- Abstract Expressionism
- Abstraction
- Academic
- Action painting
- Aesthetic
- Allover painting
- Angular
- Appropriation
- Architecture
- Artifice
- Automatism
- Avant-garde
- Baroque
- Bauhaus
- Contemporary
- Cubism
- Cyberpunk
- Digital art
- Fantasy
- Impressionism
- Minimal
- Modern
- Pixel art
- Realism
- Surrealism
:::
:::{.callout-note collapse="true"}
### 프롬프트: a cute metal cat shooting laser gun, digital art, 4k, monochromatic, Craig Mullins, cinematic photography, nature background, low angle view
---
:::{#cat-ai layout-ncol=5}
:::
:::
# 미드저니 참고서
[[Best MidJourney Prompts: Art Styles & Photography](https://www.creativindie.com/best-midjourney-prompts-an-epic-list-of-crazy-text-to-image-ideas/)]{.aside}
## 예술과 사진
:::{.panel-tabset}
### Abstract
“Vibrant colors,” “Geometric shapes,” “Abstract patterns,” “Movement and flow,” “Texture and layers.”
### Surreal
“Dreamlike,” “Surreal landscapes,” “Mystical creatures,” “Twisted reality,” “Surreal still life.”
### Landscape Photography
“Majestic mountains,” “Lush forests,” “Glittering lakes,” “Desert dunes,” “Golden sunsets.”
### Portrait Photography
“Emotive eyes,” “Intense gazes,” “Contemplative mood,” “Expressive gestures,” “Stylized poses”.
### Minimalism
“Simplicity,” “Clean lines,” “Minimal colors,” “Negative space,” “Minimal still life.”
:::
## 아트 스타일
:::{.panel-tabset}
### impressionism
“Blurry brushstrokes,” “Painted light,” “Impressionistic landscapes,” “Pastel colors,” “Impressionistic portraits.”
### Realism
“Hyper-realistic textures,” “Precise details,” “Realistic still life,” “Realistic portraits,” “Realistic landscapes.”
### Pop Art
“Bold colors,” “Stylized portraits,” “Famous faces,” “Pop art still life,” “Pop art landscapes.”
### Street Photography
“Candid moments,” “Urban landscapes,” “Street life,” “Stories in motion,” “Street portraits.”
### Night Photography
“Lit cityscapes,” “Starry skies,” “Moonlit landscapes,” “Night time portraits,” “Long exposures.”
:::
# 서비스 사례
## B\^Edit
'B\^ EDIT'는 카카오브레인의 AI 이미지 생성 모델 '칼로(Karlo)'를
기반으로한 'B\^ EDIT'로 원하는 화풍의 이미지 생성은 물론, 다양한 기능을
활용해 이미지 수정기능을 제공한다. [바로가기](https://bedit.kakaobrain.com/)
### 소개자료
카카오브레인이 개발하여 공개한 ['B^ EDIT(비 에디트)'](https://bedit.kakaobrain.com/) 웹 서비스를 통해 Text-to-Image 기능을 통해 다양한 AI 이미지를 얻을 수 있다.
[[성현희 (2023-03-07), "카카오브레인, 'B^ EDIT' 오픈 베타서비스 글로벌 출시" 전자신문](https://www.etnews.com/20230307000030)]{.aside}
{{< video https://youtu.be/z1mu1o0rHnI >}}
### 사용방법
'B^ EDIT'에 접속해 바로크, 3D 렌더, 일본 애니메이션 등 총 30가지 화풍 중 원하는 화풍과 제시어(프롬프트)를 입력하면, AI가 화풍 및 프롬프트에 적합한 이미지 8장을 5~10초 이내로 생성한다. 그외에도 아웃페인팅(Outpainting), 인페이팅(Inpainting), CS2I(Color Sketch To Image) 등의 기능도 제공한다.
:::{#bedit layout-ncol=4}
:::
## GauGAN(고갱) 2
### NVIDIA 캔버스
동일한 서비스를 NVIDIA 그래픽 카드가 있는 경우 [**NVIDIA 캔버스**](https://www.nvidia.com/en-us/studio/canvas/)를 다운로드 받아 AI를 사용하여 간단한 붓터치를 사실적인 풍경 이미지로 바꿀 수 있다.
배경을 빠르게 만들거나 컨셉 탐색 속도를 높여 아이디어를 시각화하는 데 더 많은 시간을 할애할 수 있어 시간을 줄여준다.
[]{.aside}
| 구성요소 | 사양 |
|-------------------------------|-----------------------------------------|
| GPU | NVIDIA GeForce RTX, NVIDIA RTX, or TITAN RTX GPU |
| 하드디스크 | SSD |
| 운영체제 | 윈도우즈 10 |
| 드라이버 | GeForce RTX 40 시리즈의 경우 520 이상, 기타 모든 GPU의 경우 471.68 이상 |
### 고갱 2 API
NVIDIA가 짧은 단어와 간단한 마우스 클릭으로 사실적인 예술품을 만들어주는
최신 버전의 AI 페인팅 툴 GauGAN2를 공개했다. [바로가기](http://gaugan.org/gaugan2/)
:::::::::::::: {.columns}
::: {.column width="50%"}
{{< video https://youtu.be/HhWBfQlMzTs >}}
:::
::: {.column width="50%"}
{{< video https://youtu.be/r5P9-zOfWyE >}}
:::
::::::::::::::
# 뉴스 이미지 사례
## 뉴스 기사
[누리호, 힘차게 날아올랐다…美도 달성하지 못한 진기록](https://v.daum.net/v/20230525184307343) 뉴스기사에 포함될 이미지를 제작한다.
:::{#nuri layout-ncol=2}
:::
:::{.callout-note collapse="true"}
### 프롬프트: 아래 뉴스기사는 백틱기호(`) 세개 사이에 담겨져 있습니다. 다음 뉴스기사를 이미지로 나타내기 위해 midjourney text prompt를 작성해세요.
```
누리호, 힘차게 날아올랐다…美도 달성하지 못한 진기록
김진원입력 2023. 5. 25. 18:43수정 2023. 5. 25. 21:14
한국이 독자 기술로 개발한 로켓 ‘누리호’가 25일 우주로 향했다. 실용위성을 탑재한 발사체를 쏘아 올린 첫 사례다. 누리호는 차세대 소형위성 2호를 목표 궤도인 고도 550㎞에 정확하게 올려놨다. 남극 세종기지에서 위성 신호를 정상 수신했다. 작년 6월 누리호 2차 발사에 이어 이번 3차 발사 프로젝트까지 성공적으로 수행하면서 한국은 세계적인 우주 과학 강국으로 우뚝 서게 됐다. 첫 로켓 개발 후 연속 발사 성공은 미국과 러시아, 중국도 달성하지 못한 진기록이다.
누리호는 이날 오후 6시24분 전남 고흥군 나로우주센터 전용 발사대에서 우주로 날아올랐다. 오전 11시 발사를 결정한 이후 오후 5시께 연료와 산화제 주입을 차례로 완료했다. 누리호는 오후 6시24분 정각에 3500도 초고온 고압가스의 힘을 받아 하늘로 힘차게 솟구쳤다.
누리호는 발사 뒤 1단과 위성을 감싼 덮개인 페어링, 2단을 차례로 떼어냈다. 고도 550㎞에선 주탑재 위성인 차세대 소형위성 2호를 분리했다. 이후 20초 간격으로 부탑재 위성인 큐브위성을 차례로 내보냈다. 다만 7기의 큐브위성 중 1기에 대해선 사출 성공 여부를 판단 중이다.
누리호는 과학기술정보통신부와 한국항공우주연구원이 2010년부터 개발한 토종 발사체다. 한국이 지난 2차에 이어 3차 발사까지 성공하면서 50여 년의 세계 우주개발사(史)에서 찾아보기 힘든 발자취를 남기게 됐다. 윤석열 대통령은 “달에 가는 것이 쉽기 때문이 아니라 어렵기 때문에 도전한다”며 “어렵기 때문에 우리의 도전이 되고 꿈이 되는 것”이라고 말했다.
이어 “우리나라가 우주강국 G7에 들어가는 쾌거를 이뤘다”고 강조했다.
실용위성 8기 싣고 우주로…2032년 '달 착륙선' 보내는 게 목표
사진=연합뉴스
사진=연합뉴스
25일 오전 5시 전남 고흥 나로우주센터. 한국형발사체 ‘누리호(KSLV-2)’ 전용 발사대 주변은 사람들로 북적였다. 액체헬륨 저장탱크의 ‘해압밸브’와 ‘지상장비시스템(PLC)’을 제어하는 소프트웨어(SW)에서 발생한 문제를 해결하기 위해 한국항공우주연구원 연구진은 밤을 꼬박 새웠다.
SW를 구성하는 명령어가 순차적으로 전달되지 않는 문제를 해결하기 위해 명령어 사이의 간격을 세밀하게 수정했다. 여섯 차례에 걸친 반복 시험을 시행한 결과 ‘정상’이란 판정이 내려졌다. 해가 뜬 외나로도 앞바다는 구름 한 점 없이 맑았다. 비와 강풍, 낙뢰의 가능성도 작았다. 우주정거장, 인공위성과 충돌 가능성도 없었다. 발사 준비가 다시 시작됐다.
○실용·큐브위성 8기 분리 도전
발사 1시간 전. 기체 점검과 연료·산화제 충전을 마친 누리호를 우주로 인도하는 전자탑재체(에비오닉스)의 전원이 켜졌다. 발사체 기립 장치가 철수하고 관성항법 유도시스템의 정렬이 시작됐다.
발사 10분 전 발사자동운용(PLO)이 시작됐다. PLO는 발사 10분 전부터 발사체 이륙 직전까지 발사관제시스템에 의해 자동으로 이뤄지는 발사 준비 작업이다. 그리고 발사. 오후 6시24분 굉음과 함께 누리호가 힘차게 솟구쳤다. 연소가스 온도는 섭씨 3500도. 포스코의 쇳물을 녹이는 용광로 온도(1500도)의 두 배 이상이다. 압력도 대기압의 60배까지 치솟았다. 발사대를 식히기 위해 초당 1.8t의 냉각수가 쉴 새 없이 쏟아졌다.
발사 125초 뒤 고도 64.5㎞. 누리호는 1단을 분리한다. 이어 위성을 감싼 덮개인 페어링과 2단이 차례로 떨어져 나간다. 누리호가 적도를 지나면 남태평양 팔라우 추적소에서 누리호의 비행 궤적과 동작 상태를 확인한다.
발사 783초 뒤 고도 550㎞에 도달하면 주 탑재위성인 차세대 소형위성 2호가 분리된다. 차세대 소형위성 2호는 영상 레이더(SAR)를 탑재했다. 해상도 5m, 관측 폭 40㎞의 마이크로파로 지구를 관측한다. 광학카메라와 달리 빛과 구름의 영향을 받지 않는다.
이후 20초 간격으로 벤처기업 져스텍과 루미르, 카이로스페이스가 제작한 큐브위성 3기가 차례로 분리된다. 각각 우주 방사선을 검출하고 광학카메라 성능을 검증한다. 우주쓰레기 경감 기술도 실증한다. 마지막에는 천문연에서 개발한 우주기상관측 군집(群集)위성 ‘도요샛’ 4기가 분리된다. 도요샛은 중량 10㎏ 이하 나노급 위성으로는 최초로 편대 비행을 시도하며 플라즈마 등 우주 날씨의 시공간적 변화를 관측하는 임무를 수행한다. 발사 1138초가 지나면 임무를 완수한 누리호가 비행을 종료한다.
○반복 발사 통해 신뢰도 높인다
전날 누리호 3차 발사는 예정 시간을 2시간 14분 앞두고 연기됐다. 이처럼 발사를 눈앞에 두고 기술적 문제로 연기하는 일은 로켓 개발 과정에서 종종 있는 일이다. 작년 6월 누리호 2차 발사 때도 기립 상태에서 점검 중 문제가 발견돼 조립동으로 되돌아갔다. 액체헬륨 탱크 내부의 레벨 센서가 비정상적인 수치를 나타냈기 때문이다. 2009년 8월 ‘나로호(KSLV-1)’ 1차 발사 당시에도 압력 측정 관련 SW 오류로 이륙 7분56초를 앞두고 발사가 중단됐다. 나로호 3차 발사를 시도했던 2012년 11월에도 최종 발사 시간 발표 전 연료를 주입하는 연결 부위가 새는 문제가 발생해 발사가 미뤄졌다.
우주 발사체는 첨단 기술의 집약체다. 반복 발사 운용을 통해 발사 과정을 최적화·안정화하고 발사체의 신뢰성을 높이는 것이 필수다. 정부는 2027년까지 네 차례에 걸친 추가 발사를 통해 한국형발사체 누리호의 신뢰도를 검증하고 체계종합기업 한화에어로스페이스 기술을 이전한다. 차세대 중형위성 3호와 초소형위성 2~11호 등이 다음 누리호에 탑재될 예정이다.
누리호 성능을 개량한 차세대 발사체 개발사업도 진행한다. 차세대 발사체는 1단 100t급 이상 엔진 5기, 2단 10t급 이상 엔진 2기로 구성된 2단형 발사체로 개발될 예정이다. 2030년부터 세 차례 반복 발사를 통해 신뢰도를 검증한다.
2032년 달 착륙선을 보내는 것이 최종 목표다.
고흥(나로우주센터)=김진원 기자 jin1@hankyung.com
```
---
네, 한국형발사체 누리호 발사 성공에 대한 Midjourney 텍스트 프롬프트는 다음과 같습니다.
- 한국형발사체 누리호가 우주로 발사되는 모습을 나타내는 이미지를 생성해 주세요.
- **한국형발사체 누리호가 성공적으로 발사되어 목표 궤도에 진입하는 모습**을 나타내는 이미지를 생성해 주세요.
- 한국형발사체 누리호가 성공적으로 발사되어 위성을 궤도에 올리는 모습을 나타내는 이미지를 생성해 주세요.
이 프롬프트를 사용하여 한국형발사체 누리호 발사 성공에 대한 이미지를 생성할 수 있습니다.
:::
## 이미지 생성자
:::{.panel-tabset}
### 스타일 적용 전
South Korean launch vehicle Nuri successfully launches and enters its target orbit
### 스타일 적용 후
South Korean launch vehicle Nuri successfully launches and enters its target orbit, cinematic light, extreme detail, panoramic, Craig Mullins
### 한장
South Korean launch vehicle Nuri successfully launches and enters its target orbit, Max Ernst, volumetric light
:::