-
Notifications
You must be signed in to change notification settings - Fork 9
/
Copy pathlesson3.sbv
8333 lines (5802 loc) · 197 KB
/
lesson3.sbv
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
382
383
384
385
386
387
388
389
390
391
392
393
394
395
396
397
398
399
400
401
402
403
404
405
406
407
408
409
410
411
412
413
414
415
416
417
418
419
420
421
422
423
424
425
426
427
428
429
430
431
432
433
434
435
436
437
438
439
440
441
442
443
444
445
446
447
448
449
450
451
452
453
454
455
456
457
458
459
460
461
462
463
464
465
466
467
468
469
470
471
472
473
474
475
476
477
478
479
480
481
482
483
484
485
486
487
488
489
490
491
492
493
494
495
496
497
498
499
500
501
502
503
504
505
506
507
508
509
510
511
512
513
514
515
516
517
518
519
520
521
522
523
524
525
526
527
528
529
530
531
532
533
534
535
536
537
538
539
540
541
542
543
544
545
546
547
548
549
550
551
552
553
554
555
556
557
558
559
560
561
562
563
564
565
566
567
568
569
570
571
572
573
574
575
576
577
578
579
580
581
582
583
584
585
586
587
588
589
590
591
592
593
594
595
596
597
598
599
600
601
602
603
604
605
606
607
608
609
610
611
612
613
614
615
616
617
618
619
620
621
622
623
624
625
626
627
628
629
630
631
632
633
634
635
636
637
638
639
640
641
642
643
644
645
646
647
648
649
650
651
652
653
654
655
656
657
658
659
660
661
662
663
664
665
666
667
668
669
670
671
672
673
674
675
676
677
678
679
680
681
682
683
684
685
686
687
688
689
690
691
692
693
694
695
696
697
698
699
700
701
702
703
704
705
706
707
708
709
710
711
712
713
714
715
716
717
718
719
720
721
722
723
724
725
726
727
728
729
730
731
732
733
734
735
736
737
738
739
740
741
742
743
744
745
746
747
748
749
750
751
752
753
754
755
756
757
758
759
760
761
762
763
764
765
766
767
768
769
770
771
772
773
774
775
776
777
778
779
780
781
782
783
784
785
786
787
788
789
790
791
792
793
794
795
796
797
798
799
800
801
802
803
804
805
806
807
808
809
810
811
812
813
814
815
816
817
818
819
820
821
822
823
824
825
826
827
828
829
830
831
832
833
834
835
836
837
838
839
840
841
842
843
844
845
846
847
848
849
850
851
852
853
854
855
856
857
858
859
860
861
862
863
864
865
866
867
868
869
870
871
872
873
874
875
876
877
878
879
880
881
882
883
884
885
886
887
888
889
890
891
892
893
894
895
896
897
898
899
900
901
902
903
904
905
906
907
908
909
910
911
912
913
914
915
916
917
918
919
920
921
922
923
924
925
926
927
928
929
930
931
932
933
934
935
936
937
938
939
940
941
942
943
944
945
946
947
948
949
950
951
952
953
954
955
956
957
958
959
960
961
962
963
964
965
966
967
968
969
970
971
972
973
974
975
976
977
978
979
980
981
982
983
984
985
986
987
988
989
990
991
992
993
994
995
996
997
998
999
1000
0:00:00.000,0:00:02.360
돌아오신걸 환영합니다
0:00:04.160,0:00:07.220
눈치채셨을지 모르지만
그동안 커뮤니티 포럼에서
0:00:07.220,0:00:10.500
학생들의 멋진 활동들이 있었는데요
0:00:10.500,0:00:11.380
한가지 소개해 드리자면
0:00:12.285,0:00:15.000
이 코스의 다른 학우를 위해서
0:00:15.005,0:00:18.215
도움이 되는 많은 자료들을
0:00:18.215,0:00:21.415
만들어서 이해를 도와 줬더군요
0:00:21.415,0:00:24.325
누군가를 가르치면서
0:00:24.325,0:00:27.115
스스로도 더 잘 이해하는 기회도
0:00:27.115,0:00:28.475
얻은것 같습니다
0:00:28.785,0:00:30.975
제가 Wiki 에 그 중 몇가지를
0:00:31.320,0:00:34.400
리스트업 해서 포스팅 해뒀습니다
0:00:34.860,0:00:35.860
0:00:36.300,0:00:39.100
reshamas라는 분이
입문자들을 위한
0:00:39.100,0:00:42.105
많은 튜토리얼을 작성하셨는데요
0:00:42.105,0:00:44.965
그 내용중 하나는
AWS 접속에 문제를 겪는 분들을 위해서
0:00:44.965,0:00:48.045
전체적으로 단계별로
0:00:48.045,0:00:50.540
어떻게 로그인하고
0:00:50.540,0:00:53.900
모든걸 정상동작 하게 만드는지 보여줍니다
0:00:53.940,0:00:56.240
0:00:57.340,0:01:00.260
스스로 상기하는 차원에서,
노트를 남기시길 원하시면
0:01:00.340,0:01:03.135
블로그 포스트를 작성하시거나
0:01:03.135,0:01:06.195
이분처럼 마크다운에 작성하셔도 좋습니다
0:01:06.195,0:01:09.285
전에 깃헙을 사용해보신 적이 없으면
0:01:09.285,0:01:12.185
좋은 훈련이 되기도 할 겁니다
깃헙에 올려두시면
0:01:12.185,0:01:15.080
다른 사람들도 볼 수 있습니다.
물론, 커뮤니티 포럼에 올려주셔도 됩니다
0:01:15.200,0:01:20.975
reshamas가 작성한
0:01:20.975,0:01:23.885
좀 더 심화적인 내용으로는
tmux 라는게 있습니다.
0:01:23.885,0:01:26.995
편리한 도구인데요
0:01:27.000,0:01:31.520
보여드릴게요
0:01:32.160,0:01:35.240
AWS 컴퓨터에 로그인 한 직후에
0:01:35.300,0:01:38.195
tmux a 명령을 실행하면
0:01:38.195,0:01:41.245
모든 윈도우 창이 모두 나타납니다
0:01:41.245,0:01:44.145
백그라운드에서 작업중인것을
포함해서
0:01:44.145,0:01:47.355
VIM 으로 편집중인 내용등을
보여주는데
0:01:47.360,0:01:52.460
원하는 창으로 들어갔다가
다른 창으로 이동도 가능합니다
0:01:53.200,0:01:55.720
이 내용에 관심이 있으시면
0:01:55.940,0:01:58.940
이 깃헙에 사용법에 대한
튜토리얼이 있습니다
0:01:58.945,0:02:02.145
그리고 여기 깃헙에는
다른 많은 내용들도 있습니다.
0:02:02.145,0:02:05.305
멋지게 정리해 줬습니다
0:02:05.305,0:02:08.275
Apil Tamang이라는 분은
0:02:08.275,0:02:11.195
지난주에 대한 아주 멋진 요약을
0:02:11.195,0:02:12.365
적어주셨습니다
0:02:12.705,0:02:15.895
이 요약이 다루는건
0:02:16.560,0:02:20.720
우리가 한 중요한 일들과
왜 그것들을 해야 하는지에 대한 것입니다
0:02:21.200,0:02:24.340
지난주에 배운 내용들이 어떻게
서로 들어맞는지 궁금하시면
0:02:24.340,0:02:26.920
이 내용은 꽤나 도움이 많이 될 것 같습니다
0:02:27.200,0:02:30.145
2시간정도 우리가 한 내용을
0:02:30.145,0:02:32.625
1-2 페이지에 정리 해뒀거든요
0:02:32.980,0:02:37.560
또, Pavel Surmenok의 글도 정말 좋은데요
0:02:38.800,0:02:42.920
학습률 발견자에 대해서
깊이 있게 다룹니다
0:02:44.020,0:02:46.960
많은 분들이 더 많은 것을 알고 싶어하신
주제 인데요
0:02:46.960,0:02:48.460
특히나
0:02:48.720,0:02:51.725
딥러닝을 전에 공부해보신 분이라면
0:02:51.725,0:02:54.735
오랫동안 고통받던 문제에 대한
해결책이 될 수 있는데
0:02:54.740,0:02:58.540
아직까지 본 적이 없던 방법이기 때문입니다
0:02:59.240,0:03:03.695
이 글은 그 내용에 대해서 적은 것인데,
제가 이 글의 링크를
0:03:03.695,0:03:06.695
트위터에 올렸을때
0:03:06.695,0:03:09.815
엄청 많은 사람들이
공유를 했었습니다.
0:03:09.815,0:03:12.745
아주 인기 있었고, 수천번 정도
공유 됐던거 같습니다
0:03:12.745,0:03:13.705
Redek은
0:03:13.705,0:03:16.715
많은 멋진 내용을 포스팅 했는데요
0:03:16.715,0:03:19.615
그 중 PyTorch에 대한 현업 종사자의 가이드라는
글이 마음에 들더군요
0:03:19.615,0:03:22.345
이 글의 내용은 약간
심화 학생들을 위한건데
0:03:22.345,0:03:25.325
PyTorch를 전에 사용해보지
못했지만
0:03:25.325,0:03:28.780
기본적으로 숫자를 다루는
프로그래밍을 해보신 분들에게
0:03:29.040,0:03:31.600
파고들어 가보는데
도움을 주기도 합니다
0:03:31.600,0:03:34.980
어떻게 PyTorch가 다른지
빠르게 훑어볼 수도 있습니다
0:03:35.440,0:03:38.140
약간 흥미로운 연구 내용도 있는데요
0:03:38.145,0:03:41.195
학습률과 배치 크기사이의 관계에
대한 것입니다
0:03:41.195,0:03:43.995
한 학생이 지난주에 물어본 내용이기도 하죠
0:03:44.000,0:03:48.580
정확히 그 내용에 대해서,
다른 학생이 분석한 글을 작성 했습니다
0:03:49.320,0:03:51.915
이 학생이 한 것은
0:03:51.915,0:03:54.595
서로다른 학습률과 배치크기를 시도해보고
0:03:54.595,0:03:57.195
각 결과를 비교해 본 것입니다
0:03:57.405,0:04:00.195
멋진 실험으로, 다른분들도
직접 해보시길 바랍니다
0:04:00.655,0:04:03.525
Redek이 또 다른 글을 적었는데요
0:04:03.605,0:04:06.595
일종의 연구적인 내용으로
0:04:06.595,0:04:09.655
어떻게 "재시작하는 확률적 경사하강법"이
0:04:09.735,0:04:12.535
함수에서 좀 더 일반화 가능한 지점을
0:04:12.535,0:04:15.565
발견할 수 있는지에 대한 것입니다
0:04:15.565,0:04:18.145
Redek은 그 지점을
0:04:18.145,0:04:21.175
좀더 직접적으로 발견하기 위한
측정법을 알아보고자 시도해봤습니다
0:04:21.175,0:04:23.935
그렇게 성공적이진 않지만, 꽤나
흥미로웠습니다
0:04:23.935,0:04:26.965
여기 다른 블로그 글은
0:04:26.965,0:04:30.375
초보자를 위한 CNN에 대한 내용도
있었습니다.
0:04:31.035,0:04:32.035
0:04:32.935,0:04:36.095
이 코스의 마지막 즈음 배우게 될 내용인데
0:04:36.095,0:04:39.365
아시다시피 우리가 ResNet을
사용 했었습니다.
0:04:39.375,0:04:42.165
Anand Saha라는 분이
아주 인상적으로
0:04:42.215,0:04:44.945
ResNet이 무엇이고
0:04:44.945,0:04:47.855
어떤 내용이 흥미로운지에 대하여
0:04:47.860,0:04:51.720
분석하는 글을 작성했습니다
이미 인터넷에서 많이 공유되는 글입니다
0:04:52.140,0:04:55.460
먼저 좀더 심화 내용을 확인해 보고 싶으신 분은
0:04:55.675,0:04:58.325
읽어보시기 바랍니다.
Apil Tamang도 비슷한
0:04:58.325,0:05:01.315
내용의 글을 작성했습니다
0:05:01.645,0:05:03.295
많은 자료들이
0:05:03.685,0:05:06.725
커뮤니티 포럼에 있는걸 보셨고
0:05:06.725,0:05:09.665
초보자 포럼(beginner forum)도 있습니다
0:05:09.665,0:05:12.600
그리고
0:05:13.340,0:05:20.620
멍청한 질문이라는건 없지만,
많은 주변사람들이 심화적인 내용을
0:05:20.860,0:05:23.565
이야기하는데 본인은 그렇지 않다면
0:05:23.565,0:05:26.565
초보자 포럼이 이를 도와줄 겁니다
0:05:26.565,0:05:29.445
그리고 본인 스스로가
0:05:29.475,0:05:32.535
심화 학생이라고 생각하고,
질문에 대한 대답을
0:05:32.535,0:05:35.445
도와줄 수 있다면 그렇게 해 주세요
단지 질문에 대답할때
0:05:35.445,0:05:38.215
사람들에게 친근한 방식으로
0:05:38.215,0:05:41.185
대답해주려고 노력해 주세요
0:05:41.185,0:05:45.420
1년 미만의 프로그래밍 경험과,
머신러닝을 해본적이 없다는 가정을 하고 말이죠
0:05:46.280,0:05:49.700
저는 이 클래스의
0:05:50.100,0:05:51.580
다른 학생들이
0:05:51.995,0:05:54.825
뭔가 기여할 수 있다고 느끼길 희망합니다.
0:05:54.825,0:05:57.080
단지 많은 사람들이
0:05:57.660,0:06:00.495
제 생각엔 전에 인터넷에 뭔가를
포스팅 해본적이 없는것 같은데
0:06:00.495,0:06:03.345
뭔가를 블로그 포스팅하기 위해서
0:06:03.345,0:06:06.205
특별한 사람일 필요는 없다는걸
기억해 주세요
0:06:06.205,0:06:09.055
생각나는걸 적고
0:06:09.275,0:06:12.275
인터넷에 올리세요
0:06:12.275,0:06:15.145
한가지 손쉬운 것은
포럼에 글을 올렸는데
0:06:15.145,0:06:18.125
상세한 부분까지 확신이 없다면
0:06:18.125,0:06:21.025
피드백을 받을 수 있는 기회가 있습니다.
0:06:21.025,0:06:23.795
"그건 그렇게 동작하는게 아니야,
대신 이렇게 동작하는거에요" 라던지
0:06:23.800,0:06:26.520
"이렇게 까지 생각한 부분이
0:06:26.520,0:06:29.060
아주 흥미로운 통찰력 이군요" 같은것 말이죠
0:06:29.620,0:06:32.635
지금까지 우리가 한 내용은
0:06:32.640,0:06:36.160
실무 종사자로서 받은 일종의
입문자용의 내용으로
0:06:36.400,0:06:41.040
이미지에 대한 컨볼루션 뉴럴넷을 다뤘습니다
0:06:41.060,0:06:43.860
이론적인 내용이나
왜 그렇게 동작하는지나
0:06:43.960,0:06:46.895
수학적인 내용에 대해선 아직
이야기 되지 않았습니다
0:06:46.895,0:06:49.935
하지만, 반면에
0:06:49.935,0:06:52.975
아주 잘 동작하는
0:06:52.975,0:06:56.165
모델을 만드는 방법을 배웠습니다
0:06:56.165,0:06:59.255
세계적 수준의 모델이죠
0:06:59.260,0:07:04.300
오늘 그 부분을 약간 리뷰하도록 하겠습니다
0:07:05.160,0:07:07.635
그리고 오늘은
0:07:07.635,0:07:10.565
CNN이 뭐고, 컨볼루션이 무엇이며
0:07:10.565,0:07:13.925
어떻게 동작하는지에 대한 이론적인 내용을
깊이있게 공부할 것입니다
0:07:14.080,0:07:17.100
그리고 나선, 여기 보이시는 원형의
각 단계에 대해서
0:07:17.160,0:07:20.075
딥러닝이 적용 가능한
어플리케이션 분야의 예를
0:07:20.075,0:07:23.175
소개할 것입니다
0:07:23.175,0:07:26.195
뉴럴넷 구조화된 데이터에
사용해서
0:07:26.195,0:07:29.175
로지스틱 이나, 금융 데이터와 같은 것에 대해서
0:07:29.175,0:07:32.305
뭔가를 예측하는 예를 소개할 것입니다.
0:07:32.305,0:07:35.365
그다음으로는 언어에 응용 되는,
0:07:35.365,0:07:38.685
보통 NLP라고 부르는 것으로
순환 구조의 뉴럴넷 을 사용하게 됩니다
0:07:39.055,0:07:41.945
네번째는 협업 필터링에 대한 것으로
0:07:42.545,0:07:45.575
추천 시스템 같은 것을 위한 것입니다
0:07:45.575,0:07:48.395
전에 우리가 한 이미지에 대한
0:07:48.395,0:07:51.405
CNN과 비슷한 것입니다.
0:07:51.405,0:07:54.365
이론적 디테일에 대한 설명 없이
0:07:54.365,0:07:57.395
우선 최신예 모델을 소개해 드리고
0:07:57.395,0:08:00.305
어떻게 모델을 만들어서, 동작시킬지를
알게 해드리는 것이죠
0:08:00.305,0:08:03.195
그리고 나서, 다시 역순으로 공부하게 됩니다
0:08:03.195,0:08:06.125
협업 필터링에 대해서
0:08:06.125,0:08:09.105
꽤 자세하게 파고들고,
내부적인 코드를 어떻게 작성하고
0:08:09.105,0:08:12.085
내부적으로 수학이 어떻게 적용되는지
공부하게 될 것입니다
0:08:12.085,0:08:15.095
그리고 동일한 과정을
구조화된 데이터 분석에도 진행합니다
0:08:15.095,0:08:17.985
그 다음으로는 CNN 이미지에 대해서
그렇게 하고
0:08:17.985,0:08:21.095
마지막으로는 순환 뉴럴넷(RNN)에 대해서
자세히 들여다 볼 것입니다
0:08:21.095,0:08:22.165
0:08:23.540,0:08:26.160
일단, 약간의 리뷰를 하면서
0:08:26.280,0:08:28.260
시작해 봅시다
0:08:28.580,0:08:30.000
0:08:30.695,0:08:33.655
그리고, 전에 건너뛰었던 부분에 대해서
0:08:33.655,0:08:36.655
약간 더 상세하게 이야기 해 보겠습니다
0:08:36.660,0:08:39.420
저는 모든 학생분들이
0:08:39.560,0:08:42.780
지난주의 개 품종에 관련된
숙제를 완료했다는걸
0:08:43.280,0:08:46.140
확인해 두고 싶습니다
0:08:46.140,0:08:49.840
기본적으로 배운 내용을
다른 종류의 데이터셋에 적용하는 것으로
0:08:49.840,0:08:52.120
가장 쉬운 예가
개 품종에 관련된 문제 입니다
0:08:52.140,0:08:55.240
모든 분들이 갖춰야할 모든 내용은
이 문제를 해결해 보는것으로 커버 됩니다
0:08:55.485,0:08:58.515
우선 첫번째로
어떻게 데이터셋을
0:08:58.515,0:09:01.305
다운로드 할지를 아셔야 합니다
0:09:01.305,0:09:03.955
데이터를 다운로드 할 수 있는
두 가지 장소가 있는데,
0:09:03.955,0:09:07.045
첫번째는 Kaggle이고
0:09:07.045,0:09:09.995
나머지 하나는 그 외의 장소입니다
0:09:09.995,0:09:12.985
그래서 우선
0:09:12.985,0:09:16.095
Kaggle에서 다운받아 보겠습니다
0:09:16.095,0:09:19.245
다운받기 위해서
Kaggle CLI 라는 것을
0:09:19.245,0:09:21.160
사용했는데요
0:09:22.360,0:09:25.235
0:09:25.240,0:09:27.900
일단 설치하기 전에
0:09:27.900,0:09:30.420
제 생각에는 이미 설치되어 있을 것 같습니다
0:09:31.700,0:09:32.700
0:09:33.595,0:09:36.455
네 맞아요, 사용중인 환경에 이미
0:09:36.525,0:09:39.215
설치가 되어 있습니다
0:09:39.215,0:09:42.215
이 명령어가 동작하는 방식은
0:09:42.215,0:09:45.175
Kaggle 웹 사이트에서 스크랩해서
다운로드를 진행하는데
0:09:45.175,0:09:48.315
Kaggle이 웹 사이트 구조를 바꾸면
정상 동작하지 않게 됩니다
0:09:48.315,0:09:51.335
Kaggle CLI를 사용하실때
0:09:51.335,0:09:54.135
Kaggle 웹사이트가 바뀐적이 있으면
0:09:54.140,0:09:57.185
Kaggle CLI의 가장 최신 버전을
사용 중 이신지
0:09:57.400,0:10:03.440
pip install kaggle-cli --upgrade
명령으로
0:10:03.700,0:10:06.480
체크 해 보시길 바랍니다.
0:10:06.485,0:10:09.885
이 명령을 수행하면
0:10:09.885,0:10:13.660
Kaggle CLI 포함 관련 라이브러리들이
모두 가장 최신 버전인지 확인합니다
0:10:13.660,0:10:15.880
여기까지 하셨다면
0:10:15.885,0:10:17.535
설명을 따라해 보시면 되는데
0:10:17.535,0:10:20.345
Rashma가 작성한 마크다운에
0:10:20.345,0:10:25.180
보시면, Kaggle CLI 관련 알아둬야 할
모든 내용이 들어 있습니다
0:10:25.940,0:10:29.220
간단하게 설명드리면
0:10:29.395,0:10:32.745
다음으로 하셔야 할 것은
0:10:32.975,0:10:34.965
kg download 명령 뒤에
0:10:35.965,0:10:38.305
사용자명과
0:10:38.715,0:10:41.515
패스워드를 적어주시고,
경연 제목을 적어 주셔야 합니다
0:10:41.515,0:10:44.605
kg download -u 사용자명 -p 패스워드 -c 경연이름
0:10:44.605,0:10:47.865
많은 학생분들이 경연이름으로 뭘 넣어야 할지
0:10:47.905,0:10:50.545
헷갈려 하시는데
0:10:50.545,0:10:53.735
브라우져의 주소창에 보시면
/c/ 뒤에서 부터 /data 전까지의
0:10:53.735,0:10:56.755
부분이 이 경연의 이름 입니다
0:10:56.760,0:10:59.920
여기선 planet-understanding-the-amazon-from-space
가 되는군요
0:11:00.320,0:11:03.265
Kaggle CLI로 다운로드 하기 전에
0:11:03.265,0:11:05.920
웹 사이트에서 한번은
0:11:05.920,0:11:08.780
Download를 클릭해주시기 바랍니다
0:11:08.780,0:11:12.080
최초에 한번은 경연에 대한
규칙에 동의를 해줘야 하기 때문입니다
0:11:12.085,0:11:13.945
만약 이 과정을 깜박 하시면
0:11:14.405,0:11:17.445
kg download 명령어가
규칙 동의하는걸 깜박하지 않았냐는
0:11:17.445,0:11:20.335
힌트를 줄 겁니다
0:11:20.335,0:11:23.445
만약 Kaggle을 사용자이름이 아니라
0:11:23.445,0:11:26.575
구글 계정 같은 것으로 로그인 하는경우엔
0:11:26.575,0:11:29.625
동작하지 않을 겁니다.
이때는 비밀번호 찾기를 수행하면
0:11:29.625,0:11:32.635
Kaggle에서 일반 비밀번호를
보내줄 겁니다
0:11:32.635,0:11:35.775
여기까지가 Kaggle에서
다운로드를 하는 과정입니다
0:11:35.775,0:11:38.925
Kaggle에서 데이터셋을 다운로드 하면
그 경연에 관련된 데이터가
0:11:38.925,0:11:41.000
들어있는 폴더를 통째로 받게 됩니다.
0:11:41.420,0:11:44.520
뭔가의 이유로 이 방법을
사용하지 않을도 모르는데요
0:11:44.525,0:11:47.275
첫번째 이유는 데이터셋이 Kaggle에
없는 경우 입니다.
0:11:47.275,0:11:50.385
두번째 이유는 Kaggle에 있는 데이터셋 전부를
0:11:50.385,0:11:53.365
다운로드 하고 싶지 않은 경우입니다
0:11:53.365,0:11:56.345
예를 들어서, 오늘 보게될 이 화면에 있는
0:11:56.345,0:11:59.355
경연은 두가지 포맷으로
0:11:59.355,0:12:02.585
데이터셋을 제공합니다.
TIF와 JPG죠
0:12:02.585,0:12:05.700
TIF 데이터셋은 19GB 크기이고
JPG는 600MB 정도인데
0:12:05.760,0:12:09.040
두가지 모두를 다운받는 경우는
많이 없을 겁니다
0:12:09.385,0:12:12.335
이 경우에 사용 가능한
커뮤니티 포럼에서 누군가 말해준
0:12:12.340,0:12:15.280
멋진 툴을 소개해 드리고자 합니다.
0:12:17.680,0:12:22.780
크롬 브라우져의 확장 어플이 있는데요
CurlWget 이라는 이름입니다
0:12:23.420,0:12:26.360
CurlWget을 검색하셔서
0:12:26.360,0:12:28.200
설치하시면 됩니다
0:12:28.200,0:12:30.140
이미 설치가 완료 되었다면
0:12:30.140,0:12:33.175
ADDED TO CHROME 이라고 표시되게 됩니다
0:12:33.180,0:12:34.600
지금부터는
0:12:34.600,0:12:37.460
뭐든지 다운로드 받고 싶은게 있으면
0:12:37.560,0:12:40.900
일단 다운로드 버튼을 눌러서
그 파일의 다운로드가 시작되게 한 후
0:12:41.080,0:12:44.020
다운로드 중인걸 취소 합니다
0:12:44.020,0:12:46.560
그리고, 우측 상단에 보시면
노란색 버튼이 추가된것이 보이실 겁니다
0:12:46.880,0:12:49.820
눌러보시면,
다운로드 하기 위한 명령이 나와 있습니다
0:12:50.140,0:12:52.240
이 명령을 복사해서
0:12:52.740,0:12:55.480
터미널(콘솔) 윈도우 창에다가
0:12:56.040,0:12:58.500
붙여 넣고
0:12:58.840,0:13:00.460
Enter를 누르시면
0:13:00.785,0:13:03.975
다운로드가 시작됩니다.
이 확장 어플이 하는 일은
0:13:04.080,0:13:06.740
쿠키라던지, 헤더등 그 파일을 다운로드하는데
필요한 모든 내용을
0:13:07.060,0:13:10.020
긁어오는 것입니다
0:13:10.025,0:13:12.805
Kaggle 뿐만 아니라
0:13:12.805,0:13:15.805
TV 프로그램이나 다른 데에서도
0:13:15.805,0:13:18.755
유용하게 사용될 수 있는 프로그램입니다
0:13:18.760,0:13:21.080
로그인이나 다른 이유에 의해 가려진 모든 종류의
0:13:21.500,0:13:24.620
컨텐츠를 가져올 수 있는 것이죠
0:13:24.635,0:13:27.565
데이터 과학에도 꽤나 유용하게
사용 될 수 있는데
0:13:27.565,0:13:32.240
왜냐하면 비디오 같은걸 종종
콘솔창에서 분석해야 하기 때문입니다
0:13:32.900,0:13:34.780
지금까지
데이터를 구하기 위한
0:13:34.780,0:13:36.420
두 가지 방법을
소개 드렸습니다
0:13:36.835,0:13:38.205
0:13:39.445,0:13:42.455
그러면, 데이터를 구한 다음에는
0:13:42.455,0:13:45.225
모델을 만들어야 합니다
0:13:45.675,0:13:48.635
아시겠지만, 그 전에
0:13:48.635,0:13:51.635
데이터가 data라는 폴더에
들어 있다고 가정하고 있습니다
0:13:51.675,0:13:53.755
Notebook이 있는 폴더의
0:13:53.755,0:13:56.885
하위 폴더입니다
0:13:56.885,0:13:58.795
반드시 데이터를
0:13:59.315,0:14:02.005
data 폴더에 넣어야 하는건 아니라서
0:14:02.005,0:14:05.005
/home 이나
다른 하드 드라이브나
0:14:05.005,0:14:06.740
어디든지 넣어도 됩니다.
0:14:07.140,0:14:10.175
courses/dl1 폴더 안을 확인해 보시면
0:14:10.175,0:14:13.015
data 폴더라는건 사실
0:14:13.015,0:14:15.415
다른 장소를 가리키는
0:14:15.715,0:14:18.785
심볼릭 링크라는걸 알 수 있습니다
0:14:18.785,0:14:21.635
어디든지 원하는 곳에
데이터를 넣어두고
0:14:21.635,0:14:24.775
단순히 심볼릭 링크를 걸어주시면 됩니다
0:14:24.775,0:14:28.045
심볼릭 링크를 사용해보신적이 없다면
0:14:28.045,0:14:31.135
리눅스의 얼라이어스나, 맥이나 윈도우즈의 바로가기와
비슷한 것이라고 보시면 됩니다.
0:14:31.315,0:14:34.385
꽤나 유용하고, 포럼에 가보시면
0:14:34.385,0:14:35.965
사용법에 대한 글이 있습니다.
0:14:36.315,0:14:38.825
심볼링 링크에 대한 다른 한가지 예로
0:14:38.825,0:14:41.495
Notebook이 있는 폴더에 있는
0:14:41.495,0:14:44.325
fastai 모듈도 심볼링 링크가 걸린것이고
0:14:44.325,0:14:46.620
실제로는 다른 장소에 있습니다.
0:14:48.280,0:14:53.335
리눅스에서 실제 저장된 장소가 어딘지
확인해 보고 싶으면
0:14:53.335,0:14:56.345
ls 명령에 -l 옵션을 줘서
폴더 내에 들어있는 것의 목록을
0:14:56.345,0:15:01.920
출력하면 됩니다
그러면 심볼링 링크가 걸린 곳을 확인 가능합니다
0:15:02.360,0:15:04.040
0:15:05.545,0:15:07.155
0:15:07.700,0:15:08.700
0:15:09.340,0:15:13.720
지금까지 우리가 한 것중에 약간
모호한게 있다면
0:15:13.720,0:15:15.620
모든걸 처음부터 끝까지 수행하는데
0:15:15.620,0:15:18.840
필요한 최소한의 코드양이
얼마나 되는가 입니다
0:15:18.845,0:15:21.935
여기 띄워진 화면을 넘어가지 않는
영역에서 보시는것이