make resource 시 에러가 발생합니다.

[ilhoonkim]

make all 까지는 잘되었는데..
make resource 를하니 특정파일들이 없다는것같은데 무슨 문제일까요?

[cynthia]

전체 트레이스를 봐야 알겠지만, pytorch가 정상적으로 사용 가능한 환경인지 한번 확인해보실 수 있나요? Precompiled 바이너리의 경우 비교적 최근 프로세서 기준으로 빌드가 되어있어 없는 옵코드가 바이너리에 들어가서 발생한 현상이 아닐까 생각됩니다.

(어제 언듯 본 기억으로는 네이티브 코드에서는 SIMD를 쓰는 브랜치는 없었던걸로 기억되나 확실하지는 않습니다.)

[krikit]

"Illegal instruction" 에러는 build/bin/khaiii 실행 프로그램이 -mfma 옵션과 함께 빌드된 상태에서 이 바이너리를 FMA(Fused Multiply Add) 인스트럭션이 없는 장비에서 실행할 때 발생하는 것을 주로 봤습니다. 그런데 make resource 명령을 보니 그런 문제는 아닌 것 같아 알 수가 없는데요. 혹시 좀더 자세히 알려주실 수 있을까요? 다음의 내용들도 함께 주시면 도움이 될 것 같습니다.

• os 버전: Ubuntu: cat /etc/issue, CentOS: lsb_release -a, Mac: 메뉴바의 사과모양 => "이 Mac에 관하여"
• gcc 버전: gcc --version
• python 버전: python --version

[ilhoonkim]

@krikit
os: Ubuntu 14.04.5 LTS
gcc : gcc (Ubuntu 5.5.0-12ubuntu1~14.04) 5.5.0 20171010
python : Python 3.6.0

현재 이상황입니다.

[cynthia]

cat /proc/cpuinfo도 같이 올려주시면 도움이 될 것 같습니다.

[krikit]

환경은 문제가 없어 보이는데요..

1. 아래와 같이 실행한 다음 결과를 보여주실 수 있을까요?

python3 -c "import torch; print('OK')"

2. rsc 디렉토리로 이동한 다음 아래와 같이 명령을 하고 결과를 좀 보여주실 수 있을까요?

mkdir -p tmp
PYTHONPATH=./lib python3 ./bin/compile_model.py --model-size base --rsc-src ./src --rsc-dir ./tmp

[ilhoonkim]

@krikit
rsc 디렉토리가 어디인지 정확히 이해를못해서 실행은 못해봤고

위의 torch 명령어의 경우 Illegal instruction
라고 출력됩니다.

[ilhoonkim]

@cynthia

이렇게나오네요

[krikit]

@ilhoonkim
PyTorch가 사용하시는 하드웨어와 안맞는 버전이 설치된 것 같습니다.

[cynthia]

네, 제가 추정한 문제가 맞네요. Pytorch 소스 받아서 빌드하시거나 리소스를 다른데서 빌드해서 가져오셔야 할 듯 합니다.

[gjustin40]

make resource 과정에서 비슷하지만 살짝 다른 오류가 발생했습니다.

현재 GCP vm을 통해 설치를 진행하고 있는데, 제가 리눅스 기반을 처음 다뤄봐서 사소한 것 하나하나가 문제네요.
일단 제 상황입니다.

SAMSUNG@gpu:/khaiii/build$ gcc --version
gcc (Ubuntu 5.4.0-6ubuntu116.04.10) 5.4.0 20160609
Copyright (C) 2015 Free Software Foundation, Inc.
This is free software; see the source for copying conditions. There is NO
warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.

대부분 python을 입력하면 python3.x 가 나오는데 저는 자꾸 python2.x가 나오네요...
기본이 python3.6 이상으로 알고 있는데 제설치가 가능한가요? 감사합니다.

[krikit]

@gjustin40

"invalid syntax"로 보아 python version 문제로 보입니다. #16 이슈는 설치된 pytorch가 하드웨어와 맞지 않는 현상입니다.

python 버전 문제의 경우 현재 master 브랜치는 3.6 이상의 버전을 요구합니다. 바로 f-strings를 사용했기 때문인데요, 이 문제는 #5 에서 이슈가 제기되었고 cynthia 님의 도움으로 해결되어 develop 브랜치에 머지 되었습니다.

따라서, 1) python 3.6 이상 버전을 사용하시거나, 2) develop 브랜치를 사용하시거나, 3) v0.2가 배포되면 master 브랜치를 사용하시면 됩니다.

[gjustin40]

@krikit 감사합니다.
Python3.6으로 재설치하니까 해결됐습니다. 감사합니다!!

그리고 제 경우에는 python3.5 -> python3.6으로 재설치하는 과정에서 여러 에러가 발생했는데,
이 에러메세지인 경우
Traceback (most recent call last):
File "/usr/local/bin/pip3", line 7, in
from pip._internal import main
ModuleNotFoundError: No module named 'pip._internal'
같은 오류 발생하시는 분들
https://askubuntu.com/a/1026848 에서 해결할 수 있습니다.

[honeybeat1]

안녕하세요, 저도 make resource 과정에서 비슷하지만 조금 다른 오류가 나서 여쭤봅니다..
CentOS 7이구요!
python과 gcc는 다음과 같습니다.

계속 저 에러가 나는데ㅠㅠ 어떻게 해야할까요?

[cynthia]

@honeybeat1 python을 python3로 심벌릭 링크 하셔야 할 것 같습니다. 다른 방법으로는 아나콘다 파이썬 같은걸 설치하셔도 될 듯 합니다.

(맨 밑 오류만 보고 잘못된 답변을 보내서 정정합니다)