반응형

Boostcamp AI tech 3기 41

mmcv, nvcc 설치

ㅋㅋㅋ.. conda install 이 끝이 아니라 mmdet, mmcv, nvcc 설치에서 계속 헤매고 있다. ㅜㅜ 저번 아나콘다 설치 https://clouds.eos.ubc.ca/~phil/docs/problem_solving/01-Orientation/01.05-Installing-Anaconda-on-Linux.html 1. nvcc running build_ext error: [Errno 2] No such file or directory: '/opt/bin/nvcc': '/opt/bin/nvcc' ---------------------------------------- ERROR: Command errored out with exit status 1: /opt/ml/anaconda3/envs..

gpu usage 확인하기 watch -n 1 nvidia-smi

여러 모델을 동시에 돌리고 싶은데 메모리 얼마나 차지하는지 확인하고 싶을 때 명령어 watch -n 1 nvidia-smi 가운데 Memory-Usage로 판단할 수 있다. 16787/32510이니까 반 정도 썼음 아직 여유가 있으므로 배치사이즈나 파라미터가 작은 모델을 돌릴 수 있다. 이 사진은 32237/32510으로 거의 한계에 가깝게 쓰는 모습

global /io/opencv/modules/imgcodecs/src/loadsave.cpp (239) findDecoder imreaead_(~~) : can't open/read file: check file path/integrity 확장자 조심

global /io/opencv/modules/imgcodecs/src/loadsave.cpp (239) findDecoder imreaead_(~~) : can't open/read file: check file path/integrity global /io/opencv/modules/imgcodecs/src/loadsave.cpp (239) findDecoder imreaead_(~~) : can't open/read file: check file path/integrity 경로가 잘못된줄 알고 상대경로를 절대경로로도 바꿔봤었는데 결국 확장자가 달라서였다. .jpg인데 파일에서 .png로 바로 붙여버려서! 확장자 주의하자 첫번째는 경로이긴한데 .jpg .png도 조심

pstage - 서버 메모리 확인과 비우는 방법 df -H

pstage 하는데 서버가 많이 차서 비우는 방법 yolo train 돌리다가 메모리가 차서 확인해봤다. 명령어는 df -H df -H 100%가 찬 메모리ㅜㅜ 필요없는 .pth 파일부터 지우기 model 상태를 저장하는 checkpoint 파일인 .pth 파일 내 경우에 epoch 마다 저장하고 있어서 금방 차버렸다. 이미지 몇십장 지우기보다 동영상 지우는 것이 좋은 것처럼 필요없는 .pth 파일들은 모두 지워버린다. Trash에서 직접 비우기 만약 파일들 지워도 잘 안 비워지면 휴지통 비우기처럼 Trash에서 직접 지워봐도 좋다 명령어는 rm -rf ~/.local/share/Trash/files/* rm -rf ~/.local/share/Trash/files/* 살짝 더 내려가는 것을 확인할 수 있다.

unable to display MLflow UI... -> mlruns 폴더가 있는 경로에서 하자.

명렁어 mlflow ui를 실행 하지만 localhost:5000에 접속하니.. Unable to display MLflow UI - landing page (index.html) not found. You are very likely running the MLflow server using a source installation of the Python MLflow package. If you are a developer making MLflow source code changes and intentionally running a source installation of MLflow, you can view the UI by running the Javascript dev server: https://..

torch.range is deprecated warning -> torch.arange

/usr/local/lib/python3.7/dist-packages/ipykernel_launcher.py:7: UserWarning: torch.range is deprecated and will be removed in a future release because its behavior is inconsistent with Python's range builtin. Instead, use torch.arange, which produces values in [start, end). pytorch의 range 함수는 파이썬의 range함수와 동작이 달라 제거될 예정입니다. 따라서 torch.arange함수를 사용해주세요. 실제로 range함수는 torch.range(0,10)을 하면 tensor([ ..

텐서 함수 조금 정리. 생성, 타입, select, cat, stack

각종 텐서 다루는 함수 정리 참고한 문서들 http://www.gisdeveloper.co.kr/?p=8392 잘 정리되어있음 추천!! # 텐서 생성 1. torch.rand(2,3) 그냥 난수 값으로 2*3 텐서 생성 2. torch.randn(2,3) 정규분포 따른 난수 값 3. torch.randint(0,10,size=(2,3)) 정수값으로 이루어진 난수값 4. torch.zeros(2,3) 5. torch.zeros_like(other_tensor) 6. torch.ones_like(other_tensor) # 텐서 타입 1. tf.type() # torch.FloatTensor 2. type(tf) # 3. tf.type(dtype=torch.IntTensor) int type으로 타입을 변경..

반응형