코딩일기

1. 문제 : UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte UnicodeDecodeError: 'utf-8' codec can't decode byte 0xc0 in position 0: invalid start byte 오류가 발생 2. encoding='cp949' 를 추가한다. # 2분 정도 소모 hospdf = pd.read_csv(os.path.join(PATH, file), encoding='cp949') hospdf.head() # 2분 정도 소모 hospdf = pd.read_csv(os.path.join(PATH, file), encoding='cp949') hospdf...

문제 : tensorflow 2.4.0을 설치하지만 라이브러리가 계속 충돌 cuda version에 맞게 old한 버전의 tensorflow를 설치하려고 하는데 계속 오류가 난다! 패키지 설치 순서 매우 중요 !! 1. conda create -n {envname} python=3.8 2. conda activate {envname} 3. pip install tensorfow==2.4.0 만들자마자 제일 먼저 할 일은 tensorflow 맞는 버전 설치하기다. 그러면 부수적인 패키지는 대부분 함께 설치됨. (pandas 제외) 4. pip install tqdm 5. pip install ipykernel 6. python -m ipykernel install --user --name {envname}..

문제. 오류 내용 : Graph Execution Error Graph Execution Error { "name": "UnknownError", "message": "Graph execution error:\n\nFail to find the dnn implementation.\n\t [[{{node CudnnRNN}}]]\n\t [[sequential/lstm/PartitionedCall]] [Op:__inference_train_function_3136]", "stack": "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m\n\u001b[0;31mUnknownError\u00..

긴 길이 중 특정 구간의 몇 초만 동영상으로 저장하고 싶을 때 다만 주의할 점은 대부분의 코드 모두 동영상을 전체 다운로드 해서 ffmpeg로 cut하는 방식이다. 즉 처음부터 특정 구간만 다운로드하는 방법은 없다. 1. postprocess-args를 사용해서 cut하기 https://askubuntu.com/questions/970629/how-to-download-a-portion-of-a-video-with-youtube-dl-or-something-else How to download a portion of a video with youtube-dl OR something else? I'd like to be able to download a portion of a video only. For ..

1. 에러 내용 youtube-dl Error: Unable to extract uploader id youtube-dl -f 'bestvideo[height

1. tf record 훝어보기 만약 공식 사이트 / 캐글에서 tf_record를 저장했다면 다음과 같이 하나의 tf_record에 담긴 정보를 읽을 수 있다. https://www.kaggle.com/code/jesucristo/analysis-youtube8m-2019#Exploring-Data-(TFRecord-format)-using-a-subsample-of-the-YouTube-8M-video-&-frame-level-data. Analysis YouTube8m 2019 📹 Explore and run machine learning code with Kaggle Notebooks | Using data from The 3rd YouTube-8M Video Understanding Challen..

AttributeError: module 'tensorflow' has no attribute 'python_io 위와 같은 코드를 썼는데, 에러가 났다. AttributeError: module 'tensorflow' has no attribute 'python_io' 해결방법 : tf.compat.v1 을 추가하기 tf.compat.v1 을 추가하기!! 이렇게 되면 코드가 잘 돌아간다 Reference : https://github.com/datitran/raccoon_dataset/issues/90 How to use tf.python_io.TFRecordWriter in Tensorflow 2.0 (generate_tfrecord.py) · Issue #90 · datitran/raccoon_da..

onnx Error ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.26' not found (required by /home/home/anaconda3/envs/simswap/lib/python3.6/site-packages/onnx/onnx_cpp2py_export.cpython-36m-x86_64-linux-gnu.so) ImportError: /usr/lib/x86_64-linux-gnu/libstdc++.so.6: version `GLIBCXX_3.4.26' not found (required by /home/home/anaconda3/envs/simswap/lib/python3.6/site-packages/..

pip install insightface github 코드를 돌릴 때 insightface를 설치할 필요가 있었다. 처음에는 collecting.. installing.. 잘 나오는 듯 하더니 마지막에 onnx 관련해서 빨갛게 오류가 나왔다. ERROR: Command errored out with exit status 1: /home/honme/anaconda3/envs/tmp/bin/python -u -c 'import io, os, sys, setuptools, tokenize; sys.argv[0] = '"'"'/tmp/pip-install-8o2aw5p6/onnx_e7d2b9d1228a4b13a919e933f594b4ed/setup.py'"'"'; __file__='"'"'/tmp/pip-in..

Problem : GPU를 차지하는 프로세스 찾기! 현재 gpu를 사용하고 있는 명령 코드가 궁금할 수 있다. 1. nvidia-smi 먼저 nvidia-smi를 해서 gpu 메모리를 확인한다. Memory-usage에서 24000에서 23600을 뭔가가 차지하고 사용하고 있는 것을 알 수 있다. 그리고 아래 Processes를 살펴보면 GPU0번에 python ~~ 명령어가 PID 16461로 23600을 사용하고 있는 것을 알 수 있다. 2. ps -ef | grep {PID} 16461을 잘 기억하고 ps -ef 명령어를 사용해서 파이썬 풀 코드를 확인할 수 있다. ps -ef | grep 16461 하면 현재 프로세스 리스트 중 16461이 들어간걸 잡아주고 그 결과 PID가 16461인 코드를 ..