[I2S] 메모했던것 정리 ssh접속 jupyter 실행 등
- Google Cloud Platform Console에서 VPC 네트워크 메뉴에서 '방화벽' 선택
- '방화벽 규칙 만들기' 선택
- 방화벽 이름 지정
왜 Ram이 다운되는거지 ??.. 이해가 안가네~
jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root
프로세스관리 명령어 : https://121202.tistory.com/45
sudo reboot
ssh -i /home/chkim/.ssh/id_rsa chkimlgsmiles@35.189.183.178
ssh -i /home/chkim/.ssh/id_rsa churchobs01@34.71.235.200
ssh -i /home/chkim/.ssh/id_rsa churchobs01@34.64.192.152
ssh-keygen -t rsa -C "chkimlgsmiles@gmail.com"
ssh-keygen -t rsa -C "ckddn0418@gmail.com"
jupyter notebook --generate-config
vi ~/.jupyter/jupyter_notebook_config.py
c = get_config()
c.NotebookApp.ip = '123.456.78.90'
c.NotebookApp.open_browser = False
c.NotebookApp.port = 8888
jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root&
/home/chkim/.ssh/heeson0924_rsa
ssh -i /home/chkim/.ssh/heeson0924_rsa heeson0924@34.71.16.146
ssh -i /home/chkim/.ssh/cho_rsa cho041814@35.234.41.199
ssh -i /home/chkim/.ssh/ckddn0418_rsa ckddn0418@35.188.3.110
2048,64
2048,25
1280,49
1280,16
그리고 local ssd의 데이터는 instance가 stop 하거나 delete 되면 데이터가 유실 됩니다.
0.47이 나온 이유?B0_100만_ 0.0051 learning cruve가 굉장히 안정적이였다. --->35epoch까지 돌린 것이 loss : 0.161인데 이걸 해볼까?
B0_200만_0.0051은 learning cruve가 조금 불안정한것 같다. --> 왜 그런것일까??이해가 안간다.. num_steps라는 상관 없고..
learning curve가 안정적으로 나온 것을 찾아보자.
--> learning_rate를 0.001(default)로 하고 batch_size를 400으로 해 주었더니 학습이 안정적으로 잘 된다
V3_299_200만 epoch5까지 learning cruve가 굉장히 안적적이다. 얘를 좀더 돌려보자.
뭘 해야할까?
--> vm을 만들어서 일단 200만개만 feature extract를 해볼까?
아니면 B0_200만을 좀 수정해보자. 그리고
tfrecord_224와 tfrecord_3천만 에 있는 record가 다른지 확인해보자.
~/.gsutil 삭제해야함
gsutil mv gs://chkim_tfrecord/tfrecord_7680000~10001919/* gs://chkim_tfrecord/tfrecord_3천만_300/
0. Gcp 할당량 증가 요청하기 --> 왜 안주는거지?
1. 선점형 인스턴스 테스트 해보기 --> chkimsmiles계정으로 해보기. --> 테스트 완료gx
0. B0_200만_learning_rate=default로 학습시키기 --> 학습 데이터수와 learning rate의 관계알아보기 --> learning rate를 줄이는 것보다 batch_size를 키우는게 낫다.
1. nosiy student적용한 B0_ 모델로 학습시켜보기 --> B0_nosity_student_100만 --> load_weigths로 가중치를 불러왔는데 에러가 뜬다..You are trying to load a weight file containing 130 layers into a model with 131 layers.--> 지금 하긴 힘들겠다.
3. 100만개로 학습이 되긴 하는지 알아보기.-->학습이 잘 된다.
4. extract featrue후에 학습 하는것과 tfrecord를 이용해서 image를 바로 넣는것이 학습 속도 차이가 크게 나지 않는다
5. 학습 데이터는 매번(매 epoch마다) 섞어주는 것이 좋아요, Batch Normalization, Adam을 사용하고 있다면 엡실론 파라미터를 조금 키워보길
--> epoch 마다 validation을 할 수 있게끔 하자.
0.342039
0.206744
0.193711
0.192455
0.184368
학습을 더 시킬것인가.. 몇몇 batch는 더 튀는것 같기도 한데 말이지..
cp $(ls | head -n 1000) ../test_small
\https://yjjo.tistory.com/8
1d, 2d, 3d가 입력 데이터에 따른 다고 생각하는것은 오해 필터의 진행 방향의 차원 수를 의미
javac -cp cdk-2.3.jar:. org.openscience.decimer.SmilesDepictor.java # Compiling the script on your local directory.
java -cp cdk-2.3.jar:. SmilesDepictor # Run the compiled script.
\
org.openscience.decimer
javac -cp cdk-2.3.jar: org.openscience.decimer.SmilesDepictor.java