[I2S]코랩에서_학습 가능한 베이스라인(train set 구축과 tfrecord 포함).ipynb

Epoch 1 Loss 0.684377 Time taken for 1 epoch 1424.3150670528412 sec

왜 batch 0에서  loss가 2.93이나 되는거지? 이해가 안가네!

smiles 25epoch 학습 최종  loss : 0.27077

 --> 얘를 learning rate를 더 줄여서 학습시켜보자. learning_rate=0.00051  Epoch 26 Loss 0.254031

Epoch 27 Loss 0.249654 Epoch 28 Loss 0.248825 계속 줄긴 한다! Epoch 29 Loss 0.244967 Epoch 30 Loss 0.244244

learning_rate를 더 낮춰보자.

 

 

deepsmiles 7epoch 학습 최종  loss : 0.18

selfeis 17epoch에서 loss가 갑자기 확 올랐다. 

deepsmiles 25epoch학습 최종 loss :0.1742

 

 

224_B0 smiles

224_B0 smiles

224_B0 smiles

 

224_B0 smiles

 

299 smiles

224_V3

224_V3224_B0 smiles

299_V3

299_V3

299_V3

299_V3

V3_223_200만개

100만개로 만든  tokenizer

tokenizer는 100만개로 하나 1000만개로 하나 똑같네 처음에 smiles를 고를때 36개의 word만 넣었기 때문

 

V3_224_200만개 

-->learning rate을 조절해보자. epoch7을 불러와서!

loss가 약간 떨어지긴 했는데.. 애초에  learning_rate을 설정할때. 기본값으로 설정하지 말껄 그랬나?

 

V3_299_200만개 

learning rate이 문제네..!!

learning_rate=0.00025로 설정했는데  loss가 더 떨어지진 않는다...

--> batch_size와 embedding size가 다른 것이 문제인듯 하다. 따라서 전부 다시 학습 시켜보자!