분류 전체보기 (108) 썸네일형 리스트형 [I2S] "efficientnet-b0" __________________________________________________________________________________________________ Layer (type) Output Shape Param # Connected to ================================================================================================== input_5 (InputLayer) [(None, 224, 224, 3) 0 __________________________________________________________________________________________________ stem_conv .. [TPU] DataLossError: truncated record at 269402 [[{{node MultiDeviceIteratorGetNextFromShard}}]] [[RemoteCall]] DataLossError Traceback (most recent call last) in () 9 total_loss = 0 10 ---> 11 for (batch, (img_tensor, target)) in enumerate(train_dist_ds): 12 strategy.run(train_step_fn, args=(img_tensor, target)) 13 8 frames /usr/local/lib/python3.6/dist-packages/six.py in raise_from(value, from_value) DataLossError: truncated record at 269402 [[{{node MultiDeviceIteratorGetNextFromShard}}]] [[RemoteCall].. [kaggle] TPU사용 colab에서는 잘 되는데 kaggle에서는 잘 안되는이유 데이터 병목현상인가 싶은데.. 안녕하세요. 캐글코리아 여러분. 어제 대전 딥러닝 컨퍼런스에서 제 세션으로 발표했던 TPU 알아보기 발표자료와 3차대회 예제 소스코드를 깃허브로 공유합니다. 반드시 기억하셔야 할것은, GCS 버킷은 us-central1 입니다. TPU 사용은 무료입니다만 GCS 저장 비용이 나올 수 있습니다. 하지만 100기가 이하로 저장한다면 한달에 1달러 겨우 나올까말까입니다. GCS 스토리지 비용이 과금될 수 있다는 사실 기억하세요! 버킷은 Regional로 만드시는걸 추천드립니다. 3차 대회 제 베이스라인 커널(P100)기준 8천개 데이터 학습 1에폭에 약 160초 소요되는 반면에 코랩 TPU기준 1만개 데이터 학습 1에폭 당 39초임을 보실 수 있습니다. 멋지죠? 혹시 자료 내부에.. [휘경교회] 새벽예배행 4 행 4:1 사도들이 백성에게 말할 때에 제사장들과 성전 맡은 자와 사두개인들이 이르러 [베드로와 요한이 의회 앞에 끌려오다] d베드로와 요한이 아직도 사람들에게 말하고 있는데, 제사장들과 성전 수위대장과 사두개파 사람들이 몰려왔다. (d. 그, 그들이) While Peter and John were speaking to the people, the leading priests, the captain of the Temple guard, and some of the Sadducees came over to them. 행 4:2 예수 안에 죽은 자의 부활이 있다고 백성을 가르치고 전함을 싫어하여 그들은 사도들이 사람들을 가르치는 것과, 예수의 부활을 내세워 죽은 사람들의 부활을 선포하고 있는 것에 격분해서,.. [I2S] image resize에 관한 Resize images to size using the specified method. Resized images will be distorted if their original aspect ratio is not the same as size. To avoid distortions see tf.image.resize_with_pad. https://www.tensorflow.org/api_docs/python/tf/image/resize tf.image.resize | TensorFlow Core v2.3.0 Resize images to size using the specified method. www.tensorflow.org image = tf.image.resize(image, (target_.. [I2S]코랩에서_학습 가능한 베이스라인(train set 구축과 tfrecord 포함).ipynb --> 얘를 learning rate를 더 줄여서 학습시켜보자. learning_rate=0.00051 Epoch 26 Loss 0.254031 Epoch 27 Loss 0.249654 Epoch 28 Loss 0.248825 계속 줄긴 한다! Epoch 29 Loss 0.244967 Epoch 30 Loss 0.244244 learning_rate를 더 낮춰보자. tokenizer는 100만개로 하나 1000만개로 하나 똑같네 처음에 smiles를 고를때 36개의 word만 넣었기 때문 -->learning rate을 조절해보자. epoch7을 불러와서! loss가 약간 떨어지긴 했는데.. 애초에 learning_rate을 설정할때. 기본값으로 설정하지 말껄 그랬나? learning rate이 문제네... [I2S] BASELINE_41만개_train3_selfies --> 무엇이 문제일까? [I2S] inceptionV3 , Efficient net feature extraction print(batch_features.shape[0]) : 1 print(batch_features.shape[3]) : 2048 print(batch_features.shape) : (1, 64, 2048) Efficient net 을 사용하기 위해선. preprocess를 어떻게 해야할 것인가? preprocss_inpjut 메서드의 역할이 무엇일까? Keras는 이미지 배치와 함께 작동합니다. 따라서 첫 번째 차원은 보유한 샘플 (또는 이미지) 수에 사용됩니다. 단일 이미지를로드하면 하나의 이미지 모양 인 .(size1,size2,channels) 이미지 배치를 생성하려면 추가 차원이 필요합니다. (samples, size1,size2,channels) 이 preprocess_input기능은 모델에.. [Anaconda] 패키지를 분명히 설치했는데 왜 설치되지 않았다고 뜨지? anaconda에서 가상환경을 만들고 패키지를 설치하고 jupyter notebook을 실행시켜 모듈을 import했는데 되지 않는다? 그 이유는 바로 jupyter를 가상환경에 설치해 주지 않았기 때문.. 그래서 base환경의 jupyer가 실행되었던 것이다. 반드시 가상환경을 설치하고 jupyter도 같이 설치 해 주자! [I2S] 90만개 를 학습시킨 모델에 추가학습이 가능할까? Epoch: 전체 데이터 학습 한 번만으로 모델이 완성되었다고 보기 어렵기에 반복적인 학습을 통해 높은 정확도 (accuracy)를 가지는 모델을 만들 수 있다. 학습 데이터의 양이 많지 않으면 epoch이 적극적으로 활용된다. Batch: 학습 모델의 weight tuning을 위해 전체 데이터를 메인메모리에 적재하는 것은 기업 규모의 컴퓨터가 아닌 이상 어렵다. 그렇기에 전체 데이터를 잘게 나누어서 메모리에 적재시켜 학습한다. Iteration: 전체 데이터에 대한 오차 (cost) 총합을 가지고 backpropagation을 수행하면 weight가 한 번에 크게 변할 수 있다. 즉, gradient의 이동 폭이 커서 global minimum을 지나칠 수도 있기에 gradient를 반복적으로 조금씩.. 이전 1 2 3 4 5 6 7 8 ··· 11 다음
