티스토리

앙창

검색하기

블로그 홈

앙창

ang-love-chang.tistory.com/m

ML.chang 님의 블로그입니다.

구독자: 0

방명록 방문하기

주요 글 목록

[머신러닝]머신러닝 프로젝트에서 맞닥뜨릴 수 있는 문제들 business-datascience-develop.tistory.com/3 머신러닝 프로젝트에서 맞닥뜨릴 수 있는 문제들 2016년, 알파고와 이세돌의 대국을 기점으로 많은 사람들이 머신러닝에 관심을 가지기 시작했다. 특히 해외의 캐글(머신러닝 대회 플랫폼)을 학부생들까지 알 정도로 머신러닝이 대중화되고 있 business-datascience-develop.tistory.com 공감수 0 댓글수 0 2021. 1. 21.
[lg_불편예측]데이터 탐색 데이터는 서비스 품질 변화와 에러 로그이고 비식별화 된 상태로 데이터에 대한 자세한 설명 없이 진행될 예정입니다. 감사합니다. 2.1 train_err : 시스템에 발생한 에러 로그 train_err_data.csv 파일의 errtype column의 value_counts를 카운트하여 학습에 사용. 주어진 기간동안 user_id별로 peroblem가 한 번이라도 발생했는 지를 확인 5개의 컬럼 user_id : 유저 아이디 time : 에러가 발생한 시간 2020 1101 02 56 16 model_nm : 이건 뭐지? : 9개의 모델 존재 fwver : 이것 뭐지? --> 비식별화된 어떤 값. 37개의 범주 존재 errtype : 에러타입 : 41개의 에러타임 존재 23 2276515 31 19852.. 공감수 0 댓글수 0 2021. 1. 6.
[열린문CPE센터] 로고(베데스다 연못가) https://www.wix.com/logo/maker/esh/zoe-templates?companyName=%EC%97%B4%EB%A6%B0%EB%AC%B8CPE%EC%84%BC%ED%84%B0&tagLine=%EB%B2%A0%EB%8D%B0%EC%8A%A4%EB%8B%A4%EC%97%B0%EB%AA%BB%EA%B0%80&industry=%7B%22industry%22%3A%22%EC%97%B0%EB%AA%BB%EA%B0%80%20%EC%82%AC%EC%A7%84%22%2C%22isCustom%22%3Atrue%7D&tags=fresh%2Ccreative&logoPurpose=socialMedia%2Cwebsite%2CbusinessCards&referralAdditionalInfo=arenaSplit.. 공감수 0 댓글수 0 2021. 1. 1.
[열린문교회] 계7 내가 인침을 받은 자의 수를 들으니 이스라엘 자손의 각 지파 중에서 인침을 받은 자들이 십사만 사천이니 계 7:1 이 일 후에 내가 네 천사가 땅 네 모퉁이에 선 것을 보니 땅의 사방의 바람을 붙잡아 바람으로 하여금 땅에나 바다에나 각종 나무에 불지 못하게 하더라 그 뒤에 나는 천사 넷이 땅의 네 모퉁이에 서서 땅의 네 바람을 붙잡아서, 땅이나 바다나 모든 나무에 바람이 불지 못하게 막고 있는 것을 보았습니다. Then I saw four angels standing at the four corners of the earth, holding back the four winds from blowing upon the earth. Not a leaf rustled in the trees, and the sea became as smooth as glass. 계 7:2 또 보매 다른 천사가 살아 계신 하나님의 .. 공감수 0 댓글수 0 2020. 12. 29.
[비정형자료분석] 신경망 기초2 공감수 0 댓글수 0 2020. 12. 17.
[비정형 자료분석] 신경망 기초1 SVM ,RF, NB, 해석가능한 부분이 있는 모델 전통적인 머신러닝기법 공감수 0 댓글수 0 2020. 12. 17.
[비정형자료분석] 신경망 기초1-오류역전파과정상세 공감수 0 댓글수 0 2020. 12. 17.
[비정형자료분석] 6. 벡터시멘틱스와 임베딩 사전을 dictionary 포함해서 le TF-IDF : Term Frequency - Inverse Document Frequency 검색엔진이 대부분 tf-idf를 기반으로 했었다. 아주 중요한 모델이다 . 대체적인 idea PMI --> 단어의 동시 등장에 관련한 이론 고전적인것에 대해서 말했다면 이제는 최근것. word를 vector로 변환해주는것. 문서의 수만큼의 차원을 가지는 row vector , 단어의 수만큼의 차원을 가지는 column vector.. -->scalability(확장성)문제가 있을 수 있다. CO-OUCCRUENCE기반의 계산값으로 채워진 각 차원에 대해서 많은 경우에 0으로 채워진다. sparsity문제가 생긴다. 로미오라는 단어는 하나의 문서에서만 나오고 다른 문서에서.. 공감수 0 댓글수 0 2020. 12. 17.
[비정형 자료분석]어떻게 해야 기계에게 글을 잘 읽고 말할 수 있게 할까? 문서에서 질문에 해당하는 정답을 찾아야한다.서로 상관관계를 찾아주는 역할. co-attention CBOW : 주변 문맥을 통해서 현재 단어를 예측하는 방법 Skip-gram :현재 단어를 통해서 주변 문맥을 예측하는 방법 나는 사과가 좋다. CBOW는 나는 ~가 좋다 라는 문장을 통해서 "사과"라는 벡터를 만들어내는 것. Skip-gram은 : "사과"를 통해서 나는 ~가 좋다. 라는 문장을 만들어내는 것 --> unsupervised learning을 해서 vector를 만든 것. 자질이란? 언어 정보외에 추가적인 정보 RNN만 쓰니까 속도가 느리다. Feed forward neraul network만 이용해서 해보자 transformer 각종 인코딩을 사용하자. 질의와 문맥을 잘 알아먹게 할 수 있.. 공감수 0 댓글수 0 2020. 12. 17.
[비정형자료분석] 품사태깅 MD : 조동사 VB : 동사 C(MD,VB) : MD다음에 VB가 나오는 경우의수 A는 state transition에 관한 matrix고 B는 state에서 output으로 emissions 하는 그런 sequence를 표현하기 위한 HMM pos tagging에만 쓰이는 알고리즘은 아니다. conditioning 되는게 hidden state냐 conditioning되는게 data 냐. 그런 차이가 있다. 공감수 0 댓글수 0 2020. 12. 17.
이홍락교수 2016 인터뷰 so I have been doing deep learning maybe over about 10 years I mean I did PhD at Stanford under professor andry so I was pretty much the first student in his group starting doing deep learning for PhD and also it was the beginning period where other labs had some so like very emerging research on deep learning so so since then I got PhD in 2010 and then moved to Michigan as a seasoned professor .. 공감수 0 댓글수 0 2020. 12. 16.
[LG]Vision Lab - Seunghwan Kim (김승환) few-show learning 레이블링에 들어가는 비용 최소화 현장에서의 신뢰도 확보 모델 결과물에 대한 신뢰도를 확보하고 모델 적용후 비전기술 기계노화로 인한 성능저하 등 페인 포인트가 많이 좋아한다. full auto mation은 목표로 디지털 휴면 새로운 디지털 경험 generative model few shot learning인간 수준의 자연스러운 아바타. visionlabal은 lg 그룹의 비즈니스에 직접적인 그룹. 공감수 0 댓글수 0 2020. 12. 7.
[ LG] AI연구원 온라인 출범식 배경훈 LG AI연구원장 고객을 위한 가치창조 고객이 실질적으로 필요로하는 가치 고객의 삶을 질적으로 변환하는 ai연구를 통해 디지털 트랜스포메이션을 완성한다. ai를 가장 잘 활용하는 방법들을 연구하겠습니다. 최우선 과제는 그룹내 계열사에 산재한 난제들을 ai연구를 통해 해결하는것 우리의 생활과 산업 전만에 걸쳐 방대하고 유의미한 데이터 확보 ai기술 자체보다는 활용하는 수준이였다. 배터리의 수명 용량 예측 모델 검수과정 필요했던 충방전 시간 단축. 신약후보 발굴.. 성공.. 8개월만에.. 대박. 생성모델 설명가능한 ai개발 고객센터 챗봇 기계자동독해 MRC기술. 상담사가 쉽고 빠르게 원하는 정보를 찾아 전달 할 수 있었다. 특허 전문 문헌 일일히 읽어보았는데 최신 자연어처리 기술로 해결해 나가고 있다. ai 인재 확보와 육성.. 공감수 0 댓글수 0 2020. 12. 7.
[UOSEST]lyle ppar-gamma model, fingerfrint This is a deep learning model that was developed to predict PPAR-gamma ligands (agonists and antagonists). Here are some specs: Accuracy (5-fold cross-validation): 99.74% True Positive Rate: 99% --> ligand를 positive라고 본다. False Positive Rate: 0.5% Probably that a PPAR-gamma ligand will be predicted to be a ligand: P(ligand | predict: ligand): 89% Probability that a non-ligand will be predicted t.. 공감수 0 댓글수 0 2020. 11. 28.
[I2S]분자구조이미지를 smiles로 바꿔서 어디에 이용하려고 하는것인가? 신소재 발굴 등 개발 활동이 많은 LG 계열사의 활용도가 높을 것으로 예상합니다. LG AI Hub 및 LG 그룹 내 공유. 기대 : - 화학 관련 특허 문헌에 포함 된 복잡하고 많은 화학 구조 이미지를 인식하여 검색 효율을 높일 수있는 기술로 활용 가능합니다. Unet이란? : The automatic recognition of chemical structure diagrams from the literature is an indispensable component of workflows to re-discover information about chemicals and to make it available in open-access databases. 문헌으로부터 화학구조도의 자동인식은 화학물질에 대.. 공감수 0 댓글수 0 2020. 11. 23.
[I2S]B3을 이용한 결과. 300*300사이즈를 그대로 이용하기위해 effb3를 이용했는데 gradient exploding이 일어났다. 왜인가? 따시 한번 lr=0.0001로 놓고 학습하였더니 굉장히 안정적으로 학습이 되고 있다. 계속 학습을 시켜보도록 하자 val_loss는 0.0150 0.0028이하가 되어야 B0보다 좋다고 할수 있는데 그렇지 않다. 이유가 무엇일까? 1. 너무 많은 파라미터. b3 : 10,696,232, feature map의 크기가 너무 큼 (None, 10,10,1536) b0 : 4,049,564(None,7,7,1280) 이를 해결하기 위해선 decoder를 더 깊게 만들어야할듯. 이정도 파라미터정도는 되어야 ㅎ --> 메모리가 부족해서 batch_size를 32*8로 줄여야한다. b3을 이용하기.. 공감수 0 댓글수 0 2020. 11. 23.
[I2S] effnet을 사용해서 fine-tuning을 해보자. 그렇다면 1000만개 학습한 것을 미세조정 해보는것이 어떠한가? Eff1의 구조를 한번 알아보자. https://hoya012.github.io/blog/EfficientNet-review/ EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks 리뷰 ICML 2019에 제출된 “EfficientNet： Rethinking Model Scaling for Convolutional Neural Networks” 논문에 대한 리뷰를 수행하였습니다. hoya012.github.io https://keras.io/examples/vision/image_classification_efficientnet_fine_tuning/ Keras d.. 공감수 0 댓글수 0 2020. 11. 21.
[I2S]effb1 model.summary() block7a_expand_conv (Conv2D) (None, 7, 7, 1152) 221184 block6e_add[0][0] __________________________________________________________________________________________________ block7a_expand_bn (BatchNormali (None, 7, 7, 1152) 4608 block7a_expand_conv[0][0] __________________________________________________________________________________________________ block7a_expand_activation (Acti (None, 7, 7, .. 공감수 0 댓글수 0 2020. 11. 21.
[I2S]effb1 layers , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , , ] 공감수 0 댓글수 0 2020. 11. 21.
[I2S] renet을 이용한 transferlearning 랩요정들은 인코더에서 사용한 pre-trained모델의 전체 레이어에서 앞단의 5개 레이어를 제외한 네트워크 파라미터를 업데이트 하였다. "Fine-tuning은 모델의 전체 레이어에서 앞단의 5개의 레이어를 제외한 네트워크의 파라미터를 업데이트하여 이루어졌습니다." Fine-tuning 이란? - 기존에 학습되어져 있는 모델을 기반으로 아키텍쳐를 새로운 목적(나의 이미지 데이터에 맞게)변형하고 이미 학습된 모델 Weights로 부터 학습을 업데이트하는 방법을 말한다. 출처: https://eehoeskrap.tistory.com/186 [Enough is not enough] # EFNS = [efn.EfficientNetB0, efn.EfficientNetB1, efn.EfficientNetB2, e.. 공감수 0 댓글수 0 2020. 11. 20.
[I2S] 9300만개 학습, char 개수 세기 CID-SMILES에는 총 111325461개(1억 1천 1백만개)가 존재한다. 그중 smiles길이가 70이하이고 빈도가 낮은 char의 하위 절반에 속한 문자들을 포함하지 않는 smiles만 택했더니 약 9300만개가 나왔다. 총 1억 1천만 개 중에 9300만(93248512)개면.. 상당수. 약 0.84 정도를 포함하는 수치 111325461개 smiles를 집합에는 총 68개 의 문자가 있다. ['L', ')', 's', 'c', 'd', '4', '=', '5', '0', 'm', '(', 'G', 'F', 'r', 'R', 'b', 'y', '1', 'f', 'i', 'u', 'M', 't', '8', '9', 'n', 'U', 'C', 'N', '/', '6', 'a', 'k', 'T', .. 공감수 0 댓글수 0 2020. 11. 14.
[linux] bash 앙창이가 자주쓰는 명령어 모음 # 현재 디렉토리에서 "test"로 시작하는 모든 파일 삭제 !find . -maxdepth 1 -type f -name "test*" 공감수 0 댓글수 0 2020. 11. 9.
[인공지능] 4주차 수업 공감수 0 댓글수 0 2020. 11. 9.
[인공지능] 3주차 수업 공감수 0 댓글수 0 2020. 11. 9.
[I2S] 메모했던것 정리 ssh접속 jupyter 실행 등 Google Cloud Platform Console에서 VPC 네트워크 메뉴에서 '방화벽' 선택 '방화벽 규칙 만들기' 선택 방화벽 이름 지정 왜 Ram이 다운되는거지 ??.. 이해가 안가네~ jupyter notebook --ip=0.0.0.0 --port=8888 --allow-root 프로세스관리 명령어 : https://121202.tistory.com/45 sudo reboot ssh -i /home/chkim/.ssh/id_rsa chkimlgsmiles@35.189.183.178 ssh -i /home/chkim/.ssh/id_rsa churchobs01@34.71.235.200 ssh -i /home/chkim/.ssh/id_rsa churchobs01@34.64.192.152 ssh-k.. 공감수 0 댓글수 0 2020. 11. 8.
[I2S] Show, attend and Tell https://arxiv.org/abs/1502.03044 Show, Attend and Tell: Neural Image Caption Generation with Visual Attention Inspired by recent work in machine translation and object detection, we introduce an attention based model that automatically learns to describe the content of images. We describe how we can train this model in a deterministic manner using standard backpro arxiv.org 공감수 0 댓글수 0 2020. 11. 4.
ZOOM보안이슈기사 정리 https://www.youtube.com/watch?v=kKUXRvWaP60 https://www.youtube.com/watch?v=cjY7_StY6Gs https://www.youtube.com/watch?v=lXn_gso9svs&t=1s https://www.youtube.com/watch?v=OHY1FJDsg60 https://www.youtube.com/watch?v=m3n7QZgO7WE https://www.chosun.com/site/data/html_dir/2020/04/16/2020041600020.html 화상회의 시대의 신데렐라 '줌'… 화웨이 꼴 되나 지난 2011년 미국 캘리포니아 실리콘밸리에 둥지를 튼 화상회의 스타트업 '줌(Zoom)'은 한 달 전까지만 해도 코로나 바이러스 .. 공감수 0 댓글수 0 2020. 11. 3.
소설 속 빅 브라더 ‘Zoom’을 통해 현실화될 수 있다 소설 속 빅 브라더 ‘Zoom’을 통해 현실화될 수 있다 - 미국, 영국, 독일, 호주, 대만, 구글, NASA, SpaceX 등에서 ‘zoom 금지령’ 내린 이유 COVID-19로 인한 비대면 문화 확산에 따라 전 세계적으로 화상회의 솔루션의 사용량이 급증했다. 중국 산둥 성 출신 ‘에릭 위안’이 Webex에서 나와 창업한 Zoom은 Webex, Skype, 구글 meet 등의 경쟁사를 제치고 올해 4월, 40% 시장 점유율을 차지하며 독보적인 위치에 올랐다. Zoom은 편리한 사용성, 유용한 무료버전 제공과 저렴한 가격, 가상배경 등으로 경쟁우위를 구축했으며 주가는 올해 1월 대비 850% 이상 상승했다. 국내에서도 유은혜 사회부총리 겸 교육부 장관이 지난 3월 25일 온라인 개학 시도를 위한 화상회.. 공감수 0 댓글수 0 2020. 11. 3.
[I2S] encoder(CNN) to decoder(RNN)어텐션 메커니즘 분석 input : batch_features(512,49,1280) 1.인코더에 batch_features를 집어넣는다. features = encoder(batch_features) : (512, 49, 512) class CNN_Encoder(tf.keras.Model): def __init__(self, embedding_dim): super(CNN_Encoder, self).__init__() self.dropout = tf.keras.layers.Dropout(0.25) self.fc = tf.keras.layers.Dense(embedding_dim) def call(self, x): x = self.dropout(x) x = self.fc(x) x = tf.nn.relu(x) return x 인.. 공감수 0 댓글수 0 2020. 10. 30.
tfrecord_9천만 시 error IOPub data rate exceeded. The notebook server will temporarily stop sending output to the client in order to avoid crashing it. To change this limit, set the config variable `--NotebookApp.iopub_data_rate_limit`. Current values: NotebookApp.iopub_data_rate_limit=1000000.0 (bytes/sec) NotebookApp.rate_limit_window=3.0 (secs) 이건 또 무슨에러? 공감수 0 댓글수 0 2020. 10. 28.

문의안내

티스토리
로그인
고객센터

티스토리는 카카오에서 사랑을 담아 만듭니다.