1. 아나콘다 가상환경 생성 :

 - conda create -n python-rpa python=3.7.3

 - conda activate python-rpa

2. 가상환경 내에 주피터 설치

 - conda install jupyter notebook

   ※ 참고 : http://blog.naver.com/PostView.nhn?blogId=hobbang143&logNo=221464304548

3. OpenCV설치 :

 - conda install -c menpo opencv

   ※ 출처 : https://pleasebetrue.tistory.com/837

4. pyautogui 설치

 - pip install pyautogui

 - 참고(관련 명령어가 잘 적혀있음) : http://blog.naver.com/PostView.nhn?blogId=htblog&logNo=221510551432&parentCategoryNo=&categoryNo=99&viewDate=&isShowPopularPosts=true&from=search

1. OpenCV 설치가 필요 (이미지 리딩)

  - https://076923.github.io/posts/Python-opencv-1/

    ㆍpython -m pip install opencv-python

2. OpenCV 에러 유형 中 -215 : 경로나 파일명을 잘못 지정해서 읽어오지 못한 경우를 뜻함

  - https://stackoverflow.com/questions/43572387/error-215-size-width0-size-height0-occurred-when-attempting-to-display-a?noredirect=1&lq=1

3. 테서렉트 설치 참고사이트 : http://m.blog.daum.net/geoscience/1266?category=7023

4. Tesseract at UB Mannheim 설치

  - 윈도우버전 설치 : https://github.com/UB-Mannheim/tesseract/wiki

    ㆍtesseract-ocr-w64-setup-v5.0.0-alpha.20200328.exe (64 bit) resp. 설치 (본인 환경에 맞게)

5. 영문 인식도는 높은 편이며, 한글의 경우 일부 옵션 조정을 통해 정확도를 높일 수 있다. (preserve_interword_spaces, psm)

  - https://niceman.tistory.com/155

6. OCR 정확도 개선을 위한 이미지 전처리

 1) 이미지를 목적에 맞게 자르기

 2) 색상 전환 (그레이톤)

 - https://junyoung-jamong.github.io/computer/vision,/ocr/2019/01/30/Python%EC%97%90%EC%84%9C-Tesseract%EB%A5%BC-%EC%9D%B4%EC%9A%A9%ED%95%B4-OCR-%EC%88%98%ED%96%89%ED%95%98%EA%B8%B0.html

□ Google Cloud Vision API 가 더 우수한 성능을 보인다는 게시글 발견

  - https://stet-stet.tistory.com/19?category=786054

1. Google Cloud Vision API 설치 

  - http://blog.naver.com/PostView.nhn?blogId=rhrkdfus&logNo=221335357361&categoryNo=29&parentCategoryNo=0

!! 구글클라우드 비전API 접목시켜서 OCR 해보기

오늘 느낀 두 가지를 기록해두고자 한다.

첫째로 설득력있게 글쓰는 방법을 배워야 한다.

입사 1년이 넘은 아직까지 혼자서 제대로 된 보고서를 작성하지 못하고 있다. 부끄러운 일이지만 현상을 이해하고, 분석한 내용을 목적에 맞게 표현하고 설명하는 능력이 부족하다는 것을 깨닫고있다. 업무 시간을 집중력 있게 활용할 필요가 있으며, 필요한 내용을 사전에 정리해 데이터를 추출하고, 담당자에게 질문할 필요가 있다. 필요하다면 외부에서 PPT 작성, 보고서 작성 등의 수업도 들을 생각도 있다.

생각해보면 이 능력은 회사, 직무를 떠나서 개인적인 삶에도 직접적인 관련이 있다. 예를 들어, 지금 작성하는 글마저도 여기에 영향을 받는다. 단숨에 잘할 순 없겠지만, 부족하다는 것을 인지하고 장기적으로 이를 개선하고자 하는 의지와 실현가능한 계획이 필요하다.

이러한 맥락에서 삶의 여러 순간에 이를 인지하고, 온전히 집중해 일을 수행하자.

둘째로 하고싶은 일이 있다면 거기에 집중하고, 내가 가진 장점을 결합하는 연습을 하자.

할 일이 많다. 데이터 분석 공부, 독서, 영어회화, 재태크, 수영, 맨몸운동, 직장에서 인정받고자하는 몸부림, 대인관계까지 해야할 일이 너무나도 많다. 그러던 와중에 원룸 인테리어에 관심이 간다.

잠시 멈추어 생각해보면 이 중에서 오늘 안에, 한달 안에 마무리 할 수 있는 일이 아무 것도 없다. 따라서 초조한 마음으로 일을 해내려는 것보다 방향을 정하고, 꾸준히 제대로하는 것이 중요하다.

내 집을 꾸미는 것이 나에게 필요한 일일까?

그렇다. 내 집을 꾸미기는 것은 타인의 사례를 확인하고, 내가 원하는 것을 찾아가는 과정이다. 어느 한 분야에서 "나"에게 잘 맞는 것을 찾을 수 있다면 이 것 외에도 삶의 전반에서 내가 원하는 것에 대해 더 잘 이해하고, 판단할 수 있을 것이다. 내 집을 꾸미는 과정에서 겪는 시행착오 또한 좋은 밑거름이 될 것이다.

필요한 일이라면 해야한다. 다만 다른 일에 비해 우선순위는 어떠한가?

단기간에 해결할 수 있는 일들이 아니다. 현재 관심사인 인테리어에 집중하고 오히려 내가 가진 능력을 여기에 함께 접목할 수 있을지 생각해보자. 예를 들어 인테리어는 하고 싶지만, 어떤 것이 있는지 모르고 정작 내가 원하는 것이 무엇인지 모른다. 이를 판단하기 위해 다른 사람들의 사례에 대해 조사가 필요하고, 이 결과를 그룹핑하여 정리할 필요가 있다. 필요하다면 전문가의 아티클이나 영상을 참고하고, 필요하다면 기존에 올라온 포스팅을 분석해볼 수 있다. 마지막에는 이러한 내용을 정리해 블로그에 포스팅할 수 있을 것이다. 의미를 부여하자면 이것은 하나의 프로젝트가 되고, 내가 문제를 맞닥뜨렸을 때 대응하는 방식이 될 것이다.

그래서 당장 무엇을 해야하는가?

"내 집을 인테리어 하고 싶다."라는 문제를 구체화하고 계획을 세워보자. 단, 계획을 세우는데 매몰되어 실천하지 못하는 것을 경계해야한다.

http://www.kyobobook.co.kr/product/detailViewKor.laf?ejkGb=KOR&mallGb=KOR&barcode=9788952240194&orderClick=LAG&Kc=

 - 아래의 글은 책을 읽고난 소감으로 주인공의 성격변화, 사건 등을 통해 느낀점을 다루고 있습니다. 읽기 전에 이에 방해받고 싶지 않은 분은 먼저 책을 읽은 후에 아래의 소감을 읽는 것이 좋을 것 같습니다.

영화화로 인해 꽤나 익숙한 '미비포유'와 이어진 세번째 이야기다.

두번째 책인 '애프터유'를 읽지 않아도, 이 책을 읽는데 거의 무리가 없다.

미비포유는 '줄무늬 타이즈를 당당하게 입기를.'이라는 문장으로 유명한다.

주인공인 루이자는 표지의 타이즈(레깅스)에서 짐작할 수 있는 개성있는 인물이지만, 전작에서도 알 수 있듯 타인에 삶에 자신을 맞추는데 익숙한 인물이다. '미비포유'에서 남자 주인공이었던 윌이 했던 이야기를 가슴에 담아 시작한 뉴욕 생활 도전기, 그 와중에 자기 자신에 대해 알아가는 과정을 그리고있다.

책에선 다양한 인물을 보여주고, 인물의 성격과 삶을 대하는 자세로 주인공인 루이자가 자신을 이해하도록 이끈다. 그녀에게 남자친구로서 윌, 패트릭, 샘, 조시는 각각 어떤 사람이었는지, 상사로서 윌, 고프너, 아그네스, 마곳은 어떤 사람이었는지 또한, 할아버지를 위해 헌신했던 엄마, 자식을 너무나 사랑하는 동생까지 많은 인물들을 개성있게 그려내고, 전달하고자 하는 바를 명확히 한다.

'도대체 루이자 클라크는 누구인가?'

고향을 떠나와 스톳필드와 뉴욕 어느 곳에서도 완전하지 못한 사람인가, 아니면 몰랐던 자신을 깨닫고 새로운 인생에 만족하는 사람인가? 그것도 아니면 다른 사람을 돌보는데 자신을 맞추어 스스로 무엇을 해야할지 모르는 인물인가.

중요한 것은 자기 자신을 바라보고 어울리지 않는 옷을 입고있는지 인지하는 것이다. 이 과정에서 타인의 의견을 듣고 자신에 대해 생각할 수 있지만, 다른 사람의 생활습관과 생각에 온전히 자기를 맞추기만 해선 안된다. 이 과정은 결코 쉽지 않을 것이다. 그래서 정말로 내가 원하는 게 무엇인지 알기위해 노력하고 실천해야한다.

우리에겐 살아온 인생이 있고, 삶의 갈림길에서 변화했던 여러 순간이 있을 수 있다. 나는 주어진 일만 하며 원하는 취미생활을 영위하길 바랬을 수 있고, 내 일 안에서 뚜렷한 목표를 가지고 성취감을 위해 노력하는 사람일 수 있다. 어느 것도 될 수 있고, 어떤 것도 되지 않을 수 있다. 위의 말들로 표현하기 어려운, 아직 내가 생각하지 못한 내가 있을 수 있다. 아니, 있을 것이다. 중요한 것은 같이 걸을 사람이 내 모습을 결정하고 가두어두지 않는 것이다.

나를 위해 생각하고, 나에게 집중하고, 내 삶을 온전히 내 안으로 밀어넣어야 해서 이 말이 필요하다.

'새 출발에 건배'

대용량 데이터분산처리를 위해 하둡 또는 스파크를 사용한다.(더 좋은 툴이 있는지는 확인해봐야 함.)

하둡이 더 이전에 나온 것으로 편의성(코드길이 등...)이 떨어지고, 대부분의 경우 스파크의 성능이 좋다고 한다.

(하드디스크가 아닌 인메모리 상태로 처리하기 때문에 속도가 빨라진다고 함)

단, 특정 task에선 하둡이 더 성능이 좋을 수 있다. 또한, 하둡은 며칠이 걸리든 결론을 내어주지만 스팍은 뻗어버리는 경우가 종종있다고 한다.

 - 특정 task : 반복작업이 아닌 단발성 작업

mesos를 이용한 자원관리를 알 필요가 있다.

분산처리, 자원관리를 학습할 수 있는 프로젝트를 하나 수행할 필요가 있어보인다.

아래는 pyspark 입문과정(eda한정)에 대해 무료로 공부할 수 있는 edwith 강의이다.

databricks라는 홈페이지의 클라우드 서비스를 이용한다.

https://www.edwith.org/sparktutorial

https://www.youtube.com/watch?v=UATPH44jRSw

 - 아래는 스포를 포함하고 있습니다.

자유롭고 가벼운 몸으로 무거운 책들로 가득한 가방을 들고 휘청이며 밖으로 나간다.

모두가 생기없는 빛깔을 띄고 있으며, 허리는 가방의 무게로 인해 앞으로 굽어있다.

와중에 도심 한가운데, 진한 붉은 빛을 머금은 나무아래 한 사람이 바이올린을 연주하고 있다.

이 공간은 주변과 달리 벤치, 잔디 등에 색채로 가득하다.

주인공인 어린 아이는 잠시 가방을 벗어두고 즐거운 표정으로 바이올린을 따라하지만 이내, 아버지(?)가 가방을 다시 내어준다.

처음에 파란색이었던 아버지의 피부색이 가중된 업무로 인해 하얘지는 것을 보면 피부색은 의욕을 나타내는 것 같다.

이와 대비되게 아이는 밝은 피부색을 가지고 의욕적인 표정으로 무언가에 임한다.

알파벳 공부해야하는 시험지에 자유롭게 그린 그림을 빼앗겨도 의욕을 잃지 않고 다시 그림을 그린다.

아버지는 업무를 처리하며 허리가 굽고 눈가에 파란 기운은 희미해져 갔지만, 퇴근 후 웃으며 달려오는 아이를 안으며 푸른색 피부를 되찾는다.

다음 날도 같은 일상이 반복되고, 아이는 반복되는 제지에 표정이 안좋아져 간다.

똑같이 퇴근, 하교 후 아버지에게 안기지만 표정이 좋지 않고 아버지의 피부색은 돌아오지 않는다.

이를 확인한 아이는 억지로 웃음을 짓고, 이에 아버지의 피부색이 돌아온다. 하지만 아이는 슬픈 표정을 짓는다.

다음 날 아침 아이는 점점 색을 잃어가고, 주변의 다른 아이들은 이미 색이 없이 같은 일을 반복하고 있다.

아이는 하교 후 아버지에게 올바르게 작성한 알파벳 종이를 넘겨주지만 안기지 않고 의욕없이 지나간다.

이 모습에 곰곰이 생각에 빠진 아버지...

아이가 웃으며 그린 그림을 보여주고, 다른 이들과는 반대의 방향으로 걸어간다.

아이는 점점 웃음과 색을 되찾아 간다.

하지만 나무 아래 바이올린 연주자는 이미 없어져, 아이는 실망하며 되돌아 가려 한다.

이 때 아버지는 자신이 대신 나무 아래로 가 바이올린 연주하는 시늉을 하고 이 모습을 본 아이는 놀란다.

지나가는 사람들은 이 모습에 잠깐 관심을 가지다가 다시 무표정으로 각자의 길을 간다.

아이는 완전히 웃음과 색을 되찾았고, 이를 본 아버지 또한 색을 되찾고 웃는다.

가방을 벗어던지고 아버지에게 안기고, 의욕없이 목적지를 향해가는 이들과 대비된다.

=============================================================

피부색은 삶을 향한 의욕, 나 자신을 의미하는 것 같다.

많은 사람들이 반복된 일상 속에서 자신 또는 삶에 대한 자유로운 의욕대로 살아가는데 제약이 있다.

하지만 우리 자신의 결심으로 이를 극복해야하며, 이를 위해 남들과 다른 방향으로 걸어가는 것을 두려워 할 필요는 없다.

나는 어떤 사람이 되어, 어떻게 살길 원하는가?

기관에 있는 경우라면, 이런 상황을 고려하여 교육 or 업무를 기획할 필요가 있다.

우린 어떤 사람을 양성하고, 어떤 사람과 함께하고 싶은가?

A man assumes the identities of strangers at a coffee shop to avoid being alone. | A New Man

https://www.youtube.com/watch?v=k2jX6XqcIp0&feature=youtu.be

실연 후 삶의 의욕을 잃은 남자는 새로운 삶을 살 수 있는 방법을 찾아나선다.

첫 번째는 매일 아침 8시에 커피숍으로 나가는 것이다.

"Are you alone?" 이라는 물음을 듣고, 남자는 혼자다. 주위에는 온통 무리지어 있다.

남자는 그래도 혼자서 집에만 있는 것보단 10배 낫다고 한다.

모르는 남자가 다가와 자리에 앉고 아는체하며 인사한다.

그러곤 어떤 구두약속을 하고 떠난다. 그 이후로 매일 다른 사람과 그 카페에서 만난다.

다른 사람과 연결되어있다는 느낌은 단 10분만으로도 내 삶을 움직이기에 충분하다.

우리는 너무 많은 관계에 둘러싸여 피로감을 느끼지만, 그럼에도 관계는 삶에 있어 아주 큰 부분을 차지한다.

관계를 잘 유지하는 방법을 배우고, 이를 잘 조절하면서 살아가는 지혜가 필요해보인다.

"When you live with nothing for so long, then suddenly something turns up, it's ten times better than nothing."

https://www.youtube.com/watch?v=gNVqRC4mcSI

영어회화 숙제로 일주일에 하나씩 영상을 보고 이야기하는 시간을 갖는다.

앞으로의 영상은 숙제를 이야기할 때, 그 감상을 기억하기 위해 기록하고자 한다.

이번 영상은 갖혀있는 공간에 있는 생물체들로 시작한다. 

그들은 모두 똑같은 모습을 하고 있으며, 어쩐지 무기력한 모습을 보인다. 또한 온종일 잠만 잔다.

그러던 와중 새롭게 등장한 꼬마 생명체가 있다.

이 생명체는 더 어리고, 생기있고, 호기심이 가득해보이며 다른 생명체들의 칙칙한 검은 눈과 달리 빛나는 붉은 눈을 가지고 있다.

이 어린 생명체는 옆의 생명체의 잠을 깨우기도 하고, 날아다니는 벌레에 관심을 가지고, 온종일 노래를 불러 다른이들을 괴롭히기도 한다.(이 영상에선 "다름을 남에게 개의치않고 표출하는 것"이 긍정적으로 묘사되고 있으나, 자신의 신념대로 행동하는 것이 타인에게 피해를 줄 때도 이것이 정당한가는 별개의 고민거리인 것 같다.) 그런 행동을 보고 다른 생명체들은 무시하고, 나무라고, 위협을 가한다. 자신들과 다름을 경계하면서 무시한다. 이에 지지않고 어린 생명체는 본연의 모습을 잘 지켜나간다.

어느 날 많이 성장한 이 생명체는 묶어있던 양쪽 다리 중 하나를 풀어낸다. 이 모습을 본 다른 생명체들은 경계신호를 내고, 이윽고 관리자(기계)가 나타난다. 이 때 왜 다른 생명체들의 두상이 하나같이 납작한지를 알 수 있다. 그렇게 이 박스 안과 어울리지 않게 튀던 어린 생명체는 머리를 찍히는 제재를 받고, 빛나던 눈빛과 몸의 활동적인 에너지를 모두 잃어버린 것으로 보인다. 좌절한 생명체를 보며 다른 생명체들은 처음의 축 쳐져있는 모습과는 다르게 잔뜩 비웃기 시작한다. 그렇게 다시 박스가 닫히려는 순간, 어린 생명체는 온힘을 다해 남은 한쪽 다리를 풀어내고 보란듯이 다른 생명체의 머리를 밟고 올라가 박스를 탈출한다.

쿠키영상으로 분위기 파악 못하고 있던 다른생명체2가 밝은 눈과 호기심을 가지고 "오-아-이-아아"하는 노래를 부르지만, 옆의 생명체에게 한대 맞으며 이 빛을 잃는다.

우리가 사는 세계에는 법이든 관습이든 룰이 존재한다. 한 생활권에서 사람들이 살아가는 방법은 대부분 비슷하다. 이를 거부하고 다름을 추구하는 이에게 이질감과 위기의식을 느끼는 경우가 많다. 그의 모습을 보며 비난하고, 실패라도하면 이를 "거봐, 내가 그랬지?"라는 생각을 하며 비웃는다. 하지만 대단한 어떤 것을 이룬 많은 사람들은 초기에 이상하다는 말을 많이 듣는다고 한다. 남들과 같은 생각을 하면 남들과 같은 인생을 살 수 밖에 없다. 이는 잘못된 것은 아니지만 남들과 다른 특별한 삶을 살고 싶은 이에게는 잘못된 것이다. 항상 내가 지금 있는 곳, 나의 생각의 범위를 경계하며 살아갈 필요가 있다. 알고 있지만 늘 잊고 살아가는 것이다.

Format

 - Batch Size : 

     가중치를 업데이트하기 이전에 신경망이 얼마나 많은 input 샘플들을 보기를 원하는지를 말함

     input dataset에 100개의 샘플을 가지고 있다고하자. 신경망이 하나의 input을 확인할 때마다

     가중치를 업데이트 하기를 원한다. 이 경우에 batch size는 1이 될 것이며, batches의 수는 100개가 될 것이다.

     마찬가지로 신경망이 모든 샘플을 보고 가중치를 업데이트 하기를 원한다면, batch size는 100이고 batches는

     1이 될 것이다.

     매우 작은 batch size를 사용하는 것은 학습 속도를 느리게 만들며 반대로 너무 큰 batch size를 사용하는 것은

     다른 데이터에 일반화하는 모델의 능력을 감소시킨다. 또한 더 많은 메모리를 필요로 한다. 그러나 그것은 

     objective function의 최소값을 찾는데 더 적은 steps가 필요하다.

     따라서 이에 대해 다양한 값을 시도해볼 필요가 있으며 최적의 값을 찾아야한다. 이것은 꽤 중요한 주제이다.

     우리는 다음 article에서 이것에 대한 좋은 방법을 학습할 것이다.

 - Time Steps :

     신경망이 한 번에 얼마나 많은 단위를 되돌아가기 원하는가?

     예를 들어 훈련을 위한 text corpus를 가진 문자 예측(character prediction) 문제를 생각해보자. 신경망이

     한 번에 6개의 문자를 학습하길 원한다. 그렇다면 time step은 6이다. 우리의 경우 time step으로서 60을

     사용할 것이다. 즉 우리는 가격예측을 위해 2달을 볼 것이다.

 - Features : 

     각 단계를 나타내기위해 사용된 특성들의 수(the number of attributes)이다. character problem 예시를 

     다시 생각해보자. 각 문자(character)를 표현하기 위해 size가 100인 one-hot encoded vector를 사용한다고

     가정하자. feature size는 여기서 100이다.

출처 : https://towardsdatascience.com/predicting-stock-price-with-lstm-13af86a74944

이번 해 목표 중 하나였던 ADP 자격증 취득~!

물론 필기를 딴지 1년 3개월이 지났고, 실기는 3번째에 합격한 것이지만

그래도 합격한 기쁨에 오랜만에 포스팅을 남긴다.

분석 업무를 하고는 있지만, 다른 잘하는 사람들도 많고 잘할 수 있을까 싶을 때

이렇게 자격증 합격하니 그나마 작은 위안이 된다.

또다른 숙제라면 떨어질 줄 알았던 자격증에 합격해서 새로 시작할만한 무언가를 생각해봐야 한다는 거다.

새롭게 무엇을 할지 고민하는 것은 즐겁지만,

고민의 무게가 무거워질수록 피하고 싶고 결정하는 것이 쉽지않은 것 같다.

곧 다시 원동력을 찾아 열심히 하는 삶으로 돌아오고 싶다.