Damian

텐서플로우 깃헙(모든것)

https://github.com/tensorflow

텐서플로우 초급 개발자 용 허브 전이학습

Domains => Image, text, video, audio

Image : augmentation, classification, classification logits, classifier, fearture vector, object detection, others, pose detection, RNN agent, segmentation, style transfer, super resolution, text recognition

Text : classification, Embedding, Generation, language model, preprocessing, quesion answering, retrieval question ansering, segmentation, to MEL

Video : classification, generation, text, Audio text

Audio : embedding, event classification, pitch extraction, STT

https://tfhub.dev/

텐서플로우 중급 개발자 용 

Domains => Computer Vision, Natural language processing, Recommendation

텐서플로우 고급 개발자 용

상용 목적의 모델을 개발하기 위한 툴을 사용하여 개발함.

https://www.tensorflow.org/resources/libraries-extensions

연구 목적의 Deep Learning sota 알고리즘.

Domains => Computer Vision, Natural language processing, Medical, Methodology, Miscallaneous, Graphs

Time Series, Speech, Playing Games, Computer Code, Audio, Adversarial, Robots, Knowledge Base, Music, Reasoning

https://paperswithcode.com/sota

Back propagation(역전파)는 Data의 Forward propagation(순전파) 이후 모델을 Optimizer(최적화)

하는 모델의 학습 방법 알고리즘이다.

데이터를 인풋에 대해 모델들이 출력을 최적화 하기 위해 데이터의 중요도를 업데이트 하는 방법이다.

기본 개념은 입력된 데이터가 Cost에 얼마나 영향을 미치는지 알아보고,

입력된 데이터의 영향력에 따라 입력된 데이터의 중요도를 결정하는 파라미터를 수정하는 방법이다.

내용을 이하기 위해서 다음과 같은 기초배경 지식이 필요하다.

기초배경

linear algebra

Perceptron

Cost Funtion

Forward Propagation

Optimizer

단위 Perceptron(퍼셉트론)에서의 입력과 Weigth의 곱으로 기울기를 입력대비 출력으로 나타내며,

단위 Perceptron(퍼셉트론)의 Weigth를 수정 함으로서 입력을 변화시키지 않고 입력에 대한 중요도를

수정하는 일이다.

Deep learning 모델의 Architecture는 단위 Perceptron(퍼셉트론)의 집합으로 각 Weigth에 대해서

중요도를 업데이트 해야한다.

아래는 손으로 직접 작성한 간단한 예시이다.

L-2은 Input Layer로 별다른 연산을 수행하지 않는다.

L-1은 Hidden Layer 이다.

L은 마지막 Output Layer 이다.

W 는 각 가중치를 의미하고,

아래 0과 1은 각 노드넘버이다.

W의 앞의 0 또는 1은 이전 레이어의 노드 넘버이다.

W의 뒤의 0 또는 1은 다음 레이어의 노드 넘버이다.

W(L-1)00의 경우 L-2 layer의 0번 노드에서 0번 노드로 이어지는 L-1 넘버의 가중치이다.

W(L)11의 경우 L-1 laeyer의 1번 노드에서 0번 노드로 이어지는 L-1 넘버의 가중치이다.

z(L-1)는 Activation 을 거치지 않은 이전 변수의 연산 출력이다.

a(L-1)는 Z(L-1)이 Activation 을 거쳐 나오는 출력이다.

아래 그림은 위의 모델 Architecture의 관계를 표시한 그림이다.

W와 a의 곱을 z로 나타내고 z의 합이 Activation을 거친다.

여기까지가 Perceptron 하나에 해당한다.

Forward propagation은 다음의 순서로 연산된다.

왼쪽 심볼의 값을 받아 최종 오른쪽 a(L)의 값으로 최종 모델 출력이되며

Y와 함께 C0를 통해 Cost funtion에서 Global Cost를 구한다.

다음은 위에 표현한 입출력 관계를 통해 입출력의 영향을 다음 이미지 처럼 표현할 수 있다. 

C0 의 Global Cost와 각 Weith의 변화량 관계의 내적표현식이다.

개념 아이디어에서 처럼 입력 차원의 중요도와 출력과 라벨 사이의 cost에 얼마나 영향력에 따라.

중요도를 업데이트 하기 때문에 다음과 같이 표현될 수 있다.

(수식은 복잡해 보이지만, 미분을 구하는 것으로 크게 어렵지 않으면서 많이 귀찮다.)

이 식을 통해 예상할 수 있는 것은 각 Perceptron의 입력(x)과 Weigth(w)과의 곱과 Bias(y)의 합으로

wx+y 연산을 수행하기 때문에 Perceptron에 대해서 w, x에 대한 변화량은 반대인 x, w가 될 것이고, bias는 출력에 대한

shift combination 일 것이다.

위 단순화 된 미분 값 계산식을 보면 공통으로 들어있는 값들 을 확인 할 수 있다.

MSE의 미분 값인 Globel Cost이 그것인데, Globel Cost의 변화량에 각 Weigth 들이 영향을 주며 영향력 을 계산하는

식이며, 아래와 같이 단순하게 표현 할 수 있다.

식을 파해처보면 각 항들이 곱으로 이루어져 있고 Globel Cost가 공통이므로,

Globel Cost와 곱하는 앞의 모든 항들은 Globel Cost에서 각 Weigth가 주는 영향의 Scale로 이해할 수 있다.

아래 그림은 필요한 초기 변수들의 값이다.

위의 예에서 Weigth가 Globel Cost의  영향을 주는 Scale로 생각하고, 공통 값인 Globel Cost의 값이 이전 레이어에

1만큼 영향을 받기 때문에 1로 가정한다면, 아래 그림과 같이 단순화하여 각 local Cost를 구할 수 있다.

위 그림 속 X는 곱연산 +는 합연산이다.

검은 숫자는 Forward Propagation의 단계별 연산 출력 값이고

빨간 숫자는 back Propagation의 단계별 연산 출력 값으로 Local Cost 값의 비율이된다.

파란 숫자는 1step의 Back Propagation 이후의 결과로 다시 Forward를 진행 한 값이다.

다음으로 Globel Cost를 구하고 Weith의 인접한 Back Propagation에 곱하여 나온 것이 Local Cost가 되고,

해당 Local Cost에 대해서 Optimizer를 수행하여 나온 결과를 업데이트 하면된다.

필자는 불만이 많은 사람(필자는 손이 두 개이므로 라이터를 2개씩 지니고 다닌다.)이므로 가장 단순한 SGD 방식으로 Optimizer를 수행하여 1step의 결과만 손으로 적었다.

이처럼 데이터간의 관계분석을 통해 원하는 값을 도출할 때 나오는 최적의 각 Perceptron의 Parameter 값인

Weigth와 bias는 출력은 각 Feature들의 상관관계를 나타내는 곡선으로 나타낼 때에 데이터에 대한 통계분석의

결과물로 이해 할 수 있다.

이를 Machine learning(ML) 알고리즘으로 수행하면 각 분야 연구자들의 연구시간을 빠르게 단축 시켜

노고와 오류를 줄일 수 있을 것이고, 각 Feature가 주어젔을 때 통계적인 결과를 예상해 볼 수 있을 것이다.

해당 과정은 linear regression라는 regression analysis 방법으로 ML에는 통용한다.

hoya012.github.io/blog/anomaly-detection-overview-1/

paperswithcode.com/task/anomaly-detection

blogs.oracle.com/ai-and-datascience/post/introduction-to-anomaly-detection

아직 안살펴 봤음

www.youtube.com/watch?v=qQ5iLNjpxSk&list=PLRx0vPvlEmdDHxCvAQS1_6XV4deOwfVrz&index=1

내용 확인하고 라이브러리 이용하여 간단하게 구현하기

docs.python.org/ko/3/library/index.html

• 소개
  • 가용성에 대한 참고 사항
• 내장 함수
• 내장 상수
  • site 모듈에 의해 추가된 상수들
• 내장형
  • 논리값 검사
  • 논리 연산 — and, or, not
  • 비교
  • 숫자 형 — int, float, complex
  • 이터레이터 형
  • 시퀀스 형 — list, tuple, range
  • 텍스트 시퀀스 형 — str
  • 바이너리 시퀀스 형 — bytes, bytearray, memoryview
  • 집합 형 — set, frozenset
  • 매핑 형 — dict
  • 컨텍스트 관리자 형
  • 제네릭 에일리어스 형
  • 기타 내장형
  • 특수 어트리뷰트
• 내장 예외
  • 베이스 클래스
  • 구체적인 예외
  • 경고
  • 예외 계층 구조
• 텍스트 처리 서비스
  • string — 일반적인 문자열 연산
  • re — 정규식 연산
  • difflib — 델타 계산을 위한 도우미
  • textwrap — 텍스트 래핑과 채우기
  • unicodedata — 유니코드 데이터베이스
  • stringprep — 인터넷 문자열 준비
  • readline — GNU readline 인터페이스
  • rlcompleter — GNU readline을 위한 완성 함수
• 바이너리 데이터 서비스
  • struct — 패킹 된 바이너리 데이터로 바이트열을 해석
  • codecs — 코덱 레지스트리와 베이스 클래스
• 데이터형
  • datetime — 기본 날짜와 시간 형
  • zoneinfo — IANA 시간대 지원
  • calendar — 일반 달력 관련 함수
  • collections — 컨테이너 데이터형
  • collections.abc — 컨테이너의 추상 베이스 클래스
  • heapq — 힙 큐 알고리즘
  • bisect — 배열 이진 분할 알고리즘
  • array — 효율적인 숫자 배열
  • weakref — 약한 참조
  • types — 동적 형 생성과 내장형 이름
  • copy — 얕은 복사와 깊은 복사 연산
  • pprint — 예쁜 데이터 인쇄기
  • reprlib — 대안 repr() 구현
  • enum — 열거형 지원
  • graphlib — 그래프와 유사한 구조에 작동하는 기능
• 숫자와 수학 모듈
  • numbers — 숫자 추상 베이스 클래스
  • math — 수학 함수
  • cmath — 복소수를 위한 수학 함수
  • decimal — 십진 고정 소수점 및 부동 소수점 산술
  • fractions — 유리수
  • random — 의사 난수 생성
  • statistics — 수학 통계 함수
• 함수형 프로그래밍 모듈
  • itertools — 효율적인 루핑을 위한 이터레이터를 만드는 함수
  • functools — 고차 함수와 콜러블 객체에 대한 연산
  • operator — 함수로서의 표준 연산자
• 파일과 디렉터리 액세스
  • pathlib — 객체 지향 파일 시스템 경로
  • os.path — 일반적인 경로명 조작
  • fileinput — 여러 입력 스트림에서 줄을 이터레이트 하기
  • stat — stat() 결과 해석하기
  • filecmp — 파일과 디렉터리 비교
  • tempfile — 임시 파일과 디렉터리 생성
  • glob — 유닉스 스타일 경로명 패턴 확장
  • fnmatch — 유닉스 파일명 패턴 일치
  • linecache — 텍스트 줄에 대한 무작위 액세스
  • shutil — 고수준 파일 연산
• 데이터 지속성
  • pickle — 파이썬 객체 직렬화
  • copyreg — pickle 지원 함수 등록
  • shelve — 파이썬 객체 지속성
  • marshal — 내부 파이썬 객체 직렬화
  • dbm — 유닉스 《데이터베이스》 인터페이스
  • sqlite3 — SQLite 데이터베이스용 DB-API 2.0 인터페이스
• 데이터 압축 및 보관
  • zlib — gzip 과 호환되는 압축
  • gzip — gzip 파일 지원
  • bz2 — bzip2 압축 지원
  • lzma — LZMA 알고리즘을 사용한 압축
  • zipfile — ZIP 아카이브 작업
  • tarfile — tar 아카이브 파일 읽기와 쓰기
• 파일 형식
  • csv — CSV 파일 읽기와 쓰기
  • configparser — 구성 파일 구문 분석기
  • netrc — netrc 파일 처리
  • xdrlib — XDR 데이터 인코딩과 디코딩
  • plistlib — 애플 .plist 파일 생성과 구문 분석
• 암호화 서비스
  • hashlib — 보안 해시와 메시지 요약
  • hmac — 메시지 인증을 위한 키 해싱
  • secrets — 비밀 관리를 위한 안전한 난수 생성
• 일반 운영 체제 서비스
  • os — 기타 운영 체제 인터페이스
  • io — 스트림 작업을 위한 핵심 도구
  • time — 시간 액세스와 변환
  • argparse — 명령행 옵션, 인자와 부속 명령을 위한 파서
  • getopt — 명령 줄 옵션용 C 스타일 구문 분석기
  • logging — 파이썬 로깅 시설
  • logging.config — 로깅 구성
  • logging.handlers — 로깅 처리기
  • getpass — 이식성 있는 암호 입력
  • curses — 문자 셀 디스플레이를 위한 터미널 처리
  • curses.textpad — curses 프로그램을 위한 텍스트 입력 위젯
  • curses.ascii — ASCII 문자용 유틸리티
  • curses.panel — curses 용 패널 스택 확장
  • platform — 하부 플랫폼의 식별 데이터에 대한 액세스
  • errno — 표준 errno 시스템 기호
  • ctypes — 파이썬용 외부 함수 라이브러리
• 동시 실행
  • threading — 스레드 기반 병렬 처리
  • multiprocessing — 프로세스 기반 병렬 처리
  • multiprocessing.shared_memory — 프로세스 간 직접 액세스를 위한 공유 메모리를 제공합니다
  • concurrent 패키지
  • concurrent.futures — 병렬 작업 실행하기
  • subprocess — 서브 프로세스 관리
  • sched — 이벤트 스케줄러
  • queue — 동기화된 큐 클래스
  • contextvars — 컨텍스트 변수
  • _thread — 저수준 스레드 API
• 네트워킹과 프로세스 간 통신
  • asyncio — 비동기 I/O
  • socket — 저수준 네트워킹 인터페이스
  • ssl — 소켓 객체용 TLS/SSL 래퍼
  • select — I/O 완료 대기
  • selectors — 고수준 I/O 다중화
  • asyncore — Asynchronous socket handler
  • asynchat — Asynchronous socket command/response handler
  • signal — 비동기 이벤트에 대한 처리기 설정
  • mmap — 메모리 맵 파일 지원
• 인터넷 데이터 처리
  • email — 전자 메일과 MIME 처리 패키지
  • json — JSON 인코더와 디코더
  • mailcap — Mailcap 파일 처리
  • mailbox — 다양한 형식의 사서함 조작하기
  • mimetypes — 파일명을 MIME 유형에 매핑
  • base64 — Base16, Base32, Base64, Base85 데이터 인코딩
  • binhex — binhex4 파일 인코딩과 디코딩
  • binascii — 바이너리와 ASCII 간의 변환
  • quopri — MIME quoted-printable 데이터 인코딩과 디코딩
  • uu — uuencode 파일 인코딩과 디코딩
• 구조화된 마크업 처리 도구
  • html — 하이퍼텍스트 마크업 언어 지원
  • html.parser — 간단한 HTML과 XHTML 구문 분석기
  • html.entities — HTML 일반 엔티티의 정의
  • XML 처리 모듈
  • xml.etree.ElementTree — ElementTree XML API
  • xml.dom — 문서 객체 모델 API
  • xml.dom.minidom — 최소 DOM 구현
  • xml.dom.pulldom — 부분 DOM 트리 구축 지원
  • xml.sax — SAX2 구문 분석기 지원
  • xml.sax.handler — SAX 처리기의 베이스 클래스
  • xml.sax.saxutils — SAX 유틸리티
  • xml.sax.xmlreader — XML 구문 분석기 인터페이스
  • xml.parsers.expat — Expat을 사용한 빠른 XML 구문 분석
• 인터넷 프로토콜과 지원
  • webbrowser — 편리한 웹 브라우저 제어기
  • cgi — Common Gateway Interface support
  • cgitb — CGI 스크립트를 위한 트레이스백 관리자
  • wsgiref — WSGI 유틸리티와 참조 구현
  • urllib — URL 처리 모듈
  • urllib.request — URL을 열기 위한 확장 가능한 라이브러리
  • urllib.response — urllib가 사용하는 응답 클래스
  • urllib.parse — URL을 구성 요소로 구문 분석
  • urllib.error — urllib.request에 의해 발생하는 예외 클래스
  • urllib.robotparser — robots.txt 구문 분석기
  • http — HTTP 모듈
  • http.client — HTTP 프로토콜 클라이언트
  • ftplib — FTP 프로토콜 클라이언트
  • poplib — POP3 프로토콜 클라이언트
  • imaplib — IMAP4 프로토콜 클라이언트
  • nntplib — NNTP 프로토콜 클라이언트
  • smtplib — SMTP 프로토콜 클라이언트
  • smtpd — SMTP Server
  • telnetlib — 텔넷 클라이언트
  • uuid — RFC 4122 에 따른 UUID 객체
  • socketserver — 네트워크 서버를 위한 프레임워크
  • http.server — HTTP 서버
  • http.cookies — HTTP 상태 관리
  • http.cookiejar — HTTP 클라이언트를 위한 쿠키 처리
  • xmlrpc — XMLRPC 서버와 클라이언트 모듈
  • xmlrpc.client — XML-RPC 클라이언트 액세스
  • xmlrpc.server — 기본 XML-RPC 서버
  • ipaddress — IPv4/IPv6 조작 라이브러리
• 멀티미디어 서비스
  • audioop — Manipulate raw audio data
  • aifc — AIFF와 AIFC 파일 읽고 쓰기
  • sunau — Sun AU 파일 읽고 쓰기
  • wave — WAV 파일 읽고 쓰기
  • chunk — IFF 청크된 데이터 읽기
  • colorsys — 색 체계 간의 변환
  • imghdr — 이미지 유형 판단
  • sndhdr — 음향 파일 유형 판단
  • ossaudiodev — Access to OSS-compatible audio devices
• 국제화
  • gettext — 다국어 국제화 서비스
  • locale — 국제화 서비스
• 프로그램 프레임워크
  • turtle — 터틀 그래픽
  • cmd — 줄 지향 명령 인터프리터 지원
  • shlex — 간단한 어휘 분석
• Tk를 사용한 그래픽 사용자 인터페이스
  • tkinter — Tcl/Tk 파이썬 인터페이스
  • tkinter.colorchooser — 색상 선택 대화 상자
  • tkinter.font — Tkinter 글꼴 래퍼
  • Tkinter 대화 상자
  • tkinter.messagebox — Tkinter 메시지 프롬프트
  • tkinter.scrolledtext — 스크롤 되는 Text 위젯
  • tkinter.dnd — 드래그 앤드 드롭 지원
  • tkinter.ttk — Tk 테마 위젯
  • tkinter.tix — Extension widgets for Tk
  • IDLE
  • 기타 그래픽 사용자 인터페이스 패키지
• 개발 도구
  • typing — 형 힌트 지원
  • pydoc — 설명서 생성과 온라인 도움말 시스템
  • 파이썬 개발 모드
  • 파이썬 개발 모드의 효과
  • ResourceWarning 예
  • 잘못된 파일 기술자 에러 예
  • doctest — 대화형 파이썬 예제 테스트
  • unittest — 단위 테스트 프레임워크
  • unittest.mock — 모의 객체 라이브러리
  • unittest.mock — 시작하기
  • 2to3 - 파이썬 2에서 파이썬 3으로 자동 코드 변환
  • test — 파이썬 용 회귀 테스트 패키지
  • test.support — 파이썬 테스트 스위트용 유틸리티
  • test.support.socket_helper — 소켓 테스트용 유틸리티
  • test.support.script_helper — 파이썬 실행 테스트용 유틸리티
  • test.support.bytecode_helper — 올바른 바이트 코드 생성 테스트를 위한 지원 도구
• 디버깅과 프로파일링
  • 감사 이벤트 표
  • bdb — 디버거 프레임워크
  • faulthandler — 파이썬 트레이스백 덤프
  • pdb — 파이썬 디버거
  • 파이썬 프로파일러
  • timeit — 작은 코드 조각의 실행 시간 측정
  • trace — 파이썬 문장 실행 추적
  • tracemalloc — 메모리 할당 추적
• 소프트웨어 패키징 및 배포
  • distutils — 파이썬 모듈 빌드와 설치
  • ensurepip — pip 설치 프로그램 부트스트랩
  • venv — 가상 환경 생성
  • zipapp — 실행 가능한 파이썬 zip 아카이브 관리
• 파이썬 실행시간 서비스
  • sys — 시스템 특정 파라미터와 함수
  • sysconfig — 파이썬의 구성 정보에 접근하기
  • builtins — 내장 객체
  • __main__ — 최상위 스크립트 환경
  • warnings — 경고 제어
  • dataclasses — 데이터 클래스
  • contextlib — with 문 컨텍스트를 위한 유틸리티
  • abc — 추상 베이스 클래스
  • atexit — 종료 처리기
  • traceback — 스택 트레이스백 인쇄와 조회
  • __future__ — 퓨처 문 정의
  • gc — 가비지 수거기 인터페이스
  • inspect — 라이브 객체 검사
  • site — 사이트별 구성 훅
• 사용자 정의 파이썬 인터프리터
  • code — 인터프리터 베이스 클래스
  • codeop — 파이썬 코드 컴파일
• 모듈 임포트 하기
  • zipimport — Zip 저장소에서 모듈 임포트
  • pkgutil — 패키지 확장 유틸리티
  • modulefinder — 스크립트에서 사용되는 모듈 찾기
  • runpy — 파이썬 모듈 찾기와 실행
  • importlib — import의 구현
  • importlib.metadata 사용하기
• 파이썬 언어 서비스
  • parser — Access Python parse trees
  • ast — 추상 구문 트리
  • symtable — 컴파일러 심볼 테이블 액세스
  • symbol — 파이썬 구문 분석 트리에 사용되는 상수
  • token — 파이썬 구문 분석 트리에 사용되는 상수
  • keyword — 파이썬 키워드 검사
  • tokenize — 파이썬 소스를 위한 토크나이저
  • tabnanny — 모호한 들여쓰기 감지
  • pyclbr — 파이썬 모듈 브라우저 지원
  • py_compile — 파이썬 소스 파일 컴파일
  • compileall — 파이썬 라이브러리 바이트 컴파일하기
  • dis — 파이썬 바이트 코드 역 어셈블러
  • pickletools — 피클 개발자를 위한 도구
• 기타 서비스
  • formatter — Generic output formatting
• MS 윈도우 특정 서비스
  • msilib — Read and write Microsoft Installer files
  • msvcrt — MS VC++ 런타임의 유용한 루틴
  • winreg — 윈도우 레지스트리 액세스
  • winsound — 윈도우용 소리 재생 인터페이스
• 유닉스 특정 서비스
  • posix — 가장 일반적인 POSIX 시스템 호출
  • pwd — 암호 데이터베이스
  • spwd — 섀도 암호 데이터베이스
  • grp — 그룹 데이터베이스
  • crypt — 유닉스 비밀번호 확인 함수
  • termios — POSIX 스타일 tty 제어
  • tty — 터미널 제어 함수
  • pty — 의사 터미널 유틸리티
  • fcntl — fcntl과 ioctl 시스템 호출
  • pipes — 셸 파이프라인에 대한 인터페이스
  • resource — 자원 사용 정보
  • nis — Sun의 NIS(옐로 페이지)에 대한 인터페이스
  • syslog — 유닉스 syslog 라이브러리 루틴
• 대체된 모듈
  • optparse — 명령 줄 옵션용 구문 분석기
  • imp — Access the import internals
• 문서로 만들어지지 않은 모듈
  • 플랫폼 특정 모듈

https://www.youtube.com/watch?v=NM6lrxy0bxs

https://youtu.be/MPU2HistivI

앞서본 영상은 AI 에서 Object Detection 이라는 Computer Vision의 한 분야로

2D 이미지에서 객체를 찾아내는 문제에 관한 연구분야이다.

영상 속 yolo는

2015년 vesion 1 을 시작으로 저자를 옮겨 yolov5까지 진행 중에 있다.

아래는 Object Detection의 계보라고 할 수 있다.

현재 Vision AI의 동향을 아래 링크를 통해 확인 할 수 있다.

COCO test-dev Benchmark (Object Detection) | Papers With Code

Object Detection은 Localization과 classification 을 같이 수행한다.

기본적인 Localization 모델에서는 객체의 위치만 검출하는 모델 예제로는

모델 마지막 부분에 FC를 사용하여 4개의 x,y,w,h 또는 x,y,x2y2를 갖는 모델로 되어있었고,

classification은 이미지가 무엇인가라는 문제를 분류하는 문제에 대한 것으로,

다수의 무엇 중에 해당 영역에 1 또는 0으로 라벨링하여 분류를 표시된다.

RCNN을 예시에서 Region proposal  Localization, classification 등의 수행을 다른 Task 에서 수행하고,

Yolo의 예시처럼 하나의 Task 안에서 수행하는 End2End 방식이 있다 있다.

yolo의 object detection 설명 영상

youtu.be/9s_FpMpdYW8?t=3

Yolo에서는 출력 부분에 FC를 사용하지 않고 배치사이즈를 포함한 3차원 텐서가 출력하게 되는데.

아래와 같이 퓨처맵의 그리드에서 객체가 있을 법한 위치의 채널에 해당하는 깊이에 Localization, classification의

정보가 되도록하기 위한 학습방법에 대한 것이였다.

최종으로 출려되는 featrue map의 shape를 다음 그림에서는 7*7에 깊이 30의 모양임을 확인 할 수 있다.

그 경우 출력될 수 있는 BBox의 갯수는 98개 라고 이야기하는 것은 Anchor box가 하나의 그리드에 대해

2가지의 BBox가 있고, 하나의 grid에서 2개 정도의 객체를 검출하겠다라는 경우다.

Yolo에서 3차원 출력으로 문제를 보고, 다음 Loss Funtion 에도 그 의도를 확인 할 수 있다.

아래 그림 속 Loss은 Yolov4에서의 객체와 백그라운드의 구분,

bbox 의 정확도, class 구분의 3가지 문제에 대해서 3차원 Feature map과 label 간의 Cost를 구체적으로 설명한다.

두 개의 시그마는 인덱스 퓨처맵과 라벨의 인덱스 위치를 참조하고,

시그마 앞의 산식이 loss 전달에 대한 조건식과 loss의 스케일로 이루어져 있으며,

두 시그마 뒤에 있는 산식은 구체적인 loss 값에 대한 산식이다.

아래 사진은 두 개의 시그마의 인덱스 변화에 따른 라벨과 퓨처맵의 비교 연산 위치를 알려주는 그림이다. 

같은 그리드와 앵커 박스의 인덱스를 참조하여 시그마 뒤에있는 연산을 수행한 모든 차원에서 로스를 합산한다는 의미인데, 독자로 하여금 제대로 전달이됬을지 모르겠다.

여하간, 3차원의 출력과 라벨을 사용한다는 것을 알 수 있다.

이렇게 loss를 연산하는 과정 전에 다음처럼 Decode를 수행하는 과정이 있다.

다음 사진이 그것인데, 사진엔 없지만 연산을 편하게 하기 위해서 Reshape와 split을 먼저 수행한다.

사진 속에서 meshgrid와 출력 된 feature map을 더하는데,

그리드 위치인덱스를 상수로 더해주는 연상ㅇ르 하기 때문에,

모델의 x, y 위치는 자신이 속한 그리드 셀 내에서의 좌표값에 대한 정보만을 해석하면 된다.

이 이유를 다음 그림을 설명한 후에 이야기하겠다.

그 다음 위의 이미지에서 wh에 Ahchors를 곱하는데, 이 의미는 각 featrue map의 wh 값은 exp를 거쳐 나온 값이 Anchors 의 비율을 결정하는 파라미터로 작용하며 각 앵커박스 인덱스 당 wh 가 책임지는 앵커박스의 wh가 있음을 알 수 있다.

이렇게 Decode layer와 이전 loss funtion의 구체적인 방법들은 필요한 학습 영역을 제한하여 모델의 부담을 줄이고,

모델 학습시간을 줄일 수 있고,

x, y, w, h, c, prob 등의 pred 모든 파라미터  0~1 안에서 변화할 것을 알려준다.

이점에 대해서 다시 곰곰히 생각해보면 loss funtion 상의 confidonce와 class 등 Binary Cross Entropy 문제로 추론하여 학습하는 동안 인접한 x, y, w, h 과의 gradient의 vanishing과 exploding의 문제를 동시에 해결 할 수 있음을 알 수 있다.

여하간 욜로의 핵심 idea는 이렇다.

pip install pandas

conda install pandas

pandas.pydata.org/docs/index.htmlpandas.pydata.org/docs/getting_started/overview.htmlpandas.pydata.org/docs/getting_started/overview.html

pip install -U pandas-profiling

pip install pandas_profiling

판다스 프로파일링은 데이터의 의미를 파악하기 전 단계에서

데이터의 상태(EDA)에 대한 오버뷰를 제공하는 강력한 패키지이다. 

좋은 요리를 위해서는 조리 방법도 중요하지만, 그만큼 중요한 것은 갖고있는 재료의 상태입니다. 재료가 상하거나 문제가 있다면 좋은 요리가 나올 수 없습니다. 마찬가지로 좋은 머신 러닝 결과를 얻기 위해서는 데이터의 성격을 파악하는 과정이 선행되어야 합니다. 이 과정에서 데이터 내 값의 분포, 변수 간의 관계, Null 값과 같은 결측값(missing values) 존재 유무 등을 파악하게 되는데 이와 같이 데이터를 파악하는 과정을 EDA(Exploratory Data Analysis, 탐색적 데이터 분석)이라고 합니다. 이번에는 방대한 양의 데이터를 가진 데이터프레임을 .profile_report()라는 단 한 줄의 명령으로 탐색하는 패키지인 판다스 프로파일링(pandas-profiling)을 소개합니다.

wikidocs.net/47193

rk1993.tistory.com/entry/Python%EB%8D%B0%EC%9D%B4%ED%84%B0%EB%B6%84%EC%84%9D-EDA-%EC%89%BD%EA%B2%8C-%ED%95%98%EA%B8%B0-pandasprofiling