분류 전체보기

reference : Web Scraping with Selenium and Python in 2024🫡 ◾Web Crawling & Scraping 🔻Difference between Crawling and Scraping 🔸Web Crawling - 웹 크롤링을 간단히 말하자면 indexing과 같다. crawler라고 하는 봇이 웹 페이지들을 돌아다니며 정보들에 index(색인, 목차)를 매기는 행위를 의미한다. 웹 크롤링이 하는 행위는 검색 엔진의 기능과 같다. 검색 엔진 역시 웹 상에 존재하는 모든 페이지에 색인을 매기며 검색에 용이하도록 정리해둔다. 🔸Web Scraping - 웹 스크래핑이 우리가 흔히 알고 있는 뉴스 기사 긁어오기와 같은 행위이다. HTML과 같이 패턴을 띄는 데이터를 분석..

수식이 보이지 않을 때는 페이지를 새로고침해주세요🫡 [DL기본] Neural Network #1에 이어서 활성화 함수에 대한 내용으로 포스팅을 시작하겠습니다. 🔻활성화 함수 activation function 🔸Vanishing Gradient problem - 딥러닝 모델들은 가중치 벡터와 편향값을 업데이트할 때 역전파를 통해 미분값을 계산하기 때문에 활성화 함수가 미분가능해야 한다. - 경사하강법을 통한 가중치 갱신 시, 미분값이 0에 수렴하면 더 이상 가중치 갱신을 진행하지 않기 때문에 딥러닝 모델은 학습을 중단하게 된다. - 그렇다면 시그모이드 함수나 ReLU 함수처럼 미분값이 0이 되는 함수들은 이런 Vanishing Gradient 문제에 빠질 수 있다. - 그러나 또 이런 기울기 소실 문제를..

수식이 보이지 않을 때는 페이지를 새로고침해주세요🫡 ◾Nueral Network 🔻신경망 구조 - 입력층(input layer) : 다수의 입력 신호를 받는 layer - 은닉층(hidden layer) : 가중치와 활성화 함수로 구성되어 있는 뉴런층. - 신경망이 학습함에 따라 가중치가 변화하지만 인간이 그 과정을 파악하는 것이 불가능하기에 'hidden'이라 부른다. - 출력층(output layer) : 가중치와 활성화 함수를 갖고, 출력 신호를 결정짓는 뉴런층 +) 은닉층과 출력층의 개수를 신경망의 깊이(depth)라 한다. +) 신경망에서 변수 표현 방식 \[ \text{v}^{a}_{bc} \] - v : name of variable (변수명) - a : number of the layer(..

수식이 보이지 않을 때는 페이지를 새로고침해주세요🫡 본 포스팅은 '밑바닥부터 시작하는 딥러닝' 교재를 참고했습니다. ◾퍼셉트론이란? 🔻퍼셉트론의 정의 🔸정의 : Frank Rosenblan 이란 분이 고안한 알고리즘으로, 다수의 신호를 입력받아 하나의 신호를 출력하는 것이다. - 신호 : 전류처럼 '흐름'이 있는 신호를 의미한다. 🔻퍼셉트론의 구조 🔸도식 및 구조 - \(x_i\) : 입력 신호(=뉴런, 노드, 독립 변수) - \(w_i\) : 가중치 → 의미 : 입력 신호가 출력 신호를 활성화시키는 데 기여하는 역할을 한다. \(x_i\) 입력신호의 가중치인 \(w_i\)값이 크다면, 해당 입력신호는 출력신호에 더 큰 영향을 줄 것이다. 즉, 가중치는 입력 신호의 '중요도'와 비례한다. - y : 출력..

◾행렬식 Determinant 정의 🔻행렬식이란? - 정의 : 정방행렬 A를 실숫값으로 대응시키는 함수이다. - 표기 : \( det(A) \text{또는} |A| \) 🔻소행렬식 minor determinant - 정의 : 행렬 A에서 성분 \( a_{ij} \)가 있는 i행과 j열을 제거한 행렬의 행렬식이다. - 표기 : \( A_{ij} \) - e.g.) \[ A = \begin{bmatrix} 1&2&3 \\ 4&5&6 \\ 7&8&9 \end{bmatrix} \quad A_{11} = det\Bigg( \begin{bmatrix} 5&6 \\ 8&9 \end{bmatrix} \Bigg) \] 🔻행렬식의 활용 그렇다면 행렬식은 어디에 활용하는가? 1. 행렬 A가 가역행렬인지 판별하는 데에 사용된..

본 포스팅은 패스트캠퍼스의 '파이썬을 활용한 데이터 전처리 Level UP' 강의를 정리한 내용입니다. Python 강의는 아는 부분은 건너뛰고 모르는 내용들만 정리합니다. ◾Itertools 모듈 🔻다양한 Iterator 객체를 생성하는 메소드들 Iterable 클래스란? 공식 문서에 따르면 "An object capable of returning its members one at a time"이라 한다. 대표적인 Iterable 클래스에는 시퀀스 클래스(list, tuple, str)가 있다. non-sequence 클래스에는 dict 등이 있다. 어떤 객체가 Iterable한지 가장 쉽게 확인하는 방법은 해당 객체의 __dir__() 메소드를 통해 네임스페이스에 __iter__ 가 있는지 확인하는 ..

수식이 잘 랜더링되지 않을 시, 여러 번 새로고침하거나 다른 브라우저를 사용해보세요. 🔻LU 분해 🔸정의 임의의 정방행렬 A를 하삼각행렬(L)과 상삼각행렬(U)의 곱인 A=LU 로 표현하는 것을 의미한다. LU 분해 또는 LU 행렬 분해라고 한다. 분해된 L 또는 U의 주대각 성분이 모두 1이면 단위 삼각행렬이어서 '단위 상/하삼각행렬 분해'라고도 한다. 🔸LU 분해가 성립하는 조건 당연히 모든 정방행렬이 LU분해되지는 않는다. 다음과 같은 조건을 만족하는 정방행렬만 LU분해가 가능하다. 조건 : 정방행렬 A에 대하여 위쪽 행의 상수배를 아래쪽 행에 더하는 기본행연산만을 적용하여 상삼각행렬로 만들 수 있어야 한다. 기본행연산 ERO 복습 링크 기본행연산에는 3가지 종류가 있었다. 행 교환, 상수배, 상수..

학교 강의 과제였습니다. 참고 포스팅 : 네스트의 제품 전략과 온도조절기(Nest Thermostat)의 동작 구조 🔻Nest 기업 소개 Nest는 IoT 산업에서 기술력과 특히 UX/UI 부문으로 고평가를 받는 기업입니다. UX/UI로 고평가받는 이유 중 하나로 직원 중 'Apple' 출신 엔지니어와 디자이너가 많다는 재밌는 뒷배경도 있습니다. 2011년, Nest Learning Thermostat이 출시되었습니다. 해당 온도조절기는 IoT기술을 접목하여 사용자의 직접적인 조작 없이도 스스로 사용자, 환경에 맞게 냉난방 온도를 설정해주는 스마트 냉난방 조절기입니다. 2013년, Nest Protect가 출시되었습니다. 화재 및 일산화탄소 감지 기기입니다.(아마존 제품 설명에는 침입자 경보 기능이 안 ..

이전 포스팅에서 역행렬의 정의와 기본적인 성질, 결정자, 2by2 가역행렬의 역행렬 구하는 방법에 대해 알아보았다. 이번 포스팅에서는 기본행렬, 기본행렬을 이용한 역행렬 구하는 방법에 대해 알아보겠다. 🔻기본행렬 Elementary Matrix 🔸개념 ○ 정의 : 단위행렬에 한 번의 기본행연산(ERO) 를 수행하여 얻어진 행렬이다. 기본행연산에 세가지 종류(행 교환, 상수배, 상수배한 행을 다른 행에 더함)가 있듯이, 기본행렬도 3종류가 있다. ○ 성질 1.기본행렬은 가역행렬이다. 2.기본행렬의 역행렬도 기본행렬이다. 3.기본행렬을 어떤 정방행렬 A의 '왼쪽' 에 곱하면 A를 기본행연산한 결과 가 나타난다. ○ 기본행렬의 역행렬은 간단히 구할 수 있다. 🔻가역행렬 정리 아래 정리(명제)들은 어떤 정방행렬..

앙상블 학습 Notion 페이지 ◾Stacking이란? 🔻개념 🔸개별적인 여러 알고리즘으로 우선 예측을 수행한 다음, 해당 예측 데이터를 기반으로 Meta Dataset을 만들어 다시 Meta Learner가 학습하여 예측을 수행한다. >> 학습한 결과를 바탕으로 다시 학습한다고 해서 이런 모델들을 ‘메타 모델’ 이라 한다. +) 어떻게 보면 Soft Voting, Bagging과 유사한 방식이지만, 마지막에 메타 모델을 사용한다는 점이 차이점이다. 🔸기본 아키텍쳐 ◾Stacking 과정 파헤치기 "파이썬 머신러닝 완벽 가이드 (개정2판)"에서는 일반적인 stacking 과정을 설명할 때, train-test 데이터 분할을 하여 코드로 구현했다. 그리고 테스트 데이터로 메타 학습기를 학습시키는 이상한 구..