728x90
반응형

이론공부/주워들은 컴공 8

대용량 데이터셋이 뭐고 어떻게 처리하면 좋을까

혹시 틀린 정보가 있다면 알려주시기 바랍니다!!대용량 데이터셋의 기준대용량 데이터셋의 기준은 사용 사례와 산업별로 다를 수 있지만, 일반적으로 다음과 같은 조건이 포함됩니다:크기 (Size):데이터가 기가바이트(GB), 테라바이트(TB), 페타바이트(PB) 이상일 때 대용량으로 간주됩니다.예: 동영상 처리, 고해상도 이미지 데이터, IoT 센서 데이터 등.속도 (Velocity):데이터가 실시간으로 대량 생성되어야 처리해야 하는 경우.예: 금융 거래 데이터, 소셜 미디어 스트림.다양성 (Variety):데이터가 구조적(SQL), 비구조적(텍스트, 이미지), 반구조적(JSON) 형태로 다양하게 포함될 때.예: 멀티미디어 데이터, 로그 데이터.정확성 (Veracity):데이터가 불완전하거나 잡음(noise)..

컴퓨터

** 틀린 사항 있으면 알려주세요 - 그래픽 카드의 부품 : GPU, 메모리, 쿨링 시스템, 다양한 입출력 포트 - GPU : GPU(그래픽 처리 장치) 컴퓨터에서 그래픽 관련 작업을 처리하는 데 사용되는 특수한 하드웨어 GPU는 대규모 병렬 처리를 위해 설계됨- 수천 개~수만 개의 코어를 가지고 동시에 많은 작업 처리 가능 그래픽 처리: 가장 일반적인 용도는 2D 및 3D 그래픽을 생성하고 처리하는 것입니다. 이는 게임, 영화 및 3D 모델링 소프트웨어와 같은 그래픽 집중적인 응용 프로그램에 중요합니다. 비디오 디코딩 및 인코딩: GPU는 비디오 파일을 디코딩하여 화면에 표시하거나 인코딩하여 비디오 파일을 생성하는 데 사용될 수 있습니다. 과학 및 계산 작업: GPU는 병렬 처리 능력이 뛰어나기 때문에..

f1 score (macro, micro, weighted)

정리 잘 된 참고 블로그가 있어서 태그: https://data-minggeul.tistory.com/11 f1-score 종류와 의미 (macro, weighted, micro) scikit-learn 의 classification_report 는 분류 모델의 예측 성능을 평가하기 위해 널리 활용된다. 이진 분류일 때는 주로 소수의 클래스에 해당하는 precision, recall, f1-score 를 중요하게 본다. 그래서 함께 data-minggeul.tistory.com F1 score를 계산하는 데는 Micro F1 외에도 Macro F1과 Weighted F1 같은 다른 방법들이 있습니다. 각 방법은 데이터의 특성과 평가의 목적에 따라 선택하여 사용할 수 있습니다. 1. Macro F1 Sco..

자료구조: overall

[자료구조] 데이터를 연산(읽/쓰기/삽입/삭제/탐색)하거나 저장하는 방법. 고려해야 하는 이유 구조에 따라 프로그램 실행시간을 단축하고 메모리 용량을 최소한으로 사용하며 연산을 수행하도록 해줌. 변수 a=5 5가 저장되어 있는 객체의 주소가 a(변수)에 저장됨 배열 A=[3,-1,5,7] A[0]는 3(객체) 가리킴 - 원소의 index로 접근 알고리즘 최대공약수(gcd) 계산 gcd(8,12) = max{1,2,4} = 4 def gcd(a,b): while a != 0 and b!= 0: if a>b: a=a-b else: b=b-a return a+b # a or b가 0 일 것 # gcd(2,100)인 경우, 50번이나 while문 반복해야함 def gcd(a,b): while a != 0 and..

자료구조: 스택(Stack)

[Stack] 한쪽만 뚫린 통안에 element 넣는 거라 생각하면 됨 (한쪽 막힌 queue). LIFO(Last In First Out), 후입선출. List 구조 사용하기 # list로 구현하기 stack = list() # 요소 추가시 append(x) stack.append(2) stack.append(1) # 삭제시 마지막 요소를 제거해야 하므로 pop(-1), del list[-1] del stack[-1] 백준 알고리즘: 9012번 (https://www.acmicpc.net/problem/9012) 괄호 문자열(Parenthesis String, PS)은 두 개의 괄호 기호인 ‘(’ 와 ‘)’ 만으로 구성되어 있는 문자열이다. 그 중에서 괄호의 모양이 바르게 구성된 문자열을 올바른 괄호 ..

자료구조: 큐(Queue)

[Queue] 빨대에 element 넣는 거라 생각하면 됨 선입선출 List 구조 사용하기 [- ] list 자료구조는 무작위 접근에 최적화된 자료구조임. 따라서, pop(x) 연산의 시간복잡도는 O(N)로 N이 커질수록 매우 느려짐. => queue 자료구조 구현시 list 자료구조 비추천 # list로 구현하기 queue = list() # 요소 추가시 append(x) queue.append(2) queue.append(1) # 삭제시 del list[index] or pop(index) or remove(element) del queue[1] queue.pop(0) Deque double-ended queue의 약자로 데이터를 양방향에서 추가 제거 가능한 자료구조임. [+] popleft(), a..

728x90
반응형