728x90
반응형

기술공부/개발_코드 23

배치처리의 장점

list(목록)를 한 번에 넣는 경우, 즉, 모든 데이터를 한 번에 처리하는 방식이 문제를 일으킬 수 있기 때문에 배치 처리가 필요합니다.❌ 리스트(list)를 한 번에 넣는 경우 (비효율적인 방식)예를 들어, 대량의 데이터를 한꺼번에 SQL 쿼리에 넣거나 API 요청에 사용하면 부하가 발생합니다.📌 SQL에서 list를 한 번에 넣는 경우 (비효율적인 예시)contentCodes = ["DOC001", "DOC002", ..., "DOC500000"] # 50만 개 문서 코드# 50만 개를 한 번에 넣는 경우placeholders = ','.join(["'{}'".format(code) for code in contentCodes])query = f"SELECT * FROM T_CONTENT_MAS..

배치처리 vs. 개별처리

for문을 돌려서 한 개씩 처리하는 방식은 어떨까?배치 처리와 비교했을 때, for문을 돌려서 한 개씩 처리하는 방식은 **"개별 처리"**라고 볼 수 있습니다.즉, 배치(batch) 처리 대신 데이터를 하나씩 반복문을 돌면서 처리하는 방식인데, 이는 상황에 따라 비효율적일 수도 있고, 적절할 수도 있습니다.❌ 한 개씩 처리하는 경우 (비효율적인 방식)📌 SQL 쿼리를 개별 실행하는 경우for code in code_list: # 50만 개 문서 코드가 있다고 가정 query = f"SELECT * FROM T_CONTENT_MASTER WHERE CONTENT_CODE = '{code}'" cursor.execute(query) result = cursor.fetchall() ..

🚀 Windows에서 OpenSSH를 활용한 원격 접속 설정 및 문제 해결 가이드

🔍 개요Windows 환경에서 OpenSSH를 활용하여 로컬(A)에서 원격(B)으로 SSH 접속을 설정하는 방법을 정리했습니다.또한, SSH 접속 시 발생할 수 있는 문제와 해결 방법도 함께 다룹니다.🛠 1. OpenSSH 설치 및 설정📌 1.1 B 컴퓨터(OpenSSH 서버) 설치OpenSSH 다운로드 및 설치OpenSSH 공식 릴리즈에서 최신 버전을 다운로드압축을 E:\openSSH-Win64 폴더에 풀기PowerShell(관리자 권한)에서 설치 스크립트 실행:cd E:\openSSH-Win64powershell -ExecutionPolicy Bypass -File install-sshd.ps1SSH 서비스 실행 및 자동 시작 설정Start-Service sshd Set-Service -Name..

그래프에서 끊어진 데이터를 이어주는 방법

1. 선형 보간법 (Linear Interpolation): 데이터 포인트 간에 직선을 그려서 결측값을 추정하는 방법입니다. numpy 또는 scipy의 함수들을 사용할 수 있습니다.import numpy as npfrom scipy.interpolate import interp1dimport matplotlib.pyplot as plt# 예시 데이터x = np.array([0, 1, 4, 5])y = np.array([1, 2, np.nan, 4])# 결측값을 제외한 데이터로 보간 함수를 생성x_no_nan = x[~np.isnan(y)]y_no_nan = y[~np.isnan(y)]f = interp1d(x_no_nan, y_no_nan, kind='linear', fill_value="extrapo..

엑셀 function: 표에서 원하는 값을 하이라이트하기

1. 엑셀 파일을 열고 ALT + F11을 눌러 VBA 편집기를 엽니다.2.Insert > Module을 클릭하여 새 모듈을 추가합니다.3. 아래 코드를 복사하여 모듈에 붙여넣습니다. Sub HighlightBestPerformance() Dim ws As Worksheet Dim rng As Range Dim cell As Range Dim maxVal As Double Dim maxCell As Range Dim row As Integer Dim col As Integer Dim performanceMetrics As Variant Dim startRow As Integer Dim endRow As Integer Dim startCol As ..

데이터프레임(DataFrame) column, row 생략없이 보기

- df 컬럼#pd.set_option('옵션 이름', 수정할 값) pd.set_option('display.max_columns', 10)df- 컬럼 리스트# 생략없이 컬럼 리스트 보이pd.set_option('display.max_seq_items', None)df.columns # 한줄에 하나씩pd.set_option('display.width', 10)df.columns- df row# row 생략 없이 출력 pd.set_option('display.max_rows', None)df pd.describe_option()- pandas의 옵션 확인https://pandas.pydata.org/pandas-docs/stable/user_guide/options.html#available-options

데이터프레임의 열 이름을 변경: 파이썬

import pandas as pd# 예시 데이터프레임 생성df = pd.DataFrame({ 'old_name1': [1, 2, 3], 'old_name2': [4, 5, 6]})# 단일 열 이름 변경df.rename(columns={'old_name1': 'new_name1'}, inplace=True)print(df)# 여러 열 이름 변경df.rename(columns={'old_name1': 'new_name1', 'old_name2': 'new_name2'}, inplace=True)print(df)# 일괄 열 이름 변경df.columns = ['new_name1', 'new_name2']print(df)# 함수 적용을 통한 열 이름 변경 (예: 모든 열 이름을 소문자로 변경)df.c..

728x90
반응형