칼의 치치

1. Server 송신 과정 ex) 메모리는 64KB , 실제 데이터는 1.4 mb 일 때 64KB씩 잘라서 프로세스가 진행 1. 64KB씩 분해해서 소켓에 작성하는데 프로세스 메모리에 적재된 데이터를 TCP 메모리 (버퍼)에 적재함 서버에서는 소켓을 가지게 됨 - 소켓은 파일 - 서버는 프로세스 프로세스가 파일(소켓) 에다가 RW (읽고 쓰기) - 읽기 : recieve - 쓰다 : send 서버 프로세스가 소켓에 I.O를 한다. HDD/SDD 등 2차 메모리 안에 파일이 들어있음 파일 시스템(ex:a.jpeg) 으로 관리됨 파일 시스템은 드라이버를 통해 메모리에 접근 프로세스별로 메모리를 할당 받는데 해당 사이즈는 개발자가 결정 2. 해당 버퍼를 IP Layer에서 세그먼트 단위로 분해함 3. 세그먼..

1. 기본적인 쓰레드 예시 System.out.println(Thread.currentThread().getName()); Thread a = new Thread(()-> { System.out.println(Thread.currentThread().getName()); try { Thread.sleep(1000l); } catch (InterruptedException e) { return; } }); a.start(); // my code // a.join() or a.interrupt() // my code start : 시작 join : 해당 쓰레드가 끝날때 까지 기다림 interrupt: 해당 쓰레드를 interrupt 하여 catch 블락에 접근하도록 유도 => 쓰레드 관련하여 모든 코드 작성..

NL 조인은 기본적으로 이중 중첩 루프문 SELECT /*+ no_nlj_batching(B) */ * FROM EMP A,CLIENT B WHERE A.EMPNO = B.CLNO AND A.HIREDATE > '20200101'; (1) SELECT * FROM A WHERE A.date>'20110101'의 조회를 수행하면서 해당 엔티티가 존재하면 A.id를 가짐 (2) SELECT * FROM B WHERE B.id = N( (1)에서 조회한 A.id ) 위와 같은 방식으로 조회를 수행하게 된다. 때문에 2번 수행의 경우 인덱스 스캔을 하지 않는다면 A테이블에서 조건을 만족하는 엔티티 만큼 B를 테이블 스캔하게 되므로 반드시 내부테이블은 인덱스 스캔을 수행해야 한다. A 테이블을 outer tabl..

암호화 : 중간에서 누군가가 읽을 수 없게 변경 복호화 : 암호화 이전의 데이터로 변환 키 : 암호화,복화화를 위한 키 1. OpenSSL 대칭키 생성 예시 대칭키 : 암호화를 하는 쪽과 복호화를 하는 쪽이 동일한 키를 가지고 있어야함 openssl enc -e -des3 -salt -in hello.txt -out nohello.txt => key 입력 openssl enc -d -des3 -in nohello.txt -out hello2.txt => key 입력 2. openssl 비대칭 키 예시 비대칭키 : 키가 2개 , 키를 배달하는 사고가 일어나지 않음 공개키 , 비밀키 A로 암호화 시 B로 복호화 가능 B로 암호화시 A로 복호화 가능 공개키로 암호화한 내용은 개인키로만, 개인키로 암호화한 내용..

R ggplot을 ggiraph을 사용하여 html과 java script를 활용한 interaction plot. html 리소스 만들기 - 웹에서 java script 통해 상호작용이 가능한 plot으로 변경 1. 데이터 준비 ggplot에서 기존에 사용하던 데이터 컬럼 구성(위의 데이터는 시계열 데이터) 추후에 각 선과 점에 마우스를 올렸을때 동작하는 tooltip과 interaction을 위해서 tooltip용 컬럼을 추가해준다. 2. 기본 ggplot grid 생성 library(ggplot2) library(ggthemes) library(ggiraph) gg

Oracle Partition UPDATE 튜닝 정리 대용량 데이터를 입력할 때 성능 문제가 발생할 수 있어서 인덱스를 DROP 하고 데이터를 입력 후에 데이터가 모두 입력시킨 다음 인덱스를 재생성해주는 방법을 고려할 수 있다. 그러나 전체 데이터에 대한 인덱스를 재생성하는 비용도 적지 않기 때문에 쉽게 선택 할 수 없다. 만약 테이블이 파티셔닝 되어있고 이에 대해서 로컬 파티션 인덱스가 생성되어 있다면 파티션 단위로 인덱스를 재생성할 수 있기 때문에 데이터 입력을 빠르게 수행할 수 있다. 1. 작업 대상 테이블 파티션을 nologging 모드로 전환한다. ALTER TABLE INFO_TABLE MODIFY PARTITION P_202201 nologging; 2. 작업 대상 테이블 파티션과 매칭되는 ..

Oracle Partition DELETE 튜닝 정리 DELETE FROM INFO_TABLE WHERE TIME < '20220101' (INFO_TABLE은 파티션 키는 TIME이며 PK는 VALUE1+TIME , TIME만 으로 구성된 인덱스도 존재) 위의 테이블에서 테이블과 인덱스를 실시간으로 관리하는 것은 많은 시간을 필요로 한다. 인덱스를 Drop 했다가 재생성하는 방법도 모든 인덱스를 재생성해야 하므로 시간이 많이 소요된다. * Delete의 과정 1. 레코드 삭제 2. 테이블 레코드 삭제에 대한 Undo Logging 3. 테이블 레코드 삭제에 대한 Redo Logging 4. 인덱스 삭제 5. 인덱스 레코드 삭제에 대한 Undo Logging 6. 인덱스 레코드 삭제에 대한 Redo Lo..

Oracle Partition UPDATE 튜닝 정리 인덱스가 DML 성능에 큰 영향을 미치므로 대량 데이터를 입력/수정/삭제 시에는 인덱스를 DROP하거나 Unusable 상태로 변경하고 작업하는 방법을 많이 활용한다 (전체의 5%이상일시) UPDATE INFO_TABLE SET VALUE2='CHANGE' WHERE VALUE1 = 'Y' AND TIME '20211130' (INFO_TABLE은 파티션 키는 TIME 이며 PK 는 VALUE1+TIME , TIME만 으로 구성된 인덱스도 존재) 위와 같은 쿼리를 수행할시 변경해야될 레코드가 전체의 5%이상이라고 할시 인덱스와 테이블을 모두 수정하는데에 많은 시간이 필요하다. 만약 위의 경우에서 테이블이 파티..

Oracle Partition (1) 파티셔닝 : 테이블 또는 인덱스 데이터를 특정 컬럼에 따라 별도 세그먼트에 나눠서 저장 1. 관리적 측면 장점 : 파티션 단위 백업,추가,삭제,변경 -> 가용성 향상 2. 성능적 측면 장점 : 파티션 단위 조회 및 DML 경합 또는 부하 분산 * 파티션 Pruning SQL 하드파싱이나 실행시점에 조건절을 분석하여 불필요한 부분의 제거 SELECT * FROM INFO_TABLE WHERE TIME >'20210101' AND TIME < '20220101' 위의 SQL INFO_TABLE이 전체 3000만건 중 해당 기간동안의 데이터가 1000만건이 조회된다고 하면 인덱스로 랜덤엑세스하는것 보다 테이블엑세스의 성능이 나을 수 있다. 그러나 위의 Partitioned..

1. 데이터 전처리후(Pandas dataTable) Target Value 분리 import numpy as np import pandas as pd # target 확인 target = 'Target_YVALUE' # 데이터 분리 x = data.drop(target, axis=1) y = data[target] 2) Training, Test 데이터 분리 # scikit-learn을 사용한 데이터 분리 from sklearn.model_selection import train_test_split # 8:2으로 분리 x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.2, random_state=2022) 3. Traing Se..