본문 바로가기

공부 이야기/그냥 찾아보는 공부

ubuntu 명령어 모음 - 호스트명 alias 주는 방법sudo hostnamectl set-hostname 호스트명: ip 주소가 호스트명으로 변경 - 다른 노드로 디렉토리/파일 복사하는 방법scp -r 옮길디렉토리명 디렉토리계정@노드명:원격지디렉토리명ex) scp -r ~/cluster/hadoop root@slave02:~/cluster: 현재 노드의 root > cluster 하위에 있는 hadoop 폴더를 slave02 노드의 cluster 경로에 복사: 계정을 확인하는 방법은 ls -al로 디렉토리를 조회하면 됨 더보기
[python] 날짜 포맷 이모저모 current_time = datetime.now() yyyy-MM-dd HH:mm:ss 형식으로 반환 current_time = datetime.now(pytz.timezone('Asia/Tokyo')) 2023-01-01T00:00:00+09:00 처럼 뒤에 09:00가 붙음 .strftime("%Y-%m-%dT%H:%M:%S%z") now() 메소드로 반환된 값에 대해 포맷 처리를 해줘야 함 더보기
[python] gradio -> UnicodeDecodeError: 'cp949' codec can't decode byte 0xe2 in position 2072: illegal multibyte sequence 에러 해결 방법 gradio를 사용하려니깐 시작부터 발목을 잡았다. https://github.com/gradio-app/gradio/issues/6364 Encoding issues in newer Gradio versions · Issue #6364 · gradio-app/gradio Describe the bug In 3.33.1, my gradio app could be launched perfectly fine on both Windows and Linux. However, when I upgraded to the most recent version, I was getting encoding issues left and rig... github.com -> 구글링을 해보니 라이브러리 소스에 들어가서 직접 rea.. 더보기
Webhook이란? 클라이언트에서 서버로 요청을 보내고 서버에서 알림 서버에 받은 요청을 전달하는데 알림 서버는 해당 요청에 대한 응답을 클라이언트로 바로 보내는 것을 의미 서버 자원 측면에서 효율적일 수 있지만 timeout, limit 관리를 해줄 필요가 있다. Queue 또는 Proxy를 통해서 관리해줄 수 있다. 더보기
Data Pipeline orchestator Apache AirFlow # 1. data pipeline orchestrator ? - task define, schedule - monitor, error handling - coordinate dependency - execute order of tasks - data movement(ETL) - scalar or parallel # 2. similar product - oozie, Uber-temporal(go-base), AWS-step # 3. components - Web Server : monitor - Metadata Database - Scheduler - Executor - Worker - Triggerer # 4. DAG - set of tasks, task is unit of execution - task.. 더보기
소수의 성질 1 - 메르센 소수 - 완전수를 표현할 때 사용하는 공식에서 파생 - 예외가 발견됐기 때문에 불완전함 소수가 아니기 위해선? n = u x v 소수 n이 u, v의 곱으로 표현될 때 인수를 가지게 되므로 소수의 조건에 위배된다. 단, u와 v는 1보다 큰 자연수이다. 메르센 소수에 대해 페르마는 다음 정리를 통해 반박했다. 1) n이 소수가 아니라면, 메르센 소수는 소수가 아니다. n을 uv로 치환했을 때, 거듭제곱의 차로 표현할 수 있기 때문이다. 즉, 인수분해가 가능하기 때문에 소수의 조건에 위배하게 된다. 더보기
에레토스테네스의 체 n이하의 소수를 구하는 공식에 사용되는 에레토스테네스의 체. 소수와 다르게, 배수로 표현할 수 있는 수는 합성수이다. 에레토스테네스의 체는 소수가 아닌 합성수를 소거하는 방식으로 구하는 방식이다. 2를 제외한 짝수들은 모두 합성수이다. 2의 배수로 표현할 수 있기 때문이다. 따라서 n보다 작은 홀수들이 합성수인지를 확인하면 된다. 근데 왜 √n 이하만 반복 조회를 하는 것일까? 조회 대상인 n이 아닌 인수(n보다 작은 홀수) 관점에서 보면 그 이유를 알게 된다. n보다 작은 홀수를 k라고 하자. k의 거듭제곱은 k x k이다. 즉, k의 거듭제곱은 k의 배수이다. 이 경우, k의 거듭제곱은 합성수이기 때문에 짝수의 경우처럼 조회 대상에서 제외할 수 있다. 조회할 인수를 거듭제곱하는 경우와 '√ 조회 범위.. 더보기
비트연산자로 몫 구하기, 홀수 구하기 1. 몫 구하기 int half(n){ return n >> 1; } 원리 - 1비트씩 오른쪽으로 밀면 나머지와 여부와 상관없이 몫이 도출된다. 전제 - >>1 연산은 1비트씩 오른쪽으로 미는 연산이다. 예시 - 7(0111) => 3(0011) 참고 - 가장 왼쪽에 있는 비트(MSB)는 0으로 채워진다. - 더보기