TobeSteady

Anaconda 과학연구 및 머신러닝분야에 적합한 Python 및 R언어의 패키지/의존성 관리 및 배포를 편리하게 해주는 조건부 무료 오픈 소스 패키지 관리자 Ubuntu 20.04 환경에서 설치하는 방법. 설치 # user 홈 directory 로 이동 $ cd # anaconda 설치 파일 불러오기 $ wget https://repo.anaconda.com/archive/Anaconda3-2022.05-Linux-x86_64.sh $ bash Anaconda3-2022.05-Linux-x86_64.sh Anaconda3 will now be installed into this location: /home/{username}/anaconda3 - Press ENTER to confirm the loca..

Python를 사용할때, 여러가지 패키지(Selenium, Pandas 등) 를 설치하게 되는데 이때 처음 "pip"를 접하게 된다. "pip"는 패키지 매니저(관리자) 중 애플리케이션 레벨로 파이썬용 패키지 관리자이다. 패키지 관리자(Package Manager) 소프트웨어 패키지를 관리하는 프로그램. 프로그램을 관리하는 프로그램으로 프로그램을 깔거나 업데이트, 제거하는 용도로 쓰이는 프로그램. 프로그램을 구입하거나 무료 설치를 진행하면, 일반적으로 아래와 같이 "설치 매니저"를 이용하여 GUI(Graphic User Interface)를 통해 손쉽게 프로그램을 설치할 수 있다. 반면, "패키지 관리자"를 사용하게 되면 스크립트를 통해 대량의 프로그램을 한꺼번에 설치할 수 있으며 의존성이 필요한 다른 ..

프로그래머스 "Level2_숫자의 표현"문제 풀이 과정 중 사용한 알고리즘 정리. 투 포인터 알고리즘은 리스트에 순차적으로 접근해야 할 때 두 개의 점의 위치를 기록하면서 처리하는 알고리즘이다. 리스트에 담긴 데이터를 순차적으로 접근해야 할 때, 시작점(start point)과 끝점(end point) 2개의 점으로 접근할 데이터의 범위를 표현할 수 있다. 투포인터 알고리즘을 이용할 수 있는 대표적인 문제 유형 특정한 합을 가지는 부분 연속 수열 찾기 문제 설명 N개의 자연수로 구성된 수열이 있을 때, "합이 M인 부분 연속 수열(부분합)"의 개수를 구하시. 수행 시간 제한은 O(N) 완전 탐색(모든 경우의 수 확인)을 통해 답을 구하게 된다면 O(N^2)만큼의 시간 사용됨. "수행 시간 제한은 O(N)..

kafka를 systemd(system daemon)으로 실행하기 위해서 deamon등록 후 실행했으나, 제대로 작동하지 않음. 상황파악1 `systemctl list-unit-files` 명령어를 통해서 서비스 상태 확인 결과, loaded_disabled 표시되어 있었음. 서비스가 제대로 실행되지 않았음을 확인함. 해결방안1 `systemctl enable kafka.service` 명령어를 통해 해당 서비스 enable 시켰으나 계속해서 작동하지 않았음. 상황파악2 `ubuntu@ubuntu:/var/log$ cat syslog` : error 로그를 확인 확인 결과 , "Java가 없어 kafka가 실행되지 않았음"을 확인함. kafka 환경을 시작하기 위해서는 Java 8버전 이상의 설치가 필요..

프로젝트를 하면서 정리한 내용입니다. 사실과 다를 수 있으니 주의해주시고, 혹시나 잘 못된 내용일 경우 댓글로 알려주시면 감사하겠습니다. 처음 Airflow Dag를 생성했을때, 헷갈리던 것이 있다. 바로 Task와 Operator. 많은 참고 자료들에서 Task와 Operator을 혼용해서 더욱 초기 개념 잡기가 어려웠다. 아래의 코드를 확인하면, Task이름이 "update_start"이고 그 안에 BashOperator가 정의된다는 것을 알 수 있다. 우선 Task는 Airflow에서의 기본 실행단위로 "DAG안에서 실행되어야 하는 작업의 순서를 표현하기 위해서 존재하는 실행단위"이다. 이때, Operator는 DAG와 Task를 빠르게 만들기 위해 미리 정의된 작업 템플릿이다. Operator와 ..