분류 전체보기38 [python] in 연산자의 실행시간, 시간 복잡도 BigO in 연산자 파이썬에서 자주 사용되는 in 연산자 예제 ls = [1, 2, 3] if 4 in ls : print("exist") else : print("not exist") >>> "not exist" dc = { 'a' : 1, 'b' : 2, 'c' : 3, } if 'c' in dc.keys() : print("exist") else : print("not exist") for k, v in dc.items(): if k == 'c': print(v) >>> "exist" >>> 3 in 연산자의 Big-O 나는 알고리즘 공부를 하던 중에 in연산자의 bigO가 궁금해졌다. 해시의 문제풀이로 사용되는 dict의 경우 in 연산자가 어떤 속도를 내게 될지 궁금해졌기 때문이다. 그리고 list, .. 2022. 1. 7. [Apache Kafka] 아파치 카프카란 본 내용은 아래 글들에서 읽고 정리한 것입니다. https://www.redhat.com/ko/topics/integration/what-is-apache-kafka https://kouzie.github.io/kafka/%EC%95%84%ED%8C%8C%EC%B9%98-%EC%B9%B4%ED%94%84%EC%B9%B4/# 아파치 카프카란? 아파치 카프카는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산 데이터 스트리밍 플랫폼이다. 카프카는 초당 수백만 개의 데이터 포인트를 처리할 수 있어서 여러 소스에서 데이터 스트림을 처리하고, 여러 사용자에게 전달하도록 설계되었다. 여기서 여러 사용자는 데이터 처리가 필요한 어느 곳이든 해당 될 수 있다. 아파치 카프카는 시스템 또는 애플리케이.. 2022. 1. 5. 윈도우11 oh my posh 터미널 꾸미기 oh-my-posh를 사용해 터미널 꾸미기 결론부터 말하면 매우 비추천한다. 터미널 프로필을 불러오는 시간이 매우 느려졌다..... 프로필을 로드하는데 걸리는 시간 2705ms. 약 2.7초가 걸린다... 그럼에도 불구하고 터미널을 이쁘게 꾸미고 싶다 하는 사람을 위해 작성한다. 한국어로 된 doc에서는 윈도우와 WSL리눅스 동시에 oh-my-posh를 설치해 적용 법을 설명해준다. 결론을 말하면 정확한 이유는 모르겠고, 현재로서는 한국어 doc에서 설명하는 동시 적용은 안된다. 한 시간 삽질 뒤 영어 doc을 살펴보니 따로 적용하게끔 설명하고 있다. https://docs.microsoft.com/en-us/windows/terminal/tutorials/custom-prompt-setup Window.. 2021. 12. 31. 윈도우11 WSL2 설치 서론 = 스킵 가능 윈도에서 AWS 서비스를 이용하려고 git bash를 사용 중인데 진짜 복붙 불편하지, 가시성도 별로고 해서 맥북을 알아봐야 되나 할 정도로 심각하게 고민 중이었다. 그러던 중 WSL을 알게 되었다. WSL은 기존의 윈도에 VM머신을 설치하고 윈도우에 가상 머신을 띄우고 머신 위에 리눅스를 설치하는 것과 다르게 윈도우 자체에서 경량화된 가상기술 이용해 리눅스를 구동할 수 있도록 해준다. 최고 장점은 불필요하게 vmware나 vm을 설치하지 않아도 되고, 바로 윈도우 터미널을 이용해 리눅스 커맨드를 입력할 수 있고, 리눅스가 어쨌거나 가상화된 상태이기 때문에 도커 환경을 바로 설치할 수 있다는 것이다. 아무튼 나는 git bash가 너무 마음에 안 들어서 리눅스 명령어를 사용할 수 있는.. 2021. 12. 31. [2021.12.30] TIL AWS 공부 파이썬 summary AWS ec2, s3에 관해 내일 아침에 작성할 예정! 2021. 12. 31. 데이터 파이프라인의 흐름 컴퓨터 과학에서 파이프라인은 한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조를 가리킨다. 데이터 파이프라인의 기본적인 흐름 필요 데이터 요구사항 확인, 어떤 데이터를 수집할지 선정 데이터가 왜 필요한지, 어느 시점에 수집 할 지 있는지 파악 데이터 파이프라인을 구축하기 전에 어떤 데이터를 수집해야 하는지목적과 방향을 정하는 것 데이터 수집 데이터 전처리 저장 데이터 시각화 분석 데이터 파이프라인 아키택쳐 아키택쳐 만드는 툴을 이용해 처음으로 만들어봤는데 여간 힘든게 아니다... 하지말까.. 아키택쳐에서 쓰이는 서비스들은 따로 공부하면서 업로드 할 예정이다. 데이터 파이프 라인 구성 방안 파이프라인을 설계하기 앞서 고려해야하는 사항 회사내의 데이터적 요구사항에 대한 빠른대응.. 2021. 12. 29. 이전 1 2 3 4 5 6 7 다음
