CLI 커맨드를 활용한 CSV 데이터 추출

cli command를 활용한 CSV 데이터 추출 SaaS 솔루션은 대부분 CSV 파일 다운로드 기능을 제공하는데, 데이터를 다운받은 다음 엑셀 또는 맥 Numbers에서 파일을 열어보려고 해도 사이즈가 커서 프로그램 자체가 멈춰버리는 경우가 있습니다. 전체데이터를 모두 올려서 분석해야 하는 경우라면, 구글 빅쿼리 등에 직접 Import를 하거나, Pandas DataFrame을 활용하여도 되지만 데이터를 잘 다루는 파워유저(데이터 분석가, 데이터 엔지니어)가 아니라면 쉽지 않은 방법일 수 있습니다. 데이터를 샘플링해서 보기만 해도 된다면 head 명령어로 새로 파일을 만들어보는 방법을 활용해 보세요. 커맨드를 활용한 CSV 데이터 추출 header(컬럼명) row 포함한 데이터 추출 head -n ..
Data & MarTech/SE Tips 2023. 6. 9. 14:38
[BigQuery] 파이썬 라이브러리를 활용한 빅쿼리 연동 - 2. 빅쿼리 클라이언트 선언 및 조회 기능 구현

빅쿼리 클라이언트 연동 구현 빅쿼리 라이브러리를 초기화할 경우 앞서 생성 및 다운로드한 서비스 계정(Service Account)가 필요합니다. 저는 로컬 개발환경에서 필요시에만 서비스 계정을 사용하기 위해 '명시적'으로 json 파일을 임포트하도록 구현하는 방식을 사용합니다. 1. 프로젝트에 서비스 계정 파일 복사하기 service_account_for_bq_tutorial.json 파일을 테스트 중인 biquery_tutorial 프로젝트에 추가합니다. json파일은 다운로드 후 개발 시 인지할 수 있는 이름으로 변경하였습니다. 2. BigQuery 클라이언트 선언하기 service_account_file 경로 및 파일명을 선언하고 bigquery.Client.from_srvice_account_js..
Data & MarTech 2023. 6. 6. 21:19
1