Jason | Solution Engineer - 마테크, 애드테크

[Pandas] CSV 파일 합치기 및 정제하기 들어가며 동일한 스키마를 가진 CSV 파일이 여러개인 경우가 있어 판다스 데이터프레임(Pandas DataFrame)을 이용해 파일을 합친 다음 정제하는 과정이 필요할 경우 본 포스트내용을 참고하시기 바랍니다. CSV 처리를 위한 Pandas 상세 설명 Python 환경설정 virtualenv 생성 및 활성화 # 가상환경 생성 virtualenv venv # 가상환경 실행 source venv/bin/activate jupyter notebook 설치 pip install jupyter pandas 라이브러리 설치 pip install pandas Pandas 개발 CSV 파일 조회 합칠 파일을 배열에 추가합니다. 루프에서 각 csv_file을 읽은 다음 ..

cli command를 활용한 CSV 데이터 추출 SaaS 솔루션은 대부분 CSV 파일 다운로드 기능을 제공하는데, 데이터를 다운받은 다음 엑셀 또는 맥 Numbers에서 파일을 열어보려고 해도 사이즈가 커서 프로그램 자체가 멈춰버리는 경우가 있습니다. 전체데이터를 모두 올려서 분석해야 하는 경우라면, 구글 빅쿼리 등에 직접 Import를 하거나, Pandas DataFrame을 활용하여도 되지만 데이터를 잘 다루는 파워유저(데이터 분석가, 데이터 엔지니어)가 아니라면 쉽지 않은 방법일 수 있습니다. 데이터를 샘플링해서 보기만 해도 된다면 head 명령어로 새로 파일을 만들어보는 방법을 활용해 보세요. 커맨드를 활용한 CSV 데이터 추출 header(컬럼명) row 포함한 데이터 추출 head -n ..