[python] 폴더 안에 있는 파일들 한번에 불러오기

 

 

 

파일이 여러개로 나누어져있는 경우 파일을 한번에 불러오는 방법

 

## 해당 경로에 있는 .csv 파일명 리스트 가져오기

import os

path = './경로/'
file_list = os.listdir(path)
file_list_py = [file for file in file_list if file.endswith('.csv')] ## 파일명 끝이 .csv인 경우

위의 예시는 .csv 파일만 불러올 때

 

파일명이 xx로 시작하는 파일들을 불러올 때는 if문에 file.startswith('xx')

파일명에 xx가 포함된 파일들을 불러올때는 if문에 "xx" in file

파일명에 xx가 포함되지 않은 파일들을 불러올때는 if문에 "xx" not in file

 

해당 경로에 있는 모든 파일 리스트가 필요하면 마지막 줄 file_list_py 필요없이 file_list를 사용하면 됨

 

 

 

그리고 나서 for문을 이용하여 필요한 파일들을 하나씩 읽어 DataFrame으로 불러오면 됨

 

## csv 파일들을 DataFrame으로 불러와서 concat

df = pd.DataFrame()
for i in file_list_py:
    data = pd.read_csv(path + i)
    df = pd.concat([df,data])
    
df = df.reset_index(drop = True)

 

## json 파일들을 DataFrame으로 불러오기

import json

dict_list = []
for i in file_list_py:
    for line in open((path+i),"r"):
        dict_list.append(json.loads(line))
df = pd.DataFrame(dict_list)