전처리·시각화 +
크롤링 윤리

Session 4 / 8

pandas · matplotlib · seaborn · 논문 Figure · robots.txt · 판례

박수현 · aSSIST University · 2026

🎨 이미지 프롬프트(배경): "A balanced scale with data visualization charts on one side and a legal book with gavel on the other, soft teal and red lighting, editorial illustration, no text, 16:9"

이번 시간을 마치면

개념적으로

• ✅ pandas 5대 동사(filter, select, groupby, sort, merge) 를 구분
• ✅ matplotlib vs seaborn 의 역할 분담
• ✅ 논문 Figure 의 디자인 원칙
• ✅ robots.txt 의 법적 효력 한계
• ✅ 크롤링 관련 국내외 판례 4건

실습으로

• ✅ 회차 3 데이터로 5종 차트 생성
• ✅ 차트를 논문급 PNG (300 DPI) 저장 — DPI (Dots Per Inch) = 인쇄 해상도, 학술지 표준 300 DPI
• ✅ HiQ vs LinkedIn 판례 토론

robots.txt = 사이트 루트의 텍스트 파일, 봇에게 어디까지 접근 허용할지 알려주는 약속 — 법적 강제력 ❌, 그러나 무시 = 차단·소송 빌미

📖 도서 매핑: Ch.6 §1~3 + Ch.9 §1~2 + Ch.4 §6

pandas
정제의 기술

엑셀의 100배 빠른 일을 한 줄로

키워드: DataFrame · groupby · merge · pivot · 결측치

엑셀 → pandas DataFrame — 첫 장면 비교

DataFrame 핵심 5대 연산

import pandas as pd
df = pd.read_csv("my_books.csv")

# 1) FILTER
df[df["rating"] >= 4]
df.query("price > 30 and rating >= 3")

# 2) SELECT
df[["title", "price"]]

# 3) GROUPBY
df.groupby("rating").agg(
    n=("title", "count"),
    avg_price=("price", "mean"),
    std_price=("price", "std"),
)

# 4) SORT
df.sort_values("price",
               ascending=False).head(10)

# 5) MERGE
df.merge(other_df,
         on="title", how="left")

🎯 이 5개로 연구 데이터 80% 처리.

위 5대 연산을 만든 프롬프트

Python 스크립트 analyze_books.py 를 만들어 줘.
목적: 현재 디렉토리의 books.csv (컬럼: title, price,
rating, link; price 는 "£12.34" 같은 문자열)를
pandas 로 로드하고 구조/분포를 간단히 요약한다.

요구사항:
1. 라이브러리: pandas>=2.2
2. 파일 읽기: pd.read_csv("books.csv",
   encoding="utf-8-sig")
3. 단계별 동작:
   1) print(df.shape, df.dtypes) 로 구조 확인
   2) 가격 문자열에서 숫자만 추출:
      df["price_num"] = df["price"].str.replace(
          r"[^\d.]", "", regex=True).astype(float)
   3) df["rating"].value_counts().sort_index() 로
      평점 분포 출력
   4) df["price_num"].describe() 로 가격 분포 요약
4. 출력은 모두 print 로 — 터미널에서 바로 확인 가능
5. 에러 처리:
   - books.csv 가 없으면 안내 후 종료
   - price 변환 시 errors="coerce" 금지,
     실패 시 예외 출력
6. 0행이면 "데이터가 비어 있습니다." 후 종료

환경: Python 3.11, venv. 코드만, 한국어 주석 최소.

결측치·중복·이상치 — 분석 전 3대 정제

IQR (Inter-Quartile Range) = Q3(75% 분위수) − Q1(25% 분위수). Tukey 의 1.5×IQR 규칙: Q1 − 1.5·IQR 미만 또는 Q3 + 1.5·IQR 초과 = 이상치 후보.

# 1) 결측치 (NaN)
df.isna().sum()
df = df.dropna(subset=["price"])
df["stock"] = df["stock"].fillna("Unknown")

# 2) 중복
df.duplicated().sum()
df = df.drop_duplicates(subset=["title"])

# 3) 이상치 (IQR)
q1, q3 = df["price"].quantile([0.25, 0.75])
iqr = q3 - q1
mask = (df["price"] >= q1 - 1.5*iqr) & \
       (df["price"] <= q3 + 1.5*iqr)
df_clean = df[mask]

groupby — 회차 3 책 데이터로 통계 표 작성

# 별점별 가격 통계
agg = df.groupby("rating").agg(
    count=("title", "size"),
    avg=("price", "mean"),
    median=("price", "median"),
    std=("price", "std"),
).round(2)
print(agg)
#         count    avg  median   std
# rating
# 1          50  35.21   34.80  9.43
# 2          ...

# pivot_table — 2차원 교차
df.pivot_table(
    index="rating", columns="in_stock",
    values="price", aggfunc="mean",
)

📌 groupby = 한 키로 묶어 집계 / pivot_table = groupby + 행/열 재배치 (멀티 인덱스도 가능).

matplotlib + seaborn
논문 Figure

한 그림에 한 메시지

키워드: Figure · Axes · 컬러팔레트 · 300 DPI

표 vs 차트 — 같은 데이터의 두 표현 방식

matplotlib vs seaborn — 역할 분담

import matplotlib.pyplot as plt
import seaborn as sns

sns.set_theme(style="whitegrid", palette="colorblind")  # 톤
fig, ax = plt.subplots(figsize=(7, 4))
sns.barplot(data=df, x="rating", y="price", ax=ax)        # seaborn
ax.set_title("Average Price by Rating")                   # matplotlib
fig.savefig("fig1.png", dpi=300, bbox_inches="tight")     # matplotlib

🎯 seaborn 으로 그리고, matplotlib 으로 다듬는다.

논문급 차트 5종 — bar / line / scatter / box / heatmap

KDE (Kernel Density Estimation, 커널 밀도 추정) = 히스토그램에 곡선을 덧씌워 분포를 부드럽게 추정. cmap="vlag" = 양/음 발산 컬러맵 (상관계수 ±부호 시각화에 적합), center=0 = 0 을 중간 색으로.

# 1) 막대
sns.barplot(data=df, x="rating",
            y="price", errorbar="sd")

# 2) 박스
sns.boxplot(data=df, x="rating", y="price")

# 3) 히스토그램
sns.histplot(df["price"], bins=30, kde=True)

# 4) 산점도
sns.scatterplot(data=df, x="price",
                y="reviews", hue="rating")

# 5) 히트맵 — 상관관계
sns.heatmap(
    df[["price","rating","reviews"]].corr(),
    annot=True, cmap="vlag", center=0)

📌 5종으로 학위논문의 90% 커버.

5종 차트 — 코드와 실제 출력 매핑

🎯 시각적 선택의 기준 = 무엇을 보여주고 싶은가.

한 장 요약 차트를 만든 프롬프트

Python 스크립트 books_summary.py 를 만들어 줘.
목적: books.csv 에서 파생 변수 price_num 을 만들고
2x2 서브플롯으로 한 장짜리 데이터 요약 차트를
PNG 로 저장한다.

요구사항:
1. 라이브러리: pandas, matplotlib, seaborn.
   한글 폰트는 fontconf.setup_korean_font() 호출.
2. sns.set_theme(style="whitegrid") 적용.
3. 데이터 로드: pd.read_csv("books.csv",
   encoding="utf-8-sig"). price_num 파생.
4. fig, axes = plt.subplots(2, 2, figsize=(13, 9))
5. 서브플롯 4장:
   - axes[0,0] 평점 분포 막대 (#00b894)
   - axes[0,1] 가격 히스토그램, bins=30 (#6c5ce7)
   - axes[1,0] 평점별 가격 박스플롯 (palette="Set2")
   - axes[1,1] 가격 vs 평점 regplot (#e17055)
6. plt.suptitle("books.toscrape.com · 1000권 요약")
   + plt.tight_layout()
7. plt.savefig("books_summary.png", dpi=180,
              bbox_inches="tight")

에러 처리:
- books.csv 가 없거나 0행이면 안내 후 종료
- 한글 폰트 설정 실패 시 경고만 출력하고 진행

환경: Python 3.11, venv. 코드만, 한국어 주석 최소.

seaborn 통계 차트 — heatmap / regplot 한 줄

sns.heatmap(df.corr(numeric_only=True),
    annot=True, cmap="vlag", center=0)

# 가격 vs 리뷰 수 — 두 연속형 변수의 회귀선 + 95% 신뢰구간
sns.regplot(data=df,
    x="price", y="reviews",
    scatter_kws={"alpha":0.4})

📖 도서 참조: Ch.9 §6 — "seaborn 통계 분석 한 줄로"

논문 Figure 디자인 7원칙 — 학술지 게재 기준

plt.rcParams.update({
    "font.size": 10,
    "axes.titlesize": 11,
    "axes.labelsize": 10,
    "savefig.dpi": 300,
    "savefig.bbox": "tight",
    "font.family": "sans-serif",
})

OS 별 한글 폰트 설정

import platform, matplotlib.pyplot as plt
from matplotlib import font_manager

if platform.system() == "Darwin":      # macOS
    plt.rcParams["font.family"] = "AppleGothic"
elif platform.system() == "Windows":
    plt.rcParams["font.family"] = "Malgun Gothic"
else:                                   # Linux/Colab
    # NanumGothic 설치: !apt-get install fonts-nanum
    plt.rcParams["font.family"] = "NanumGothic"

plt.rcParams["axes.unicode_minus"] = False  # 음수 깨짐 방지

자주 만나는 에러

• □ □ □ (영문권에선 tofu — 폰트에 해당 글리프가 없을 때 표시되는 사각형) → 폰트 미설정
• − 음수 부호 깨짐 → unicode_minus=False

🎯 한 번 설정 → 모든 차트 적용.

30줄로 논문 Figure 1장

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

# 0) 폰트·테마
sns.set_theme(style="whitegrid", palette="colorblind",
              font_scale=1.0,
              rc={"axes.spines.top": False,
                  "axes.spines.right": False})

# 1) 로드
df = pd.read_csv("my_books.csv")

# 2) 차트
fig, ax = plt.subplots(figsize=(7, 4))
sns.barplot(data=df, x="rating", y="price", ax=ax,
            errorbar=("ci", 95))
ax.set_title("Average book price by star rating", fontsize=11)
ax.set_xlabel("Star rating")
ax.set_ylabel("Price (£)")

# 3) 저장
fig.savefig("fig_price_by_rating.pdf", dpi=300, bbox_inches="tight")
fig.savefig("fig_price_by_rating.png", dpi=300, bbox_inches="tight")

스크래핑 윤리
법적 책임과 매너

robots.txt 한 줄을 무시한 대가는 수억 원의 손해배상 — 야놀자·여기어때 사건에서 실제로 일어난 일입니다.

키워드: 법적 효력 · 이용약관 · 손해배상 · 판례

위반 5단계 — 합법 → 회색지대 → 약관 → 업무방해 → 개인정보

⚠️ 연구라도 C/D/E 영역은 IRB·법자문 필수.

회차 0(OT)에서 다룬 판례 — 빠른 복습

🔑 시각화·분석 단계에서도 같은 원칙

수집 단계의 윤리 가 분석·시각화·재배포 모든 단계에 그대로 작동.
데이터셋을 공개 배포 할 때 잡코리아·다윈중개 판례가 그대로 적용 가능.

📚 상세 사실관계·출처 링크 → 회차 0(OT) PART C 참고

한국법 핵심 5조항 — 저작권 §93·§35의5 / 부경법 / 정통망법 / 개보법

연구자가 자주 의지하는 조항

저작권법 §35의5 (공정이용) — 비영리·교육·연구 목적이면 일부 허용.
단, 4가지 요소 종합 판단 (목적, 성격, 양, 시장 영향).

⚠️ "연구라서 괜찮다" 만으로는 방어 불충분. IRB + 법자문 권장.

유럽 사이트 스크래핑 시 — GDPR

📌 회차 7 에서 한 시간 분량으로 자세히 다룸.

윤리적 스크래퍼 체크리스트 — 시작 전 8문항 점검

• [ ] 목적이 정당 한가? (연구·공익)
• [ ] 공개 데이터 인가? (로그인 필요? → 회차 7)
• [ ] 약관 (ToS — Terms of Service, 이용약관) 에 명시적 금지가 있나?
• [ ] robots.txt 가 허용하나?
• [ ] 요청 빈도 가 매너있나? (초당 1회 이하 권장)
• [ ] 개인정보 가 포함되는가? (이름·전화·주소)
• [ ] 재배포 의도가 있나?
• [ ] 본인이 차단 통지 를 받으면 멈출 수 있나?

🎯 8개 중 1개라도 빨강 이면 → 멈추고 자문.

토론 (3-4명 그룹)

미니 실습
논문 Figure 1장

30줄로 다듬은 PDF 1장

미니 실습 — 본인 데이터로 논문 Figure 1장

1단계 — 데이터

• [ ] 회차 3 의 my_books.csv 또는 본인 수집 데이터
• [ ] df.describe() 확인

2단계 — 시각화

• [ ] Figure 1: 별점별 평균가 (barplot, 95% CI)
• [ ] Figure 2: 가격 분포 (histplot, kde=True)
• [ ] Figure 3: 별점 vs 가격 (boxplot)

3단계 — 논문급 다듬기

• [ ] 300 DPI PNG + PDF 저장
• [ ] 한글 폰트 설정
• [ ] 축 라벨 영문
• [ ] 컬러팔레트 colorblind

제출

• figures/ 폴더에 PNG + PDF 6개 + viz.py

데이터로 말하는
윤리적 연구자

오늘의 정리 8가지

1. pandas 5대 동사 — filter / select / groupby / sort / merge
2. 결측치·중복·이상치 = 분석 전 필수 점검
3. groupby + agg — 통계표 1줄
4. seaborn 으로 그리고, matplotlib 로 다듬기
5. 300 DPI + bbox_inches="tight" = 논문 표준
6. 한글 폰트 + unicode_minus=False
7. 국내 판례 4건 — 잡코리아·여기어때·네이버 모두 손해배상
8. 윤리 체크리스트 8항목 — 1개라도 빨강이면 멈춤

"예쁜 그림 + 단단한 논거 = 게재 통과의 절반."