[adventofcyber2023] - Day_2_Log analysis O Data, All Ye Faithful

Story: McHoneyBell은 AntarctiCrafts의 사무실로 돌아와 뉴스를 확인하였다. 베스트페스티벌컴퍼니 내부 커뮤니케이션 툴(HollyChat)에서 핑 알림이 옴

"B팀은 AntarctiCrafts의 남극 현장 네트워크를 이해하는 임무를 맡았습니다."

McHoneyBell은 앞으로의 작업에 대해 생각하면서 AntarctiCrafts에는 네트워크에서 이벤트를 캡쳐하는 기술이 없다는 것을 인식하고 Python 터미널을 열기로 결정함...

 

목표: Python 라이브러리(Pandas, Matplotlib)를 사용해 데이터를 처리해보기, McHoneyBell이 AntarctiCrafts의 네트워크를 이해하도록 도와주기

 

1. 데이터 사이언스란?

- 데이터를 해석해 질문에 답하는 것

- 프로그래밍과 통계가 포함되는 경우가 많으며, 최근에는 AI를 사용해 대량의 데이터를 조사하여 추세와 패턴을 이해하고 기업이 정보에 입각한 결정을 내릴 수 있도록 에측하는 데 도움을 줌

역할	설명
데이터 수집	원시 데이터 수집
데이터 처리	수집된 원시 데이터를 분석가가 작업할 수 있는 표준 형식으로 전환하는 작업이 포함됨
데이터 마이닝	데이터 간의 관계를 생성하고 통찰력을 제공할 수 있는 패턴과 상관 관계를 찾는 작업이 포함됨
분석	질문에 대한 답변과 향후 예측을 제공하기 위해 데이터를 탐색함
커뮤니케이션	데이터를 차트, 표, 지도 등과 같이 시각화할 수 있음

 

2. 사이버 보안과 데이터 사이언스

- 데이터 사이언스의 사용은 통찰력을 제공하는 능력으로 사이버 보안에서 빠르게 도입되고 있음

- 로그 이벤트와 같은 데이터를 분석하여 조직 내 진행 중인 이벤트를 지능적으로 이해할 수 있음(이상 탐지를 위해 자주 사용함)

• SIEM: 조직의 환경에 대한 폭넓은 이해를 제공하기 위해 대량의 데이터를 수집하고 상호 연관 시킴
• 위협 추세 분석: 새로운 위협을 추적하고 이해할 수 있음
• 예측 분석: 과거 이벤트를 분석해 향후 위협 환경이 어떤 모습일지에 대한 잠재적인 그림을 만들 수 있음

3. Jupyter UI 이해하기

- 왼쪽: File Explorer

- 오른쪽: Notebook Launcher

 

4. Jupyter Notebook 실행하기

 

5. Pandas

- Pandas는 데이터를 조작, 처리 및 구조화할 수 있는 Python 라이브러리로 import pandas를 통해 가져올 수 있음

- import as pd로 별칭 "pd"로 가져올 수 있음

 

6. Series

- 단일 열과 유사함

- 키, 값 쌍을 사용하며, 키는 인덱스 번호이고 값은 저장하려는 데이터임

 

7. DataFrame

- 데이터 프레임은 시리즈의 그룹이기 때문에 확장이 가능함

- 행과 열이 있는 테이블로 생각할 수 있으며 엑셀과 데이터베이스과 비교 가능함

 

8. Matplotlib

- 다양한 플롯을 빠르게 만들 수 있음(막대현 차트, 히스토그램, 원형 차트, 폭포수 차트 등)

 

9. Question