neozest : neo+zest

지난 토요일 인근 야산에서 바람때문에 불이 났다. 지금(월요일)은 완전 진압되어 별 다른 소식이 없지만 이방인인 나에게는 이번 화재 사건의 대처 모습이 다르게 다가온다.

우선 산불이 발생하자, 이 소식을 맨먼저 접한 사람은 우리 가족중 큰 아이이다. 스냅챗으로 친구들로 부터 화재소식을 들었다고 한다. 5분전 쯤 소방차/경찰차가 긴급 출동한 이유를 알게되는 시점이었다.

이후 밖을 보니 파란 하늘에 검은 연기가 나고 있었다. 사실 이때까지만 해도 그렇게 큰 불이 난 줄은 몰랐다. 아이들과 함께 수영장에 가서 놀았으니까... 수영장에 있는데 계속 비행기, 헬리콥터가 날라다니고, 검은 연기도 짙어지고 있었다.

이때 페이스북을 보니, 시에서 긴급 공지 내린 것이 지역 커뮤니티에도 공유되어 있었다. 시청/ 화재당국 트위터를 보기 시작했다. 처음엔 1 에이커(대략 천평)정도가 화재 지역이라고 공지되었다.

잠시 뒤 시 경계를 넘어 더 많은 소방관이 투입되기 시작했다. 이 시점 즈음 재가 집에 날리기 시작했다.

시 당국에서 약 2000명 주민에게 대피령을 내리고, 집으로 가는 길들을 차단하기 시작했다.

- 이미 재난으로 인정된 듯, 페이스북 열자 안전한지 여부를 표시하는 창이 뜨기 시작했다. 안전하다고 표시.

- 적십자에서 인근 고등학교에 임시 쉘터 설치를 완료했다.

- 지역 호텔들에서 각종 혜택을 공지하기 시작했다. 지역 주민에 대한 요금 할인 부터 애완동물과 함께 숙박하였을 때 부과되는 수수료 면제 등이 발표되었다.

- 넥스트도어(지역커뮤니티서비스), 페이스북 카페 등에서 구호 물품에 대한 논의가 시작되었다.

- 일부 주민들은 물, 게토레이 등을 소방관들에게 전달하기 시작했다. 이때 소방통제센터는 인근 공원에 차려졌다.

- 페이스북에 자원봉사 맵이 뜬다. 사람들이 자신이 제공할 수 있는 것을 적으면 위치정보까지 함께 표시되었다. 거창하진 않지만  한가족 저녁식사  제공, 아이옷 3벌 제공 가능 등 정말 사소한 자원봉사들이 조직화 되었다.

- 결국 400명 이상의 소방관이 투입되어 화재 진압 완료.

- 여전히 시 당국에서는 조사 및 대책 수립 중이다.

- 이후 반스앤노블(서점)에서 결제할 때마다 소방관에게 물을 기부하는데 동참할 것인지를 묻기 시작했다.

시민들이 자발적으로 당국과 협조하여 화재를 진압하는 모습들이 감동적이다. 평상시는 잘 못느끼다가 위기상황에서 공동체가 움직이는 것을 보면 선진국은 선진국이구나 하는 생각을 하게 된다.

한국으로 돌아간다면시민사회영역에서 이런 지역 시민 공동체를 만드는데 참여하고 싶다.

개인적으로 구체적인 스토리를 가지고 특정 기술을 설명하는 방식을 좋아한다. 기술이 발전하면서 다양한 측면에서 발전이 이루어지기 때문에 기술 그 자체를 중심에 놓고 학습하다보면 종종 그 기술을 왜 배우고 어떻게 사용할 것인지라는 나침반을 잊어버리게 되기도 한다.

개발 측면에서 나는 C++개발자로 분류되지만, 데이터 분석 같은 작업에는(대용량 데이터 분석이 아닌 이상) 로컬머신에서 파이썬을 주로 사용한다. 파이썬은 이미 충분한 성능 및 좋은 데이터 분석 라이브러리를 갖추고 있다. (불행(?)히도 점점 파이썬을 사용하는 비중이 높아지고 있다. 다행히 C++ 역시 파이썬과 문법적 개념이 비슷해지고 있다.)

최근 데이터 분석과 관련된 파이썬 책이 많이 출간되고, 출간될 예정이다. 그런데 그동안 읽었던 책 중에서 마음에 드는 책을 발견하여 소개한다. 바로 O'reilly에서 출간된 'Data Wrangling with Python'이란 책이다.

http://www.amazon.com/Data-Wrangling-Python-Tools-Easier/dp/1491948817/

책 제목에서 알 수 있듯, 이 책은 파이썬을 사용하는 책이긴 하지만 범용 파이썬 개발자를 대상으로 쓰인 책이 아니다. 파이썬으로 데이터를 요리조리 다루고 싶은 사람(책 저자는 언론사나 데이터 분석가를 대상으로 쓴 것 같다.)들을 위한 책이다.

책은 크게 3개 부분으로 나뉘어진다. 1)데이터 획득 2) 데이터 정리 3) 데이터 탐험

데이터를 다루게 된다면 대부분 위 그림과 같은 작업 흐름을 따르게 될 것이다. 이 책은 위 그림의 각 단계에서 파이썬을 어떻게 활용할 수 있는지를 적절하게 잘 설명하고 있다. 예컨데 데이터 획득의 경우, 물론 데이터의 정의부터 시작하지만, 엑셀 파일, CSV(TSB), JSON, XML등 다양한 데이터 소스를 처리하는 방법을 소개한다. 각 소주제에 따라 파이썬에서 유명한 모듈들을 소개한다. 기본적인 파이썬의 문법이나 자료구조(딕셔너리, 리스트, 셋 등)들에 대해서도 짧게 다루지만, 이 책으로 파이썬 문법을 이해하기에는 글쎄. 조금 힘들다. 기본적인 문법을 알고 있는 상태라면 초급에서 중급으로 올라갈 수 있는 디딤돌이 될 것이다.

7장과 8장에서는 데이터에서 부적절한 데이터나 튀는 데이터, 신뢰성이 있는 데이터인지 등을 검증하는 방법들을 소개한다. 이후 데이터 탐색 및 프리젠 테이션을 다루는데, 후반에는 약간 내용의 중심이 흐려지는 기분이 있다. 웹스크래핑을 다루는 11장/12장의 내용은 개인적으로는 Acquire the Data섹션에서 소개되어야 적절하다고 본다. 후반부에서 자동화 및 확장성을 고려한 구조등을 다룰 때도 한 챕터에 다루기에는 너무 큰 내용이지 않았나 싶다. 

파이썬을 공부하기 위하여 이 책을 골랐다면 부적절한 선택일 수 있다. 반대로 데이터를 처리하는 비 개발자가 이 책을 본다면 왠지 파이썬 기본 문법책을 하나 찾고싶은 욕구가 생길지도 모르겠다. 파이썬이 데이터 처리 분야에서 가지는 장점을 잘 훑어볼 수 있다.  또한 파이썬 개발자가 데이터를 처리하기 위하여 자신의 기술을 어떻게 활용할 지를 알고 싶다면 좋은 선택일 수도 있겠다.

회사내 데이터를 다루는 팀 동료에게 이 책을 권했는데, 대단히 흥미로워 한다. 읽으면서 파이썬이라는 언어에 흥미를 가진다. :) 이 책의 효과는 이로써 충분하다.

 아직은 한글판이 없지만, 조만간 인사이트 출판사를 통해 번역본도 나올 듯 하다.  국내 데이터 엔지니어들에게도 파이썬의 날개를 달아주었으면 좋겠다.