대학원생 리암의 블로그

소개WRDS(Wharton Research Data Services)는 미국 펜실베이니아대학교 와튼스쿨(Wharton School of the University of Pennsylvania)에서 운영하는 학술용 데이터 플랫폼이다. 여러 금융 데이터에 access할 수 있게 해주는 금융 데이터 계의 편집샵이라고 할 수 있다. WRDS에 가입한 이후 개별 데이터베이스를 따로 구독해야 사용할 수 있으며 대표적인 WRDS의 데이터베이스들은 다음과 같다. CRSP (Center for Research in Security Prices) : 미국 주식시장 전체 종목의 일별·월별 주가 및 거래량 데이터를 제공하는 주가 시계열 데이터베이스.Compustat (Standard & Poor’s Compustat) : 미..

예전에는 selenium을 사용하려면 chrome driver를 설치하는 번거로움이 있었는데 이제는 python library만 설치해도 손쉽게 crawling을 할 수 있게 되었다. pip install selenium webdriver_managerwebdriver_manager만을 설치해도 바로 웹드라이버를 이용가능하다.  위는 강남 맛집이라는 맛집 리뷰 사이트이다. F12를 눌러 키워드에 해당하는 id를 살펴보자. id는 key_result이고 이 정보를 이용해서 여러 맛집의 키워드를 크롤링해보자.  url 뒷부분의 숫자를 바꿔가며 여러 가게의 이름, 장소, url을 추출했고 csv파일로 저장했다. 이후 해당 csv파일을 통해 키워드를 추출할 수 있었다.  아래는 사용한 코드이다. 다들 맛점~im..

알고리즘에서 기본적인 내용인데 매번 헷갈려서 적어두는 글. Single Source Shortest Path Problem 출발점 하나에서 다른 노드로 가는 최단 거리를 찾을 때는 Bellman Ford,Dijkstra 알고리즘을 사용할 수 있다. Bellman Ford는 negative arc를 처리할 수 있다. 그러나 negative dicycle은 처리가 불가능하다. 노드가 V개 있을 때 V-1번 이후로 값들이 업데이트 되지 않는다면 negative dicycle이 없는 것이다. 그런데 만일 V번째 iteration에서 값이 변동된다면 negative dicycle이 있는 것이다. 시간 복잡도는 O(VE)이다.  알고리즘은 아래와 같다. 1. Initialization:      주어진 시작 정점 ..

OSMnx는 Open Source Map networkx의 약자로 opensource map의 네트워크 정보를 networkx라는 파이썬 라이브러리를 통해 활용할 수 있게 해주는 library이다. 예제로 Piedmont의 데이터를 불러와서 두 점을 찍고 차로 이동할 수 있는 최단 거리를 계산하고 시각화 해보았다. import networkx as nximport osmnx as ox# you can make query an unambiguous dict to help the geocoder find itplace = {"city": "Piedmont", "state": "California", "country": "USA"}G = ox.graph_from_place(place, network_type=..

자주 사용하고 numpy의 기본이 되는 함수들을 정리해보았다. 1. 1로 채우기a = np.ones(10)array([1., 1., 1., 1., 1., 1., 1., 1., 1., 1.]) 2. 0으로 채우기a = np.zeros((2, 5))array([[0., 0., 0., 0., 0.], [0., 0., 0., 0., 0.]]) 3. 원하는 숫자 원하는 shape으로 채우기a = np.full((10,3,4), 10)[[[10 10 10 10] [10 10 10 10] [10 10 10 10]] [[10 10 10 10] [10 10 10 10] [10 10 10 10]] [[10 10 10 10] [10 10 10 10] [10 10 10 10]] [[10 10 10 10]..

EM 알고리즘은 missing data나 hidden variable이 있을 때 parameter를 추정하기 위해 사용한다. 이를 이해하기 위해 가장 흔히 사용하는 예제가 coin tossing example이고 직접 코딩을 통해 공부해보았다.  동전 두개가 있다. Coin A는 0.77의 확률로 Head가, Coin B는 0.55의 확률로 Head가 나온다. 두개의 동전 중 임의로 하나를 골라서 10번 던진 결과를 기록했다고 하자. (Coin A와 B 사이에서 하나를 고르는 건 equally likely라고 가정한다). 그렇다면 우리는 10번 던진 sample의 결과를 보고 어느 동전이 선택되었는지를 추정할 수 있을 것이다. 예를 들어 앞면이 8번이라면 A, 5번이라면 B라고 추정하는 것이 합리적이다...

Python에서 여러 프로젝트를 동일한 컴퓨터에서 진행하게 되면 각종 라이브러리들이 충돌하거나 혹은 outdated된 모듈을 사용해야 되는 경우 호환 등의 문제가 있을 수 있다. 이를 대비해 가상 환경을 구축하는 것이 좋다. 가상 환경은 각각의 프로젝트 별로 별도의 버전의 라이브러리들을 사용할 수 있게 한다. 우선 윈도우의 경우 Anaconda를 이용하는 것이 용이하다. 사용하고자 하는 코드의 yaml파일이 있다면 더욱 쉬워진다. Anaconda Prompt로 원하는 directory로 이동한 이후 상황에 따라 아래의 적절한 코드를 입력해주자.1. 파이썬 버전만 가상환경으로 조정하면 되는 경우 : conda create --name cplex_env python=3.9cplex_env를 내가 원하는 가상..