하윤님 자료

robust scaler를 적용한 데이터에 대해 실험
- 다른 거는 다 그대로 나왔음
- f-regression/lasso/ridge/elastic은 다름
- ols egression은 안 좋았음
평가 지표를 random forest로 결정한 것에 대한 의문
- random forest, linear regression 두 개를 결정
- 한 쪽에서 안 좋으면 그건 잘 select 된 게 아님
9개 모델에서 상위 20개를 선정하고 두 베이스 모델의 성능 실험
- 공통으로 존재하는 feature를 선정
- 6개 모델에서 공통으로 선정된 것 -> 13개
- 5개 모델에서 공통으로 선정된 것 -> 21개
- 모든 모델에서 절댓값이 높은 3개의 feature는 반드시 포함되도록 -> 15개 -> 가장 좋은 성능
15개 변수 간의 상관계수 heatmap
- 몇 가지 높은 관계를 가지는 것이 존재
- GDP/capita, GNI/capita 각각 제거해봄
- life expectancy at 64도 제거 해보고
- 아무튼 제거하는 경우가 아주 조금 좋아짐
결국 13개 + 인구밀도 + 지니계수
또는 다중공선성을 고려한 13개 변수 확정
- 'R&D spending', 'Average wages', 'Old-age dependency ratio', 'GDP per capita', 'Medium and high-tech exports (% manufactured exports)', 'Business extent of disclosure index (0-10)', 'Survival to 65_male', 'Exports of goods and services (% of GDP)', 'Trade', 'Agriculture, forestry, and fishing, value added (% of GDP)', 'Military spending' 'Gini index', 'Population density’
  
  selected features.csv

추가 의견

Feature selection에서 AIC DIC 방식을 사용해도 됨
상관관계가 가장 높은 두 가지에 대해서는 무조건 삭제하는 게 좋다는 생각
y와의 상관관계를 보고 변수를 선택하는 것이 맞나?
- filter method의 방식으로 피어슨, 스피어맨 등등 있음
- 그리고 10개 모델 모두를 해봤기 때문에 한 가지의 결과를 보려는 건 아님
변수 하나하나가 유의하더라도 R^2가 너무 작으면 모델 자체가 유의하지 않을 수도
- 하지만 우리 방법은 웬만하면 R^2는 거의 높아서 괜찮음
R로 변수선택법을 해보기! step wise function