지금까지 linear model을 이용한 linear regression만 함

chapter lineup

y와 single factor x 간의 relationship을 다룸

• Polynomial regression
• step function
• regression splines
• smoothing splines
• Local regression

이건 y와 multiple predictors x1, x2, … xp 와의 relationship을 다룸

• Generalized additive model

Polynomial regression

As we can peek from the header, it’s all about polynomial predictors like $x_k^d$ . kth x factor multiplied by d.

$\hat{f}(x_i)= \hat{\beta}_0+\hat{\beta}_1x_i + \hat{\beta}_2x_i^2 + ... \hat{\beta}_dx_i^d$

d가 커지면 → increased flexibility → less bias, more variance

이렇게 끝쪽으로 갈 수록 regression의 CI가 넓어지는 이유는 데이터의 수가 적고 데이터 개수에 비해 분산되어있기 때문이다.

classification에서는 특정 x 값 이후로 y>250의 값이 존재하지 않아 CI가 무한대로 발산한다.