data 들이 있고 그 데이터을 이용해 f(x)

$$ Y=f(X)+\epsilon \hspace{3mm} X \in R^p $$

으로 해석한다.

여기서 함수 f(X)를 찾는것이 목표이고 함수를 estimate하는 $\hat f(X)$ 을 찾는다.

Q: Why estimate f?

A: Prediction & Inference

prediction하고 Y값을 찾는 것

inference는 X의 값들과 Y 간의 관계를 밝히는 것

Q: How do we estimate f?

A: parametric method & non-parametric method

There are Trade-off between prediction accuracy and model interpretability.

Trade-off between Bias-Variance