[statistics] HMM, MEMM, CRF

• HMM, MEMM, CRF
• Maximum Entropy Markov Models for Information Extraction and Segmentation

- ME를 sequence tagging 문제로 확장한 모델
- 각 timestep에서 ME에 해당하는 exponential function을 계산, E(s | o)
- 이전 상태 s'에 대해서 s'에서 전이 가능한 다음 상태 s1, s2, s3라고 하면
  E(s1 | o), E(s2 | o), E(s3 | o)
  여기서 합이 1이 되도록 정규화하면
  P(s1 | s', o), P(s2 | s', o), P(s3 | s', o) 확률값이 된다.
  이렇게 각 단계별로 정규화 하기 때문에 label bias가 생김
- 단계별로 sequence의 확률값은 누적된다.

• introduction to CRF

- crf을 정말 직관적으로 잘 설명했다
- hmm을 crf로도 동일하게 표현할 수 있다는 것을 
  잘 풀이했음

• CRF training, HMM에서 forward-backward variable과 연관성

• CRF training에서 forward-backward algorithm과 sgd, l-bfgs 등의 최적화 알고리즘 연관성

  • training crf