おそらく， clmemo.txt というファイル名を使っているのが原因．
色付けは change-log-mode がしているので，
change-log-mode と clmemo-mode を有効にする必要がある．
とりあえず，次のようにしておく．
(setq auto-mode-alist
(cons '("/home/fumi/howm/clmemo.txt" . clmemo-mode)
auto-mode-alist))
(setq auto-mode-alist
(cons '("/home/fumi/howm/clmemo.txt" . change-log-mode)
auto-mode-alist))