http://msdn2.microsoft.com/ja-jp/library/7tas5c80.aspx
これを利用すれば DataGridView の特定列に対して DateTimePicker から入力を行えるように。
コードは会社のマシンの中なのでサンプルを示すことができませんが、 NullableDateTimePicker を利用してコードを若干修正すれば delete キーや backspace キーで DataGridView Cells の値を削除できるようにもなります。
.NET 2.0 から Nullable がサポートされるようになったので、正直標準コントロールとしてサポートして欲しいところです。もしかしたら Framework のバージョンが上がって、動作しなくなるかもしれないですし。