我以前谈过恋爱，男友说我是在侮辱他，怎么办?

我跟男友在一起一年了，感情还不错，他对我也很好。他早就知道我在认识他之前，谈过两次恋爱。但是，他总是追问我和那两个男生进展到什么关系了，我告诉他那两段维持的时间都很短，都是个幼稚的错误，什么关系也没有。他听了很开心，可过不久他又问我关于我的过去，弄得我很烦。我回答怕他多心，不回答他又乱猜，还说我谈过恋爱简直是在侮辱他。这可怎么办呢?