怎样处理两个领导交代的相互冲突的事情

请各位大神帮帮我：因单位需要上级领导决定暂时把我从审计部调离财务部一个多月，现已过去两周。可之前我在审计部负责的一个项目，因我在财务部不能去项目现场，而公司也没安排其他人，导致项目单位很生气，现在我的直接领导要我跟上级领导说我每隔一天要去项目单位1个小时左右，可是跟同事商量后都认为要我别跟上级领导说，她们认为我这样说，会认为我的能力不行，而且会认为她安排给我的财务部工作我不重视。可是不说直接去，被上级领导发现就是我的失职，这可怎么处理为好？我跟我们审计部主任说了我的困扰，审计部主任说我得罪那个上级领导也没关系，因那个上级领导还有一年就到退休年龄啦。可是她现在还在职位上呀，而且还是整个所的副所长，退休与否也不能确定。