为满足星间激光通信对高隔离水平光学天线的要求,实现对光学天线隔离度的仿真分析和优化,提出了一种将红外系统冷反射的特征控制量YNI值作为衡量光学元件表面后向反射能量强度,并控制光学天线优化以提高隔离度水平的方法。在LightTools软件中为某激光通信终端的卡塞格林天线创建了实体模型,通过仿真分析得出了各元件表面的后向反射率。在ZEMAX软件中以增大各元件表面的YNI值为目标优化天线结构。对比优化前后的结果,系统的后向反射率从3.068 8×10-4减小到1.075 5×10-5,隔离度从-35.13 dB减小到-49.68 dB。优化后的卡塞格林天线具备较高的隔离度水平,可用于星间激光通信。