工厂出口给香港可以享受出口退税，但具体是否退税以及退税的金额会受到多种因素的影响。以下是对这一问题的详细解答：

一、出口退税政策概述
出口退税是国际贸易中常见的政策，旨在鼓励企业出口，提升国际竞争力。在我国，对于依法办理市场主体登记、对外贸易经营者备案登记的自营或委托出口货物的单位或个体工商户，可以享受出口货物劳务退（免）税政策。

二、工厂出口给香港是否享受退税
出口性质：工厂出口给香港，这一行为被视为出口。因为香港是我国的一个特别行政区，但在海关和税收上被视为境外。因此，从内地工厂出口到香港的货物，符合出口退税政策的基本条件。

产品条件：并非所有出口到香港的货物都能享受退税。只有那些已经征收或应征增值税和消费税的产品，并且在出口时符合退税政策规定的其他条件，才能申请退税。

报关和财务处理：出口货物必须报关离境，并且在财务上作出口销售处理。这是申请退税的必要条件之一。

特殊规定：国家还对某些特殊产品制定了特准退税或不予退税的规定。因此，具体产品是否能享受退税，还需要参考这些特殊规定。

三、退税流程
一般来说，工厂在出口货物后，需要按照以下流程申请退税：

准备单证：包括出口合同、发票、装箱单、报关单等。

电子申报：通过电子口岸系统进行退税申报。

税务机关审核：税务机关对申报材料进行审核，确认无误后发放退税款。

四、注意事项
退税时限：企业应在货物报关出口后的次年4月30日前向主管税务机关申报退税，逾期可能无法办理。

单证备案：企业需妥善保存相关单证，以备税务机关核查。保存期限一般为5年。

合规经营：企业应确保出口业务的真实性和合规性，避免骗取出口退税等违法行为。

综上所述，工厂出口给香港可以享受出口退税政策，但具体退税金额和条件需根据产品性质、报关和财务处理情况等因素确定。企业应密切关注相关政策动态和税务机关的要求，确保合规经营并顺利享受退税优惠。