碼垛編程的難點在于實時決策箱體放置點。構建狀態空間S：當前已放置箱體的高度圖（20×20網格）；動作空間A：候選落點坐標（離散化為100個候選）。獎勵函數設計：R=w1⋅ΔH+w2⋅(1−σ)−w3⋅Tilt，其中 ΔH 為層高增加，σ 為支撐面積方差，Tilt 為傾斜懲罰項。采用ε-greedy策略探索，神經網絡含兩個隱藏層（128,64）。
編程實現上，在ROS環境中集成DQN節點，與機器人控制器通過TCP/IP通信。訓練需20萬步達到收斂。現場測試：處理400×300×200mm至600×500×300mm范圍內隨機紙箱，系統自動學習出“交替式壓縫”垛型，較人工編程多裝3箱/層。實操要點：初期設置安全邊界（距托盤邊緣50mm），并加入物理仿真驗證避免塌垛。
