Chapter 7: RL은 어디에 끼어드는가 — Reward, Residual, Fine-tuning

개요

Chapter 5는 plain BC와 ACT를 같은 dataset·controller·평가 계약에서 비교했고, Chapter 6은 여러 가능한 action trajectory를 생성하는 diffusion과 flow policy를 다룹니다. 그다음 질문은 “RL을 어떻게 붙일까?”가 아닙니다. 먼저 현재 imitation 또는 generative baseline에서 reward로 최적화할 가치가 남아 있는가를 묻습니다. 성공률이 이미 목표를 만족하고 intervention, force event, latency, cycle time이 허용 범위라면 RL을 하지 않는 것이 올바른 결과입니다.

Reinforcement learning(RL)은 environment와 상호작용하며 장기 return을 높이는 action rule을 학습합니다. 그러나 real robot에서 optimizer 한 줄만 비용인 것은 아닙니다. reward를 만들고, reset하고, demonstration·replay를 준비하며, controller와 logger를 유지하고, 사람이 감독하고, robot과 fixture를 반복 노출하는 전체 운영체제가 비용입니다. 이 장은 RL을 classical controller나 imitation policy를 제거하는 최종 단계로 두지 않습니다. simulation skill, bounded residual, gain·trajectory adaptation, offline fine-tuning, intervention-assisted online refinement라는 제한된 역할 중 하나로 승인합니다.

근거 상태 주의: Capuano tutorial의 unsafe exploration, sample inefficiency, manual reset, reward brittleness, simulator fidelity 목록은 real-world RL constraint를 배치하는 교육 지도입니다 ^[21]. task-specific 결과와 수치는 SERL·HIL-SERL 원문으로 돌아갑니다 ^{[18] [19]}. residual RL, BCQ, CQL, IQL은 source packet에 canonical identity가 있지만 exact primary-body locator가 아직 충분하지 않으므로, 이 장은 이들의 성능이나 보편적 mechanism 우위를 주장하지 않습니다 ^{[11] [12] [13] [15]}.

이 장을 읽고 나면... - BC-sufficient exit와 RL incremental-value gate를 사전에 정의할 수 있습니다. - simulation, residual, offline, imitation-fine-tuning, bounded online RL의 역할을 구분할 수 있습니다. - reward, reset, interaction, human supervision, hardware exposure를 하나의 experiment budget으로 계산할 수 있습니다. - simulator throughput과 contact fidelity, policy success와 hardware safety를 분리할 수 있습니다. - intervention과 reset authority를 learned policy 밖에 둘 수 있습니다. - replay/offline → simulation → shadow → bounded hardware 순서로 checkpoint를 승격하거나 BC로 되돌릴 수 있습니다.

실험 질문은 다음과 같습니다. tabletop insertion에서 승인된 ACT checkpoint가 특정 fixture tolerance에서 반복적으로 약간 일찍 접촉한다면, reward-based refinement가 intervention과 cycle time을 줄이는 추가 가치가 있는가, 아니면 dataset correction·contact controller tuning·system identification이 더 싸고 안전한가?

1. optimizer보다 먼저 incremental-value contract를 쓴다

유한 horizon의 일반적인 RL objective는 policy가 만드는 trajectory \tau에서 discount된 reward의 기대값을 높이는 것으로 쓸 수 있습니다.

$$

J(\pi)=\mathbb{E}_{\tau\sim\pi}\left[\sum_{t=0}^{T-1}\gamma^t r(s_t,a_t,s_{t+1})\right].

$$

하지만 manufacturing cell은 J 하나로 승인하지 않습니다. task completion, intervention, force·collision event, deadline miss, cycle time, reset labor, human minutes, hardware cycles를 각각 측정합니다. reward에 penalty를 넣었다는 사실은 independent safety gate가 아닙니다. training reward와 release evaluator를 분리하고, evaluator는 learned critic이나 policy가 수정할 수 없는 owner가 계산합니다.

S12의 decision variable을 다음처럼 둡니다.

$$

\Delta V=

w_s\Delta S-w_i\Delta I-w_t\Delta T

-w_h C_{human}-w_r C_{reset}-w_x C_{exposure}-w_m C_{maint}.

$$

\Delta S는 matched test에서의 task improvement, \Delta I는 intervention 또는 unsafe event 변화, \Delta T는 cycle-time 변화입니다. 나머지는 skilled human time, reset labor, hardware exposure, reward·simulator maintenance cost입니다. weight와 최소 허용 \Delta V는 결과를 보기 전에 task owner, safety owner, learning owner가 서명합니다. 이 식은 표준 경제 지표가 아니라 hidden cost를 밖으로 꺼내는 project ledger입니다.

1.1 BC-sufficient exit는 실패가 아니다

다음 조건이면 NO_RL verdict를 냅니다.

• approved BC/ACT/diffusion baseline이 pre-registered task KPI를 충족합니다.
• remaining failure가 perception label, calibration, action semantics, stale chunk, controller gain으로 설명됩니다.
• reward가 physical success보다 proxy를 최적화할 가능성이 큽니다.
• reset과 human coverage가 statistical comparison을 만들 만큼 충분하지 않습니다.
• 예상 개선이 hardware exposure와 maintenance cost보다 작습니다.

S12는 이 출구를 문서로 남기고, RL을 사전 등록한 incremental-value gate를 넘을 때만 추가합니다. 이는 ACT, BAKU, HIL-SERL의 결과에서 유도한 universal theorem이 아니라 이 책의 engineering decision입니다 ^{[16] [17] [19]}.

1.2 real-world RL cost ledger

robotics RL survey는 physical system에서 exploration, samples, model knowledge, safety 같은 조건을 알고리즘 밖으로 밀어낼 수 없음을 오래전부터 정리했습니다 ^[2]. modern system도 reward, demonstration replay, reset, controller, data flow를 함께 구성합니다 ^{[18] [19]}. 따라서 real-world RL cost에는 reward design, reset, prior data, controller infrastructure, human supervision, interactions, hardware exposure가 포함됩니다. optimizer time만 세지 않습니다. SERL과 HIL-SERL의 modern result는 각 protocol에 묶여 있으며 universal transfer를 증명하지 않습니다.

2. RL이 맡을 수 있는 다섯 가지 제한된 역할

PPO와 SAC는 각각 on-policy와 off-policy deep RL의 대표적인 candidate record지만, 이 chapter packet에서는 canonical identity와 abstract-level scope를 넘어선 exact result locator가 충분하지 않습니다 ^{[3] [5]}. 그래서 optimizer 이름부터 고르지 않습니다. 먼저 무엇을 학습하고 무엇을 고정할지 정합니다.

2.1 simulation skill learning

simulation RL은 real robot exposure를 줄일 수 있지만 “simulation에서 성공”과 “real contact가 맞음”은 다른 주장입니다. MuJoCo와 Isaac Gym은 robot learning에 쓰이는 simulator lineage를 제공하지만 ^{[1] [14]}, source packet의 partial verification만으로 throughput이나 fidelity 숫자를 승격하지 않습니다. simulator 선택은 task role, contact model, sensor model, controller integration, deterministic replay로 검증합니다.

domain randomization과 dynamics randomization은 visual·physical parameter variation을 학습 distribution에 넣는 sim-to-real 후보입니다 ^{[4] [6]}. Dactyl과 SimOpt는 randomization 또는 simulation-parameter adaptation을 연구하는 중요한 lineage입니다 ^{[9] [10]}. 그러나 parameter 범위를 넓히는 것 자체가 real system을 포함한다는 증거는 아닙니다.

Chapter 3과 #S11의 discipline을 이어서 먼저 identify하고 나중에 randomize합니다. joint friction, actuator delay, gripper compliance, camera latency, object mass, contact stiffness를 관측 가능성과 task sensitivity로 분류합니다. weak trajectory로 식별하지 못한 parameter를 넓은 uniform distribution에 숨기지 않습니다. randomization manifest에는 nominal, measured uncertainty, synthetic extension, distribution, correlation, held-out stress range를 구분합니다.

2.2 residual과 parameter adaptation

structured task에서 nominal planner, trajectory, impedance controller가 대부분의 motion을 해결한다면 policy가 전체 action을 다시 만들 필요가 없습니다. residual 후보를 S12 abstraction으로 다음처럼 둡니다.

$$

a_t^{proposal}=a_t^{nominal}+\alpha(s_t)\,\delta a_\theta(s_t),

\qquad

a_t^{sent}=\Pi_{\mathcal{C}(s_t)}(a_t^{proposal}).

$$

a^{nominal}은 validated controller output, \delta a는 learned correction, \alpha는 phase별 bound, \Pi_{\mathcal C}는 joint/workspace/rate/collision/force constraint projection입니다. residual을 0으로 만들면 nominal behavior로 돌아가야 합니다. projection delta와 saturation은 training·evaluation 모두 기록합니다.

Residual Reinforcement Learning for Robot Control은 이 design branch의 canonical source candidate입니다 ^[11]. 하지만 현재 source packet에는 원문의 exact mechanism locator가 비어 있으므로, “conventional controller를 유지하고 correction만 학습하면 성능이나 안전이 보장된다”고 주장하지 않습니다. projection, rollback, independent watchdog을 요구하는 것은 S12의 deployment rule이며 software clamp는 certified safety function이 아닙니다.

gain adaptation도 같은 원칙입니다. stiffness, damping, force target, trajectory offset을 policy가 직접 무제한 출력하지 않습니다. engineering owner가 admissible set, rate of change, phase transition, passivity/stability test를 정하고 policy는 그 안의 proposal만 냅니다. contact instability가 나타나면 model weight rollback보다 먼저 nominal controller를 즉시 복원할 수 있어야 합니다.

3. offline RL은 fixed data라서 자동으로 안전한 것이 아니다

offline RL은 새로운 environment interaction 없이 fixed dataset에서 value 또는 policy를 학습하려는 branch입니다. demonstrations, failed attempts, intervention, reset transition을 활용할 가능성이 있지만, dataset 밖 action의 value를 직접 검증하기 어렵습니다. reward label이 틀리거나 action support가 좁으면 learned value가 policy를 그 빈 영역으로 끌 수 있습니다.

BCQ, CQL, IQL은 offline RL의 서로 다른 candidate lineage입니다 ^{[12] [13] [15]}. 하지만 source packet은 exact body locator를 요구하므로, 여기서는 각 algorithm의 보편적 mechanism이나 BC 대비 우위를 단정하지 않습니다. S12의 operational rule은 fixed dataset support와 reward label audit 밖의 policy proposal을 promotion하지 않는 것입니다. strong BC baseline보다 좋아진다는 보장도 두지 않습니다.

3.1 support audit

observation-action pair를 task phase, initial-state bin, intervention state, object, scene, calibration epoch, controller mode로 slice합니다. candidate policy action a_\pi가 dataset action cloud에서 얼마나 떨어졌는지 단일 Euclidean distance만으로 판정하지 않습니다. normalized joint delta, Cartesian delta, gripper discrete state, contact phase별 metric을 따로 둡니다.

다음 artifact를 만듭니다.

• phase별 action range와 density summary;
• nearest-neighbor replay와 physically meaningful distance;
• reward label confusion matrix와 evaluator disagreement;
• policy action의 projection/rejection histogram;
• BC, behavior policy, offline-RL candidate의 matched rollout;
• dataset에서 드문 failure precursor와 intervention coverage.

demonstration-augmented policy gradient와 large-scale off-policy grasping은 imitation prior와 RL interaction을 잇는 역사적 후보입니다 ^{[7] [8]}. 이 장은 apparatus가 다른 결과를 합치지 않습니다. 이 source들은 “prior data가 optimizer 바깥의 공짜 입력이 아니다”라는 research map으로만 사용합니다.

3.2 reward는 evaluator와 분리한다

insertion reward의 예를 들면 다음과 같은 component를 만들 수 있습니다.

$$

r_t=w_p\Delta p_t+w_d\Delta d_t+w_c\mathbf{1}[success]

-w_f\phi(F_t)-w_j\psi(jerk_t)-w_o\mathbf{1}[outside].

$$

그러나 이 식이 “진짜 목적”은 아닙니다. pose progress를 높이기 위해 peg를 fixture에 비스듬히 밀거나, force penalty를 피하려고 접촉 직전에 멈추거나, success classifier의 image cue만 맞출 수 있습니다. reward component, physical evaluator, safety event를 별도 log로 냅니다. reward weight를 바꾼 run은 새 experiment version이며 이전 result를 덮어쓰지 않습니다.

reward classifier를 쓰면 train/validation/test뿐 아니라 false-positive challenge set, camera shift, occlusion, partial completion, reset frame을 포함합니다. classifier confidence가 safety authority나 task completion의 유일한 owner가 되어서는 안 됩니다. 사람이 label한 reward도 label policy, reviewer agreement, drift를 관리합니다.

4. bounded online과 intervention RL은 운영 프로토콜이다

online real-robot RL은 이 책의 필수 단계가 아닙니다. imitation baseline이 충분하지 않고, simulation·offline branch에서도 incremental hypothesis가 남으며, reset과 human authority를 검증할 때만 좁은 envelope에서 후보가 됩니다.

SERL은 demonstration replay, off-policy learning, reward, reset strategy, robot controller를 포함한 task-specific system을 제시합니다 ^[18]. 원문은 세 manipulation task에서 policy training이 25–50분 걸린 protocol을 기록하지만, 그 duration은 해당 task, reward, reset, controller, prior data에 묶여 있습니다. 이 chapter의 insertion cell 시간 예측으로 일반화하지 않습니다.

HIL-SERL은 demonstration, human correction, off-policy RL, reset·control system을 함께 구성합니다 ^[19]. 원문이 제시한 1–2.5시간 training과 자체 imitation baseline 대비 improvement는 skilled human intervention이 포함된 task·baseline-specific 비교입니다. human attention과 hardware exposure를 제외한 “algorithm time”으로 읽지 않습니다.

4.1 reset ownership

reset은 environment operation이며 policy reward의 부속물이 아닙니다. 누가 object를 놓고 fixture를 정렬하며 robot을 safe pose로 되돌리고 protective stop을 해제하는지 명시합니다. reset policy가 learned라면 task policy와 별도 checkpoint, action envelope, evaluator, rollback을 갖습니다. 사람의 manual adjustment는 다음 initial state distribution을 바꾸므로 반드시 log합니다.

reset frequency, duration, success, manual contact, replaced part, discarded episode를 기록합니다. training wall-clock이 짧아도 사람이 계속 object를 놓고 jam을 풀었다면 sample efficiency가 높다고 말할 수 없습니다.

4.2 human authority

사람은 dataset source, reward labeler, supervisor, intervention actor, safety operator 중 여러 역할을 가질 수 있습니다. 한 사람이 여러 역할을 하더라도 log에서는 분리합니다. intervention request, controller acceptance, policy queue purge, human recovery, handback approval을 Chapter 4–5의 authority state machine으로 기록합니다.

사람이 joystick을 잡았다는 신호를 reward로 쓰는 것과 사람이 safety authority를 행사하는 것은 다릅니다. reward learner는 takeover likelihood를 model할 수 있지만, 실제 takeover와 E-stop path를 소유하면 안 됩니다. TRANSIC은 online correction을 활용하는 sim-to-real candidate지만 ^[20], correction data가 unseen hazard를 덮는다는 주장은 하지 않습니다.

4.3 external safety boundary

learned policy 밖에 다음을 둡니다.

• hardware joint, speed, torque, force limits;
• collision monitor와 workspace gate;
• watchdog, heartbeat, deadline, stale action rejection;
• E-stop과 protective-stop authority;
• policy checkpoint 승인·rollback service;
• human takeover와 incident logging;
• controller inner loop와 contact stabilization.

constraint projection이 action을 통과시켰다는 사실은 application safety certification이 아닙니다. safety owner는 applicable standard, vendor manual, cell risk assessment를 별도로 유지합니다. policy가 reward penalty를 피하는 법을 배워도 E-stop의 owner가 되지 않습니다.

5. worked incremental-value experiment card

다음은 수집된 결과가 아니라 실험 전에 채우는 illustrative card입니다. threshold는 local baseline과 risk review에 맞춰 다시 승인합니다.

hypothesis

• approved ACT checkpoint는 free-space transport와 grasp KPI를 만족합니다.
• pre-contact pose residual이 특정 fixture tolerance bin에서 intervention을 유발합니다.
• hypothesis: bounded residual or offline refinement can reduce that intervention without increasing force events, deadline misses, or reset labor.

matched baseline

• dataset, perception encoder, action semantics, controller, constraint projection, evaluator를 고정합니다.
• baseline checkpoint를 동일 initial-state bins에서 반복하고 seed와 trial order를 block randomize합니다.
• calibration drift와 hardware maintenance 사이에는 experiment block을 섞지 않습니다.

preregistered admission threshold

• primary benefit: unassisted completion 또는 intervention reduction의 최소 effect와 uncertainty bound;
• non-inferiority: collision/force/protective-stop class 증가 없음;
• timing: deadline miss와 stale reject가 approved limit 이내;
• operation: human supervision과 reset minutes가 budget 이내;
• exposure: maximum real interactions, contact cycles, component temperature와 wear stop;
• exit: threshold를 못 넘으면 BC/ACT checkpoint를 유지하고 RL branch를 archive.

staged run

1. recorded replay에서 reward와 evaluator disagreement를 찾습니다.
2. simulator에서 residual bound와 offline policy support를 sweep합니다.
3. latency, observation noise, mass/friction/contact perturbation을 held-out stress로 넣습니다.
4. shadow mode에서 RL proposal과 approved ACT sent action을 나란히 기록합니다.
5. projection·deadline·OOD gate를 통과한 checkpoint만 reduced envelope trial card로 올립니다.
6. bounded hardware block 후 blind evaluator가 result를 계산하고 learning owner는 raw trial을 삭제하지 않습니다.

attribution ablation

RL policy만 비교하지 않습니다. 다음을 같은 evaluator로 봅니다.

• unchanged ACT baseline;
• more correction demonstrations로 재학습한 ACT;
• contact-controller 또는 trajectory parameter retuning;
• residual candidate with learning disabled, 즉 \delta a=0;
• offline refinement candidate;
• bounded online/HIL candidate, 승인된 경우에만.

이 비교가 없으면 dataset fix나 controller tuning으로 얻을 수 있던 이득을 RL에 잘못 귀속할 수 있습니다.

6. 실패 증상과 진단 순서

진단 순서는 data/action semantics → evaluator/reward → clocks/controller → reset distribution → simulator/support → optimizer입니다. optimizer를 먼저 바꾸면 upstream defect를 새 hyperparameter로 흡수할 수 있습니다.

7. replay에서 bounded hardware까지의 promotion

Stage A — replay and offline

reward를 stored transition에 다시 계산해 physical evaluator와 비교합니다. episode boundary, terminal, intervention, reset, rejected action을 올바르게 mask합니다. BC/ACT와 offline candidate를 동일 split에서 비교하고 support audit를 첨부합니다.

Stage B — simulation regression

nominal distribution과 held-out stress를 분리합니다. random seed뿐 아니라 object mass, friction, latency, camera noise, contact parameter, initial state를 manifest에 기록합니다. simulation-only improvement를 real-robot evidence로 표현하지 않습니다.

Stage C — shadow

approved policy가 robot을 움직이고 RL candidate는 proposal만 냅니다. proposal, projection, sent baseline action, reward, evaluator, deadline, authority를 같은 timeline에 남깁니다. shadow에서 systematic limit violation 또는 stale proposal이 보이면 hardware gate로 가지 않습니다.

Stage D — bounded hardware

human-reviewed trial card에 workspace, speed, force, phase, max episode, max interaction, reset owner, stop owner, abort threshold, rollback checkpoint를 고정합니다. 새 reward나 weight tuning은 block 중에 하지 않습니다. 변경하면 새 version과 새 review가 필요합니다.

promotion checklist

• [ ] RL이 해결할 baseline failure와 minimum incremental value가 사전 등록됐습니다.
• [ ] NO_RL/BC-sufficient exit와 rollback checkpoint가 있습니다.
• [ ] reward component와 independent evaluator가 분리됐습니다.
• [ ] reset actor, distribution, time, manual adjustment가 기록됩니다.
• [ ] human supervision·intervention·labeling 시간이 budget에 포함됩니다.
• [ ] offline support와 projection/rejection histogram이 검토됐습니다.
• [ ] simulation nominal/stress result와 real evidence가 분리됐습니다.
• [ ] shadow에서 deadline, stale action, authority handoff가 통과했습니다.
• [ ] bounded trial의 E-stop/watchdog/safety owner가 policy 밖에 있습니다.
• [ ] success, intervention, force/collision, latency, reset, exposure가 함께 보고됩니다.

8. Codex에 줄 수 있는 bounded 구현 프롬프트

Goal
- Evaluate whether selective RL adds preregistered incremental value over the
  approved BC/ACT policy for one tabletop-insertion failure slice.

Context
- Read the versioned task card, dataset/split manifest, baseline checkpoint,
  controller contract, reward spec, independent evaluator, reset state machine,
  simulation manifest, and signed promotion thresholds.

제약
- replay·offline analysis에서 시작하고 다음 단계도 simulation과 shadow로 제한한다.
- dataset, encoder, action semantics, controller, projection, evaluator와
  test initial-state bin을 approved baseline과 matched 상태로 유지한다.
- `NO_RL`을 유효한 결과로 구현한다.
- reward component, evaluator outcome, proposal/projected/sent action,
  observation/action age, deadline, reset actor/time, human minute,
  intervention, force/collision/stop event, hardware-exposure counter를 기록한다.
- residual, offline, online branch는 별도의 config와 report로 다룬다.
- learned policy에는 collision·force limit, watchdog, E-stop,
  protective-stop recovery, reset approval, controller inner loop를 맡기지 않는다.

완료 조건
- report가 baseline을 재현하고 exact failure slice를 명시한다.
- reward-versus-evaluator challenge test와 offline-support audit이 통과한다.
- simulation은 nominal 조건과 held-out latency/contact/randomization stress를 포함한다.
- shadow log가 deterministic stale/reorder rejection과 rollback을 보여 준다.
- report는 optimizer, reset, human, interaction, maintenance,
  exposure cost를 합산하고 `PROMOTE`, `REVISE`, `NO_RL` 중 하나를 권고한다.
- hardware command는 실행하지 않는다.

Safety
- Stop at a human-reviewed bounded-hardware trial card. The card must specify
  reduced envelope, max interactions, independent stop authority, abort rules,
  reset ownership, incident logging, and the approved rollback checkpoint.

Codex의 output은 algorithm repository를 실행했다는 log가 아니라, RL이 추가 가치와 추가 위험을 모두 비교할 수 있는 evidence package여야 합니다.

9. 열린 질문과 증거 공백

첫째, matched BC-versus-RL comparison에서 reward engineering, reset labor, human attention, hardware wear를 완전히 계산한 연구는 드뭅니다. 서로 다른 task와 robot의 training time을 한 순위표에 놓지 않습니다.

둘째, offline support를 high-dimensional observation과 contact phase에서 어떻게 측정할지는 열려 있습니다. nearest-neighbor distance 하나가 semantic novelty를 표현하지 못합니다.

셋째, simulator parameter가 real system을 포함한다는 증거와 policy가 그 variation을 robust하게 처리한다는 증거는 다릅니다. identification uncertainty, synthetic extension, held-out stress를 구분해야 합니다.

넷째, intervention은 recovery data를 만들지만 skilled human의 availability와 reaction time에 의존합니다. human authority를 reward label과 섞지 않는 protocol이 필요합니다.

다섯째, RL이 controller tuning보다 나은지 판단하려면 baseline engineer effort까지 기록해야 합니다. learning cost만 세밀하게 적고 classical maintenance cost를 0으로 두는 비교도 공정하지 않습니다.

기존 서베이와의 연결

#S11은 simulator, first motion, calibration, identification과 작은 policy exercise의 입구를 제공했습니다. 이 장은 그 문장·수치·claim을 복사하지 않습니다. identification-before-randomization, simulation-only/real evidence 분리, bounded hardware authority를 continuity rule로 가져와 Chapter 4–6의 새 dataset과 policy artifact에 적용합니다. #S11 공개 cross-link는 release-ready 이후 확정합니다.

다음에 배울 것

RL branch가 승인되더라도 output은 controller를 우회하는 motor command가 아닙니다. Chapter 8은 task/FSM이 skill을 선택하고, learned policy가 bounded action을 제안하며, planner·IK·constraint projection·contact controller·watchdog·human fallback이 그것을 실행 또는 거부하는 hybrid architecture를 만듭니다. 이 장은 reward version, reset state machine, human authority, residual bound, offline support audit, checkpoint rollback, timing and safety verdict를 Chapter 8에 넘깁니다.

VLA, world model, agentic planner가 reward를 만들거나 skill을 선택하는 상세 비교는 #S13 범위입니다. 향후 model이 reward proposal이나 long-horizon plan을 제공하더라도 evaluator, constraint projection, watchdog, E-stop, controller authority는 독립적으로 남습니다.

참고문헌

1. Todorov, E., Erez, T., & Tassa, Y. (2012). MuJoCo: A Physics Engine for Model-Based Control. IROS. DOI: 10.1109/IROS.2012.6386109.
2. Kober, J., Bagnell, J. A., & Peters, J. (2013). Reinforcement Learning in Robotics: A Survey. International Journal of Robotics Research. DOI: 10.1177/0278364913495721.
3. Schulman, J., Wolski, F., Dhariwal, P., Radford, A., & Klimov, O. (2017). Proximal Policy Optimization Algorithms. arXiv:1707.06347.
4. Tobin, J., et al. (2017). Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. IROS. DOI: 10.1109/IROS.2017.8202133.
5. Haarnoja, T., Zhou, A., Abbeel, P., & Levine, S. (2018). Soft Actor-Critic: Off-Policy Maximum Entropy Deep Reinforcement Learning with a Stochastic Actor. ICML.
6. Peng, X. B., Andrychowicz, M., Zaremba, W., & Abbeel, P. (2018). Dynamics Randomization for Sim-to-Real Transfer of Reinforcement Learning Policies. ICRA. DOI: 10.1109/ICRA.2018.8460528.
7. Rajeswaran, A., et al. (2018). Learning Complex Dexterous Manipulation with Deep Reinforcement Learning and Demonstrations. RSS. arXiv:1709.10087.
8. Kalashnikov, D., et al. (2018). QT-Opt: Scalable Deep Reinforcement Learning for Vision-Based Robotic Manipulation. arXiv:1806.10293.
9. OpenAI, et al. (2019). Learning Dexterous In-Hand Manipulation. International Journal of Robotics Research. DOI: 10.1177/0278364919887447.
10. Chebotar, Y., et al. (2019). SimOpt: Learning Robotic Skills in Simulation with Sim-to-Real Transfer. ICRA. DOI: 10.1109/ICRA.2019.8793789.
11. Johannink, T., et al. (2019). Residual Reinforcement Learning for Robot Control. IEEE ICRA. DOI: 10.1109/ICRA.2019.8794127. arXiv:1812.03201.
12. Fujimoto, S., Meger, D., & Precup, D. (2019). Off-Policy Deep Reinforcement Learning without Exploration. ICML. arXiv:1812.02900.
13. Kumar, A., Zhou, A., Tucker, G., & Levine, S. (2020). Conservative Q-Learning for Offline Reinforcement Learning. NeurIPS. arXiv:2006.04779.
14. Makoviychuk, V., et al. (2021). Isaac Gym: High Performance GPU-Based Physics Simulation for Robot Learning. arXiv:2108.10470.
15. Kostrikov, I., Nair, A., & Levine, S. (2022). Offline Reinforcement Learning with Implicit Q-Learning. ICLR. arXiv:2110.06169.
16. Zhao, T. Z., Kumar, V., Levine, S., & Finn, C. (2023). Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware. RSS. arXiv:2304.13705.
17. Haldar, S., Peng, Z., & Pinto, L. (2024). BAKU: An Efficient Transformer for Multi-Task Policy Learning. arXiv:2406.07539.
18. Luo, J., et al. (2024a). SERL: A Software Suite for Sample-Efficient Robotic Reinforcement Learning. ICRA. arXiv:2401.16013.
19. Luo, J., Xu, C., Wu, J., & Levine, S. (2024b). Precise and Dexterous Robotic Manipulation via Human-in-the-Loop Reinforcement Learning. arXiv:2410.21845.
20. Jiang, Y., et al. (2024). TRANSIC: Sim-to-Real Policy Transfer by Learning from Online Correction. CoRL.
21. Capuano, F., Pascal, C., Zouitine, A., Wolf, T., & Aractingi, M. (2025). Robot Learning: A Tutorial. arXiv:2510.12403v1. DOI: 10.48550/arXiv.2510.12403.
22. Pieter Abbeel & Andrew Y. Ng (2004). Apprenticeship Learning via Inverse Reinforcement Learning. Annotated primary reading. canonical URL. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
23. Nathan Koenig & Andrew Howard (2004). Gazebo: A Dynamic Multi-Robot Simulator. Annotated primary reading. DOI: 10.1109/IROS.2004.1389727. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Historical Gazebo architecture and physics backends differ from current Gazebo releases; fidelity is model dependent.
24. Chelsea Finn et al. (2016). Guided Cost Learning: Deep Inverse Optimal Control via Policy Optimization. Annotated primary reading. canonical URL. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
25. Jonathan Ho & Stefano Ermon (2016). Generative Adversarial Imitation Learning. Annotated primary reading. arXiv:1606.03476. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Dataset coverage, action semantics, covariate shift, horizon, and recovery policy limit transfer.
26. Sergey Levine et al. (2016). End-to-End Training of Deep Visuomotor Policies. Annotated primary reading. arXiv:1504.00702. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Dataset coverage, action semantics, covariate shift, horizon, and recovery policy limit transfer.
27. Scott Fujimoto et al. (2018). Addressing Function Approximation Error in Actor-Critic Methods. Annotated primary reading. arXiv:1802.09477. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
28. Xue Bin Peng et al. (2018). DeepMimic: Example-Guided Deep Reinforcement Learning of Physics-Based Character Skills. Annotated primary reading. DOI: 10.1145/3197517.3201311. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
29. Ilge Akkaya et al. (2019). Solving Rubik’s Cube with a Robot Hand. Annotated primary reading. arXiv:1910.07113. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Large infrastructure, frequent hardware interventions, external vision, and task-specific reset/recovery make it unsuitable as a first exercise.
30. Fabio Ramos et al. (2019). BayesSim: Adaptive Domain Randomization Via Probabilistic Inference for Robotics Simulators. Annotated primary reading. DOI: 10.15607/RSS.2019.XV.029. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Posterior quality depends on summary statistics, simulator family, real trajectories, and prior support; structural mismatch remains.
31. Saran Tunyasuvunakool et al. (2020). dm_control: Software and Tasks for Continuous Control. Annotated primary reading. DOI: 10.1016/j.simpa.2020.100022. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Simulation throughput or benchmark success does not establish real contact fidelity or hardware safety.
32. Tianhe Yu et al. (2020). Meta-World: A Benchmark and Evaluation for Multi-Task and Meta Reinforcement Learning. Annotated primary reading. canonical URL. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
33. Denis Yarats et al. (2022). Mastering Visual Continuous Control: Improved Data-Augmented Reinforcement Learning. Annotated primary reading. arXiv:2107.09645. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Reward, resets, interactions, exploration bounds, dataset support, and hardware exposure are source-specific.
34. Mayank Mittal et al. (2023). Orbit: A Unified Simulation Framework for Interactive Robot Learning Environments. Annotated primary reading. DOI: 10.1109/LRA.2023.3270034. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Platform, task, dataset, and evaluation assumptions must be checked in the primary paper before transferring a result.
35. Eric Heiden et al. (2025). Neural Robot Dynamics in Newton. Annotated primary reading. canonical URL. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Neural residuals can overfit the excitation distribution
36. RSS authors (2025). Physics-Aware Real2Sim2Real for Non-Prehensile Manipulation. Annotated primary reading. canonical URL. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Object-centric setup does not identify robot actuator dynamics
37. Kevin Zakka et al. (2025). MuJoCo Playground: GPU-Accelerated Robot Learning and Sim-to-Real. Annotated primary reading. DOI: 10.48550/arxiv.2502.08844. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Repository warns TF32 on Ampere can affect reproducibility
38. NVIDIA Isaac Sim Team (2026). NVIDIA Isaac Sim: Enabling Scalable, GPU-Accelerated Simulation for Robotics. Annotated primary reading. arXiv:2606.03551. — 역할: RL·simulation·reset·sim-to-real 비용을 회계화하는 1차 읽기. 한계: Very recent preprint