Reward model на SmolLM-135M-Instruct (Human-Like)

Reward model из домашнего задания 2 курса по LLM (DPO и PPO). Выдаёт одно число: насколько ответ похож на «живой» разговорный, а не на шаблонный ответ ассистента. Использовалась как reward и value model для PPO-модели.

Другие модели из этого задания: DPO, PPO.

Обучение

Важная деталь — pad-токен. В transformers 4.48 LlamaForSequenceClassification берёт оценку с токена перед первым pad-токеном. Если сделать pad_token = eos_token (<|im_end|>), первым окажется конец реплики пользователя: модель оценивает только промпт, одинаковый у chosen и rejected, и лосс стоит на 0.693 с нулевым градиентом. Поэтому pad_token = "<|endoftext|>": этот токен в тексте не встречается.

Качество

Лосс за эпоху: в среднем 0.104, к концу обучения около 0.04. На примере из тестовой части награда chosen — 4.07, rejected — −0.51.

Модель обучала только линейный слой поверх замороженных признаков, поэтому оценивает в основном стиль (разговорный тон, встречный вопрос), а не полезность ответа. При PPO это проявилось: политика научилась давать короткие разговорные реплики почти без содержания.

Использование

Ответ нужно подавать в chat-template, вместе с промптом:

from transformers import AutoTokenizer, AutoModelForSequenceClassification

tok = AutoTokenizer.from_pretrained("maf1oz1/llm-course-hw2-reward-model")
rm = AutoModelForSequenceClassification.from_pretrained("maf1oz1/llm-course-hw2-reward-model")

chat = [
    {"role": "user", "content": "What's your morning routine like?"},
    {"role": "assistant", "content": "Coffee first, always! What about you?"},
]
inputs = tok(tok.apply_chat_template(chat, tokenize=False), return_tensors="pt")
print(rm(**inputs).logits[0].item())