Gramdex

commit history

@c0mmitCanale Русский History

Iscritti
4.7K
N. 14652 in assolutoN. 9581 in Русский
Crescita in 7 giorni
–
Crescita in 30 giorni
–
Visualizzazioni per post
4.9K
Coinvolgimento
105.8%
Post al giorno
0.0
Indice di citazione
4.4
Citato da 1 canali in 30 giorni
Qualità
66/100

I grafici compaiono dopo due giorni di misurazioni.

Citato da 1

  1. Love. Death. Transformers.26.3K iscritti 1×, 10 g fa

Cita 0

Nessuno negli ultimi 30 giorni.

Post recenti

  • Релизнули LongTail-SWE: 202 задачи на 13 языках, на которых модели почти не тестировали. Из интересного: на некоторых функциональных языках, таких как Haskell, Erlang и Clojure, разрыв между закрытыми и открытыми моделями оказался больше, чем на остальных языках. Задачи собрали и…

    5 g fa1.4K visualizzazioni Apri post

  • 🚀 Выложили SWE-rebench V2.1 RL: 13 337 бесплатных RL-сред для обучения кодинг-агентов. Это задачи из реальных GitHub-репозиториев на 20 языках, в формате Harbor Зачем это нужно. В RL модель решает одну задачу много раз и учится на разнице между удачными и неудачными попытками. Ес…

    10 g fa13.5K visualizzazioni Apri post

  • Проверил популярную идею: Opus думает и ревьюит, а код пишет дипсик или квен. Вроде должно выйти почти так же, но дешевле. Раньше я собирал сеты из своих сессий, но там задачи слишком лёгкие. В этот раз взял 12 сложных задач из открытых бенчмарков, самые похожие на мою работу, в …

    11 g fa10.2K visualizzazioni Apri post

  • Из сессий с агентами получаются готовые evals Каждый раз, когда выбираю сетап для кодового агента, я немного гадаю. Лучше ли эта новая модель? Помогает ли больше reasoning? Помогают ли эти скиллы? Поэтому из ~1270 своих сессий в Claude Code, Codex и Pi я собрал 10 задач с автомат…

    30 g fa55.9K visualizzazioni Apri post

  • Вернувшись с ICML, с головой закопался в новый апдейт SWE-rebench и лидерборда! 🛠️ Этот релиз мы сделали масштабнее, он мультиязычный. Собрал 111 задач на 5 языках, сделал кучу прогонов и зарылся в траектории агентов, чтобы отловить, как именно модели читерят и обманывают эвалы. …

    3 mesi fa14K visualizzazioni Apri post

Simili