Nathan Godey
@nthngdy.bsky.social did:plc:gf2sesnpqtru6flwkeothoca
Post-doc at Cornell Tech NYC Working on the representations of LMs and pretraining methods https://nathangodey.github.io
Sur Bluesky depuis le
- Abonnés
- 168
- Abonnements
- 30
- Posts
- 65
- Jours dans les classements
- 0
Résumé
Nathan Godey (@nthngdy.bsky.social) est sur Bluesky depuis le 25 novembre 2024. Le compte a 168 abonnés, suit 30 comptes et a publié 65 posts.
Présence dans les classements
Les meilleurs jours où les posts de ce compte sont entrés dans le top quotidien de Debya.
Ce compte n’est encore apparu dans aucun classement quotidien.
Posts aimés récemment
J’aime publics du réseau Bluesky.
🎓 Huge congratulations to @riantouchent.bsky.social who successfully defended his PhD “Improving Clinical Information Extraction with Public-Data Pretraining” on 15th October, supervised by Éric de La Clergerie and Laurent Romary.
Voir le postSimple, straightforward, and just work well: looping with no KV overhead, and this also gives you a gradients highway that makes backprop work much better
Voir le postA simple mechanism that minimizes overhead in pre-training looped transformers and learns what to store over the recursions through a gradient highway!
Voir le postVery clever! I'd love to see how well this continues to scale out to the monster-sized models!
Voir le postIn the memory constrained world we are running into, these kinds of insights are key.
Voir le post
Comptes bloqués
Sur Bluesky, les blocages sont publics.
Ce compte ne bloque personne.