自己紹介

日系企業でLLMの研究・開発を行っています。大学では超伝導の理論を研究していました。

スキル

  • Python, C++
  • PyTorch
  • SentencePiece, tokenizers, TikToken
  • Kotlin
  • PHP, JavaScript
  • MySQL, SQLite

趣味

散歩とゲーム、プログラミング。

プロジェクト

Project 1
FeSeにおける超伝導渦糸格子融解転移

普通、常伝導相から超伝導相への転移をするとき、電気抵抗は徐々にゼロへと向かう。上がるケースはあまり聞かない。 一方で垂直磁場下FeSeの低温高磁場で常伝導相からFFLO超伝導相へ転移するときは、電気抵抗が消失する前に一度上昇する。 この特異な性質は、超伝導相がN=0ではなくN=1のランダウ準位の渦糸格子を仮定すれば説明できる。 なので、垂直磁場下FeSeの低温高磁場でFFLOと思われている超伝導はN=1の状態ではないか、という話です。

Project 2
トークナイザーの圧縮性能について

LLMに使われるトークナイザーの圧縮効率は、英語で4, 日本語で2程度が典型的で、これを破ることは非常に難しいです。この原因として圧縮効率が各言語の主要な文字数とトークナイザーの語彙数によって強く支配され, 圧縮効率が語彙数に対してlog(語彙数-非主要な語彙数)/log(主要な文字数)で計算できることを示しました。