Graduate Student · INIAD, Toyo University 東洋大学大学院 情報連携学研究科
I work on making large language models cheaper to run — and on what breaks when you move a fine-tuned adapter across bit precisions. 大規模言語モデルを安く動かすための研究をしています。 とくに、微調整済みアダプタを異なるビット精度のあいだで移したときに何が壊れるかを見ています。
An adapter fine-tuned at 16-bit, moved onto a base model compressed to 4-bit. A quarter of the precision.
You would expect it to break. It mostly doesn’t — retuning a single scalar brings almost all of the behaviour back. Why that works, and why the right scalar is not the one theory predicts, is what I study.
16ビットで微調整したアダプタを、4ビットまで 圧縮したモデルに載せ替える。精度は 1/4 になります。
普通なら壊れます。ところがほとんど壊れない ― スカラーを1つ調整し直すだけで性能がほぼ戻ります。 なぜそれで済むのか、そしてなぜ正解の値が理論の予測とズレるのか。 そこを研究しています。
Quantization makes large models fit on small hardware, but adapters are almost always trained somewhere else — on a different precision, or a different release of the same base model. My work asks what survives that move, and what it costs to repair.
Across three model families, a fine-tuned adapter transferred to a quantized base recovers most of its behaviour once a single scalar is retuned. That scalar is not the one the weight-space theory predicts, and the gap between the two is where the interesting part lives.
量子化は大きなモデルを小さなハードウェアに載せるための技術ですが、アダプタは たいてい別の場所で訓練されています ― 別の精度、あるいは同じベースモデルの別バージョンで。 その移動で何が生き残り、修復に何が必要かを調べています。
3つのモデルファミリで、量子化したベースに載せ替えたアダプタは、 スカラー1つを調整し直すだけでほぼ元の性能に戻ります。 ただしその値は重み空間の理論が予測する値とは一致せず、 そのズレこそが面白い部分です。
Full record:全記録: ORCID 0009-0008-2917-0990
If you’ll be around, get in touch — I’m happy to meet. 近くにいらっしゃるようでしたら、ぜひ声をかけてください。
This address is not tied to any institution — it will keep working after I graduate in March 2027. このアドレスは所属に紐づいていません ― 2027年3月に卒業したあとも変わらず使えます。