ct = atct−1 + ztから始める自作LLM SioConvの紹介：時系列モデルを自作で実装してみよう！
VRChatのmyxy氏が開発した「SioConv」は、LSTMを簡略化・並列化し、日本語LLMとしての性能を向上させた自作LLMです。Wikipediaデータでの事前学習と会話応答データでのファインチューニングにより、日本語テキスト生成…
スライド
記事