Trinityの利用率は、特にOpenrouterで無料時のもので、驚異的なものでした。 実際、推論クラスターで推定の3倍のスループットを処理できました。しかし、使用量が増え続けるにつれてTPSは急落しています。 トレーニング用の計算を推論に移しました(思ったほど簡単ではありませんでした)ので、フルスピードに戻るはずです。 全力を出してくれ。