ESP32-S3を7台つないでLLMを分散実行、1.58ビット化した0.5Bモデルを分担
大学1年生の開発者が、マイコンESP32-S3を7台つないで言語モデルを動かすクラスターをGitHubで公開した。Qwen2-0.5Bを1.58ビットに量子化し、6台が4層ずつ計24層を分担する。推論中の消費電力は約1.53Wとしている。
出典：GitHub Low-Zi-Hong・Hacker News
#ESP32-S3
ESP32-S3に関する海外の最新ニュース1本を日本語でまとめています。公式発表・論文・海外メディアの報道をもとに、ビジネスへの影響まで解説します。