← 回作品

Smart Car

一台自走車的完整生態系:跨平台控制介面、無線通訊、自然語言理解,還有一根被逆向出來的燈棒。

CFLUTTEREMBEDDEDGEMINI API
90%
語音指令 zero-shot 準確率
工作檯上的自走車:泡棉底盤、外露的麵包板與感測器接線,車頂上載著一隻貓玩偶
問題

硬體只吃固定格式的協定指令,但人講話不是那個格式。要讓人直接對車子說話,中間就需要一層能容錯的語意轉換。

做法

用 Flutter (Dart) 做跨平台控制中樞,透過 Bluetooth Serial 與 PIC18F 韌體(C)建立無線 UART 通訊;再接 Gemini 2.0 Flash API 做自然語言理解,把非結構化語音解析成標準車輛協定指令。另外逆向了市售燈棒(IU-IKE)的 BLE 封包結構,自己寫驅動讓 LED 跟車輛狀態同步。

結果

語音指令的 zero-shot 準確率超過 90%,不需要為每個指令寫規則。