LLM's draaien op de Raspberry Pi 5 wordt interessanter met Pi AI HAT+ 2

In dit artikel:

De Raspberry Pi AI HAT+ krijgt een opvolger: de AI HAT+ 2. Het uitbreidingsbord verhoogt de rekenkracht van ongeveer 24 TOPS naar 40 TOPS en voegt 8 GB extra geheugen toe, waarmee zwaardere lokale LLM-inferentie op een Raspberry Pi mogelijk wordt. Het bordje gebruikt de nieuwe Hailo-10H acceleratorchip, is bedoeld voor gebruik op de Raspberry Pi 5 en wordt door de fabrikant geprijsd op circa $130. Als voorbeeld is de module getest met het Qwen2-model. Hiermee richt de HAT+ 2 zich op toepassingen die baat hebben bij offline, lage-latentie en privacybewuste AI-inferentie aan de rand (edge).