Apple планирует разместить большую языковую модель в памяти будущих устройств

Apple планирует разместить большую языковую модель в памяти будущих устройств

Обычно для LLM нужно много оперативной памяти, но в смартфонах, планшетах или даже ноутбуках столько ОЗУ разместить не выйдет. Инженеры компании хотят сохранить языковую модель во флэш-памяти устройства, а затем извлекать данные по требованию в ОЗУ в том случае, когда это необходимо. В конечном итоге эта система позволит запускать LLM, которые вдвое превышают доступный объём оперативной памяти, с внушительным приростом скорости вычисления