SoC တွေပေါ်မှာ On Device AI တွေအပြိုင်အဆိုင်ထည့်ပေးလာတဲ့ Qualcomm နဲ့ Mediatek
ChatGPT လိုမျိုး Generative AI တွေက ခုချိန်မှာတော့ တကယ့်စတားတွေပါပဲ။ လူတွေက Generative AI တွေနဲ့ စပြီးရင်းနှီးလာပြီ၊ ကောင်းကောင်းလဲအသုံးချတတ်လာပါပြီ။ ဒါကြောင့်မို့လို့ အင်တာနက် connection မလိုဘဲ ဖုန်းပေါ်မှာပဲ တိုက်ရိုက်သုံးလို့ရမယ့် Chat GPT နဲ့တူတဲ့ Ondevice AI တွေရှိလာဖို့လဲ တောင်းဆိုလာကြပါတယ်။ ဒီတောင်းဆိုချက်ကိုအရင်ဆုံးဖြည့်ဆည်းပေးလိုက်တာကတော့ Qualcomm ပါ။
On device AI ရဲ့ အဓိကအားသာချက် ၅ ခုရှိပါတယ်။ ပထမတစ်ခု က cloud မသုံးဘဲနဲ့ တိုက်ရိုက် device ပေါ်မှာ generate လုပ်တာဖြစ်လို့ ကြာချိန်(latency) ပိုနည်းပါတယ်၊ ဒုတိယအချက်ကတော့ ကိုယ့် data တွေက ဖုန်းရဲ့ပြင်ပကိုမထွက်သွားတော့တာမို့လို့ ပိုလုံခြုံပါတယ်၊ တတိယကတော့ အင်တာနက်မသုံးတာဖြစ်လို့ data မစားပါဘူး၊ စတုတ္ထအချက်ကတော့ ကိုယ့် device မှာရှိတဲ့ personal data တွေကိုကြည့်ပြီး ပိုကောင်းတဲ့လမ်းညွှန်ချက်တွေပေးနိုင်ပါတယ်၊ နောက်ဆုံးကတော့ ပါဝါစားသုံးမှုပိုနည်းပါတယ်။
Oct 26 ရက်နေ့က Hawaii မှာကျင်းပါတဲ့ Qualcomm ရဲ့ Snapdragon 8 Gen 3 မိတ်ဆက်ပွဲမှာ On-device Generative AI ကိုအဓိကထားပြီးမိတ်ဆက်သွားပါတယ်။ Snapdragon 8 Gen 3 မှာ Large Language Models (LLM) , Language Vision Models (LVM) နဲ့ transformer network-based automatic speech recognition(ASR) စတာတွေကို cloud အကူအညီမပါဘဲနဲ့ device ပေါ်မှာ တိုက်ရိုက် run နိုင်ဖို့ အာရုံစိုက်ထားတယ်လို့ပြောထားပါတယ်။ ဒါကြောင့်မို့လို့ Snapdragon 8 Gen 3 က 10 billion parameters လောက်ရှိတဲ့ LLM models တွေကို 20 tokens per second လောက်နဲ့ on device ပေါ်မှာတင် run နိုင်ပြီလို့ဆိုပါတယ်။ Parter တွေအနေနဲ့ Llama 2 နဲ့ Microsfot ရဲ့ Stable Diffusion တွေလဲပါဝင်လာပါတယ်။ Snapdragon 8 Gen 3 လို SoC သေးသေးလေးမှာ အင်တာနက်မလိုအပ်ဘဲနဲ့ Stable Diffusion AI ကို သုံးပြီး ပုံတွေကို 1 စက္ကန့်အတွင်း ထုတ်ပေးနိုင်တယ်ဆိုတာက တော်တော်လေးအထင်ကြီးစရာအချက်ပါ။
တကယ်လို့ Manufacturer တွေအနေနဲ့ ကိုယ်ပိုင် AI model တွေကိုသုံးချင်တယ်ဆိုရင်လဲ သုံးလို့ရနိုင်ဖို့ SDK level support ပါထည့်ပေးထားပါတယ်။ LLM နဲ့ LVM ပေါင်းထားတဲ့ Cognitive AI တွေက user experience အတွက်အကောင်းဆုံးဖြစ်ပြီးတော့ Xiaomi ရဲ့ model မှာ six bilion parameters အထိပါဝင်ပါတယ်။ Honor ရဲ့ Magic 6 series မှာပါဝင်လာမယ့် on-device LLM က seven bilion parameters အထိပါလာမှာဖြစ်ပါတယ်။
ပုံတွေကနေ မလိုချင်တဲ့ object တွေကိုဖျောက်တာတို့၊ ပုံကို zoom out လုပ်ပြီး generative AI နဲ့လိုနေတဲ့အပိုင်းတွေ ဖြည့်လိုက်တာတို့ကို device ပေါ်မှာပဲ on device AI နဲ့လုပ်လို့ရပါမယ်။ ပြီးတော့ ပုံတစ်ပုံက အစစ်လား၊ AI generated လားဆိုတာကို သိနိုင်ဖို့ Qualcomm က Truepic ဆိုတဲ့ company တစ်ခုနဲ့လဲ လက်တွဲထားပါသေးတယ်။
သိပ်မကြာခင်က ထပ်မိတ်ဆက်လိုက်တဲ့ Mid range chipset Snapdragon 7 Gen 3 မှာလဲ အပေါ်မှာပြောခဲ့တဲ့ on-device AI integration တွေစပြီးပါလာပြီ ဆိုတော့ ဒီ generation က SoC အသစ်တွေအကုန်လုံးမှာ on device AI ရလာမယ့်အနေအထားပါ။
MediaTek ဘက်ကလဲ Qualcomm လိုပဲ On device AI တွေကို သူတို့ရဲ့ SoC အသစ်တွေမှာထည့်ပေးလာပါပြီ။ MediaTek ရဲ့ Flagship SoC ဖြစ်တဲ့ Dimensity 9300 မှာ Qualcomm Snapdragon 8 gen 3 နဲ့ performance ချင်းဆင်တူတဲ့ on device generative AI ထည့်ပေးထားပါတယ်။ အခု အသစ်ထွက်လာမယ့် upper mid range SoC Dimensity 8300 မှာလဲ အဲ့လိုမျိုး on device AI ထည့်ပေးထားမယ်လို့သိရပြီးတော့ flagship SoC ထက်တော့ performance အနည်းငယ်လျော့နည်းမယ်လို့ဆိုပါတယ်။
ဆိုတော့ ဖုန်းတွေမှာ ရိုးရိုး Google assistant လိုမျိုး voice assistant ရိုးရိုးတွေအစား တကယ့်ကို မေးချင်ရာမေး ချက်ချင်းဖြေပေးနိုင်မယ့် လိုချင်တဲ့ ပုံတွေဆွဲပေးနိုင်မယ့် on device generative AI တွေရလာဖို့အချိန်ရောက်လာပါပြီ။
