راستش امازون هم داشت درگیر این مصیبت می شد؛ قضیه هم این بود که این شرکت برای کم کردن هزینه ها و بالا بردن دقت اطلاعات محصولاتش رفت سراغ هوش مصنوعی مولد یا همون (Gen AI)؛ قرار بود هوش مصنوعی بدون دخالت انسان صفحات نمایش اجناس رو ایجاد کنه. اما اولش نتیجه اصلا چنگی به دل نمی زد و ۸۰٪ خروجیها اشتباه بود: مثلاً نوشته بود توان فلان پمپ ۱۵ اسببخاره در حالی که اصلاً همچین دادهای وجود نداشت! یا برای مبل بهجای جنس پارچه، جنس فریمشو می نوشت که خب به درد مشتری نمی خورد. اینجا بود که امازون به فکر کنترل کیفیت هوش مصنوعی افتاد که این تجربه آمازون توی یکی از مقالات هاروارد بیزینس ریویو به نام addressing Gen AI’s quality control problem توضیح داده شده که به فارسی تقریبا می شه ترجمه اش کرد «باز کردن گره کنترل کیفیت هوش مصنوعی».
قبل اینکه جزئیات تجربه آمازون رو بگیم اینو بگم که هوش مصنوعی مولد 3 تا مشکل اصلی داره؛ اولیش توهمه که گاهی اطلاعات ساختگی تولید میکنه. دوم اینکه بعضی اطلاعات مهم رو حذف می کنه و در آخرم اینکه خروجی های زیادی تولید می کنه که نمی دونیم به درد می خورن یا نه؛ بیشتر شرکتها برای کنترل کیفیت هوش مصنوعی از آدماها استفاده میکنند که با ابزارهای خاص کیفیت خروجی ها را چک کنن. اما هزینه این کار بالاست و به درد حجم بالای اطلاعات هم نمی خوره. راه بهتر که آمازون هم همون رو رفت کنترل کیفیت خودکار هوش مصنوعیه.
آمازون یه سیستمی ساخت به نام Catalog AI که میتونه جلوی ورود داده های مشکوک رو بگیره، ایدههای جدید برای نمایش صفحات معرفی محصول بده و حتی خودش را با آزمایش و بازخور بهبود بده. نتیجه هم عالی بوده همین حالا حدود ۸٪ از پیشنهادهای این سیستم Catalog AI مستقیماً فروش رو بالا بردن.
امازون برای کنترل کیفیت هوش مصنوعی 4 قدم اصلی برداشت که بقیه هم می تونن ازش الگو بگیرند؛ اول ممیزی خروجی های هوش مصنوعی بود؛ آمازونی ها برای انکه دستشون بیاد کیفیت درست چیه چندهزار صفحه خروجی را بررسی کردند تا ببینند علت اصلی بروز خطا چیه. توی گام بعدی هم بر اساس بررسی های قبلی چند لایه محافظ یا به اصطلاح Guardrail طراحی کردند که احتمال بروز خطا توی خروجی های هوش مصنوعی رو کم کنه؛ مثلا یه قوانین ساده ای وضع کردند که سیستم باید توی تولید خروجیاش رعایت می کرد مثل اینکه واحد وزن (کیلوگرم یا پوند) حتماً باید اورده بشه یا خروجی واقعا با قبلی ها فرق کنه و صرفا عوض کردن یه کلمه و تغییر جزئی نباشه. یه جور بررسی آماری هم انجام می دادند که اطلاعات کالاها به صورت خودکار چک می شد که خیلی از حد متعارفش دور نباشه و مثلا اگه مشخصات ابعاد یه میز خیلی غیرعادی بود هشدار می داد؛ شبیه کاری که توی کارخونه جات تولیدی می کنند. همین طور یه سیستم هوش مصنوعی ناظر هم گذاشتند که خروجی های هوش مصنوعی اول رو چک کنه و بهترش کنه!
سومین کار این بود که رفتند سراغ آزمایش و بررسی اثربخشی خروجی ها و می دیدند که کدوم تغییرات به نسبت بقیه موثرتره و باب طبع مشتریه و فروش رو بیشتر می کنه؛ مثلا برای یک محصول آرایشی بررسی می کردن توضیح کوتاهتر و سادهتر بهتره یا پرجزئیات؟ یا کدوم مشخصات بهتره حذف یا اضافه بشه؟ آخرین و پیشرفته ترین کاری که آمازون برای کنترل کیفیت هوش مصنوعی انجام داد این بود که یک سیستم یادگیرنده ایجاد کرد یعنی سیستمی که خودش خودشو با حداقل دخالت ادم ها بهبود می داد؛ مثلا یه مدل مشتری طراحی کرده بودند که در واقع شبیه سازی مشتریای واقعی بود و می تونست رفتار اونا رو تقلید کنه. با این کار تحقیق بازار و شناخت رفتار مشتری خیلی ساده تر می شد و با توجه به نتایج تحقیقات ایده های جدید رو اجرا می کردند. همین طور این سیستم، آزمایش های چندمتغیره هم انجام می داد مثلا چند تا ایتم مثل عنوان و رنگ و تصویر محصولات رو همزمان تغییر می داد تا ببینه فروششون بیشتر می شه یا نه و البته خیلی کارهای دیگه مثل آزمون مفهوم یا concept test که در عمل به جای یک یا چند محصول خاص روی حتی چند هزار محصول مختلف آزمایش انجام می داد.
در اخر اگه بخوام حرف اصلی مقاله رو خلاصه کنم شاید بشه اینطور گفت که کیفیت توی دوره هوش مصنوعی خیلی تفاوتی با کیفیت توی تولید سنتی نداره و برنده کسیه که سیستم کنترل کیفیت یا دقیقتر بگم «مدیریت کیفیت» جامع داشته باشد. باید بهجای اعتماد کور به خروجی هوش مصنوعی یا آدمای متخصص، به فکر یه ترکیبی از ممیزی ها، لایه های محافظ یا همون guardrail ها و همینطور قابلیت های تست و یادگیری باشیم که خودکار عمل کنه. اگر کار خوب پیش بره همونطور که آمازون نشون داد حتی با خطای اولیه ۸۰٪ هم میشه به نتایج درخشان رسید.
