مرز اطلاعات را روشن کنید
عمومی، داخلی و محرمانه، برچسب‌های تزئینی نیستند. برای هر نوع اطلاعات مشخص کنید کدام ابزار، کدام کاربر و کدام محیط مجاز است. یک فایل بدون نام می‌تواند همچنان شامل اطلاعات قابل‌شناسایی یا قواعد اختصاصی کسب‌وکار باشد. برای شروع آزمایش، از نمونهٔ مجاز یا ساختگی استفاده کنید و مجوز دسترسی را مستقل از جذابیت ابزار نگه دارید.
منبع و محدودیت پاسخ را بررسی کنید
روانی متن دلیل صحت آن نیست. پاسخ باید با منابع مجاز تطبیق داده شود و نبود اطلاعات یا تعارض میان منابع روشن باشد. برای دستیار دانش سازمانی، تازه بودن منبع، مجوز کاربر و قابلیت ارجاع اهمیت دارند. در ارزیابی، نمونه‌هایی بگنجانید که پاسخ آن‌ها در منابع موجود نیست؛ سامانه باید بتواند محدودیت را بیان کند، نه اینکه با اطمینان یک پاسخ ساخته‌شده ارائه دهد.
مسئولیت تصمیم را مشخص کنید
پیشنهاد مدل، تأیید کاربر و اجرای اقدام سه مرحلهٔ متفاوت‌اند. برای هر کاربرد مشخص کنید چه کسی پاسخ را بررسی می‌کند، چه کسی اختیار اقدام دارد و در چه شرایطی مسیر متوقف می‌شود. سطح کنترل برای یک خلاصهٔ داخلی با تصمیم مالی یا تغییر دسترسی یکسان نیست. ثبت تصمیم و دلیل اصلاح، به تیم کمک می‌کند خطاها را پیگیری و قواعد استفاده را بهتر کند.
آموزش و پایش را ادامه دهید
قاعدهٔ استفاده باید در آموزش تیم دیده شود و در عمل قابل‌پیگیری باشد. تغییر مدل، منبع یا سیاست دسترسی می‌تواند کیفیت خروجی را تغییر دهد؛ مجموعهٔ آزمون و بازبینی باید همراه آن به‌روز شود. مسیر گزارش مشکل و مسئول رسیدگی را مشخص کنید. چارچوب مدیریت ریسک هوش مصنوعی NIST یکی از منابع عمومی برای شکل دادن به این پرسش‌هاست؛ استفاده از آن به‌تنهایی گواهی انطباق یا تضمین امنیت نیست.
حداقل قواعد یک سیاست استفادهٔ داخلی
یک سیاست کوتاه و قابل‌استفاده می‌تواند به این پرسش‌ها جواب دهد: چه ابزارهایی مجازند؛ چه اطلاعاتی نباید وارد شوند؛ چه کسی مجوز استثنا می‌دهد؛ کدام خروجی نیاز به بازبینی دارد؛ چه کسی می‌تواند اقدام نهایی را اجرا کند؛ و مشکل چگونه گزارش می‌شود. این قواعد را با مسئول فناوری اطلاعات و مالک فرایند هماهنگ کنید. برای موارد خارج از محدوده، مسیر توقف و پرسش روشن باشد. داشتن سند کافی نیست؛ نمونه‌های آموزشی باید نشان دهند این سیاست در خلاصه‌سازی، جست‌وجوی دانش و کار با گزارش چگونه اجرا می‌شود. سیاست باید همراه با تغییر ابزارها و نیاز سازمان بازبینی شود.
آزمون فقط برای پاسخ‌های ساده نباشد
برای یک دستیار دانش، مجموعهٔ ارزیابی می‌تواند پرسش با پاسخ روشن، پرسش بدون پاسخ در منبع، اطلاعات قدیمی، منابع متعارض و پرسش خارج از دسترسی کاربر را شامل شود. انتظار هر نمونه را قبل از اجرا مشخص کنید: ارجاع به منبع، بیان ابهام، درخواست توضیح یا خودداری از نمایش اطلاعات خارج از مجوز. پاسخ درست برای یک کاربر، الزاماً پاسخ مجاز برای همه نیست. پس از تغییر مدل یا منابع، همان نمونه‌ها را دوباره بررسی کنید و خطاهای تازه را به مجموعه اضافه کنید. این ارزیابی بخشی از مهندسی و پذیرش سامانه است؛ هیچ آزمون محدودی، مصونیت کامل از خطا یا افشای اطلاعات را تضمین نمی‌کند.