یکی از مهم‌ترین پرسش‌ها این است که آیا مدل‌های پیشرفته هوش مصنوعی می‌توانند در مسیر توسعه سلاح‌های بیولوژیکی مورد استفاده قرار گیرند؟ مدل‌های هوش مصنوعی معمولا به مجموعه‌ای از محدودیت‌های ایمنی مجهز هستند تا از ارائه اطلاعاتی که می‌توانند برای فعالیت‌های خطرناک، غیرقانونی یا آسیب‌رسان مورد استفاده قرار گیرند جلوگیری کنند. با این حال، آزمایش‌های امنیتی نشان داده‌اند وجود این محدودیت‌ها به معنای مصونیت کامل مدل‌ها نیست. در یکی از بررسی‌های اخیر، شرکت امنیتی مایندگرد عملکرد دو مدل متعلق به شرکت چینی مونشات را مورد آزمایش قرار داد و مقاومت آنها را در برابر درخواست‌های پیچیده و چندمرحله‌ای ارزیابی کرد. اهمیت این آزمایش‌ها در آن است که پژوهشگران امنیتی می‌خواهند بدانند آیا می‌توان با تغییر شیوه طرح پرسش‌ها یا تقسیم یک درخواست خطرناک به چند مرحله، بخشی از سازوکارهای حفاظتی مدل‌ها را دور زد یا خیر. با این حال، نباید توانایی هوش مصنوعی در ارائه اطلاعات را با توانایی ساخت مستقل یک سلاح بیولوژیکی یکی دانست. تولید یا توسعه عوامل زیستی خطرناک همچنان به دانش تخصصی، تجهیزات، آزمایشگاه و فرآیندهای عملی پیچیده نیاز دارد. نگرانی اصلی کارشناسان بیشتر به آینده مربوط می‌شود‌؛ جایی که مدل‌های قدرتمندتر ممکن است دسترسی به برخی اطلاعات تخصصی را آسان‌تر کنند و در صورت وجود ضعف‌های نظارتی، بخشی از موانع دانشی پیش‌روی افراد مخرب کاهش یابد. هرچه توانایی مدل‌های هوش مصنوعی افزایش پیدا می‌کند، اهمیت سازوکارهای ایمنی نیز بیشتر می‌شود. شرکت‌های فناوری باید بتوانند میان ارائه قابلیت‌های گسترده به کاربران و جلوگیری از سوءاستفاده احتمالی تعادل ایجاد کنند. به همین دلیل، آزمایش‌های امنیتی درباره مدل‌های جدید صرفا برای یافتن یک نقص فنی انجام نمی‌شوند‌. این آزمایش‌ها نشان می‌دهند آیا سازوکارهای حفاظتی هوش مصنوعی همپای قدرت آن در حال توسعه هستند یا خیر.