The state of California has released a new policy report aimed at regulating major artificial intelligence (AI) companies. The report, prepared as an alternative to the AI regulatory bill (SB 1047) that was vetoed by the governor last year, points out that AI companies do not fully understand the risks and harms associated with their technologies. Jointly led by leading research institutions such as Stanford, Carnegie, and UC Berkeley, the report proposes key policies including enhanced transparency for AI models, independent risk assessments, whistleblower protections, and the introduction of safe harbor provisions for researchers. It particularly highlights that AI can amplify social threats such as chemical, biological, radiological, and nuclear (CBRN) weapons risks, stressing that third-party evaluations are essential to ensure safety. The report adds that regulatory burdens should be set at reasonable levels so as not to stifle innovation. However, it makes clear that minimizing risks must be the top priority, warning that “without proper safeguards, powerful AI could cause serious and, in some cases, potentially irreversible harms.”

캘리포니아주가 대형 인공지능(AI) 기업 규제를 위한 새로운 정책 보고서를 발표했다. 지난해 주지사 거부권 행사로 무산됐던 AI 규제 법안(SB 1047)의 대안 마련 차원에서 마련된 이번 보고서는, AI 기업들이 기술의 위험성과 피해를 제대로 이해하지 못하고 있다고 지적했다. 보고서는 스탠포드, 카네기, UC버클리 등 주요 연구기관이 공동 주도했으며, AI 모델의 투명성 강화와 독립적 위험 평가, 내부 고발자 보호, 연구자 세이프 하버 도입 등을 핵심 정책으로 제시했다. 특히 AI가 화학·생물·방사능·핵(CBRN) 무기 위험 등 사회적 위협을 키울 수 있다는 점을 강조하며, 제3자 평가를 통한 안전성 검증이 필수라고 밝혔다. 보고서는 혁신을 저해하지 않는 범위 내에서 규제 부담을 합리적으로 설정해야 한다고 덧붙였다. 하지만 “적절한 안전장치 없이 강력한 AI는 심각하고, 경우에 따라 돌이킬 수 없는 피해를 초래할 수 있다”며 위험 최소화가 최우선이라는 점을 분명히 했다.