로컬 AI 주조소가 필요한 이유와 GxP가 변경하는 사항

6부 중 1부. 게시된 모든 부분에 대한 링크가 포함된 시리즈 색인은 0부: 소개 및 시리즈 맵입니다. 이 시리즈는 규제된 생명 과학 조직에서 공유 AI 기능을 확립해야 하는 사람들(아키텍처 책임자, CTO, 엔지니어링 VP)과 품질, 검증 및 보안 분야의 파트너를 위한 것입니다. 여기서는 언어 모델과 벡터 인덱스가 무엇인지 알고 있다고 가정합니다. 기본 용어는 시리즈 마지막에 있는 용어집에 정의되어 있습니다. 규제 상태는 2026년 9월 기준으로 명시되어 있으며 변경될 예정입니다. 이는 법적 조언이 아닌 기술 가이드입니다.

이 시리즈가 해결하는 문제

대부분의 생명과학 소프트웨어 조직은 AI를 동일한 방식으로 시작합니다. 한 제품 팀이 호스팅된 모델을 호출합니다. 다른 사람은 다른 모델을 선택합니다. 세 번째는 자체 검색 파이프라인을 구축합니다. 각 팀은 합리적인 현지 선택을 내립니다. 조직은 결국 아무도 선택하지 않은 문제에 직면하게 됩니다.

증상은 예측 가능합니다.

• 문서가 여러 색인에 복사되고, 사본이 문서 관리 시스템에서 승인된 버전에서 벗어나게 됩니다.
• 액세스 규칙은 일부 통합에서만 적용되고 다른 통합에서는 적용되지 않으므로 동일한 사용자가 "이것을 볼 수 있습니까?"라는 질문에 대해 서로 다른 답변을 얻습니다.
• 프롬프트는 코드, 스프레드시트, 채팅 기록에 저장되며 어느 프롬프트가 지난 달의 결과를 생성했는지는 누구도 알 수 없습니다.
• 공유된 평가 기준이 없으므로 '모델이 좋아졌다'와 '모델이 나빠졌다'는 의견이지 측정값이 아닙니다.
• 각 통합은 자체 로그를 자체 형식으로, 자체 보존 기간을 갖거나 보존하지 않고 유지합니다.

GxP 설정에서 이는 엔지니어링상의 문제가 아닙니다. 이는 곧 일어나기를 기다리는 검사 결과입니다. AI가 작성한 편차 요약을 본 검사관은 일련의 질문을 합니다. 시스템이 어떤 버전의 절차를 읽었습니까? 누가 그것을 볼 수 있도록 허용되었습니까? 어떤 모델과 어떤 프롬프트가 텍스트를 생성했나요? 시스템 검증 이후 변경된 사항은 무엇입니까? 기록에 들어가기 전에 누가 출력을 검토했습니까? 임시 기관은 이러한 질문에 일관되게 답변할 수 없으며, 일관되지 않은 답변은 답변이 없는 것보다 더 나쁩니다.

증거에 따르면 임시 경로는 규제된 작업 외부에서도 거의 비용을 지불하지 않습니다. 153명의 리더를 대상으로 한 설문조사, 52명의 임원 인터뷰, 300개 이상의 공개 배포 분석을 기반으로 한 엔터프라이즈 생성 AI에 대한 2025년 MIT 연구에서는 약 95%의 파일럿이 측정 가능한 손익 영향을 미치지 않는 것으로 나타났습니다[16]. 이 연구는 모델 품질이 아닌 학습 격차와 실제 워크플로우와의 약한 통합을 비난합니다. 승자는 기존 프로세스에 맞는 협소한 백오피스 시스템이었으며, 전문가와 협력한 조직은 단독으로 구축한 조직에 비해 약 2배의 성공률을 보였습니다[16]. 2024년 RAND 보고서에 따르면 일부 추정에 따르면 AI 프로젝트의 80% 이상이 실패하며 이는 다른 IT 프로젝트 실패율의 두 배입니다. 데이터 과학자 및 엔지니어와의 65번의 인터뷰를 통해 오해된 문제, 부적절한 데이터, 결과 대신 기술 추구, 배포 인프라에 대한 과소 투자, 현재 AI가 할 수 있는 것 이상의 문제 등 5가지 근본 원인을 식별했습니다[17]. 그 원인의 대부분은 조직적인 것이며, 플랫폼은 조직적인 해답입니다.

로컬 AI 파운드리가 그 답입니다. 이는 각 제품의 데이터, 권한, 프롬프트 및 품질 임계값을 격리된 상태로 유지하면서 모든 제품에 모델, 검색, 정책 시행, 평가, 감사 및 운영을 제공하는 하나의 공유 자체 호스팅 플랫폼입니다. 제품 팀은 작고 안정적인 API를 사용합니다. 플랫폼 팀은 검사관이 질문할 컨트롤을 소유합니다.

책임의 분할은 아이디어의 핵심입니다.

"파운드리"라는 단어는 의도적인 것입니다. 주조소는 무엇을 주조할지 결정하지 않습니다. 이는 주조된 모든 것이 표준을 충족함을 보장합니다.

여기서 "로컬"이 의미하는 것

이 시리즈에서 "로컬"은 정확한 의미를 갖습니다.

• 자체 호스팅. 모델, 인덱스, 프롬프트 및 로그는 조직이 제어하는 ​​인프라에서 실행됩니다.
• Air-gap 가능. 플랫폼은 아웃바운드 연결 없이 작동해야 합니다. 모델 가중치, 컨테이너 및 종속성은 한 번 내부로 가져와 변경 제어를 통해 업데이트됩니다.
• 주권자. 문서화된 결정에서 허용하지 않는 한 프롬프트, 문서 청크 또는 출력이 경계를 벗어나지 않습니다.

왜 이렇게까지 가나요? 네 가지 이유가 있는데 그 중 하나만이 건물 밖으로 나가는 데이터에 관한 것입니다.

검증된 상태. GxP 컴퓨터 시스템은 의도된 용도에 대해 검증된 후 해당 상태를 유지합니다[2][10]. 자동 버전 업데이트를 통해 귀하 아래에서 변경되는 호스팅 모델은 귀하 측의 변경 요청 없이 해당 상태를 중단합니다. 로컬로 고정된 모델 버전은 변경 제어를 통해 증거를 사용하여 결정한 경우에만 변경됩니다.

감사 가능성. Part 11 및 Annex 11에서는 귀하의 통제하에 감사 추적, 액세스 제어 및 기록 보존을 기대합니다[8][10]. 로그, 프롬프트 및 검색된 텍스트가 관리하는 시스템에 저장되어 있으면 이를 증명하는 것이 훨씬 쉽습니다.

공급업체 책임. 부록 22 초안에는 AI 결과물에 대한 책임이 규제 대상 회사에 있다고 명시되어 있으며, 부록 11에서는 공급업체 및 서비스 제공업체에 대한 감독을 기대합니다[10]. 검사하고 고정할 수 있는 구성 요소에 대해서만 감독을 행사할 수 있습니다.

비용 예측 가능성. 사용량 청구 추론은 사람들이 시스템을 사용하는 방식과 관련된 가변 비용입니다. 꾸준히 활용되는 하드웨어를 소유하거나 임대하는 것은 알려진 비용입니다. 6부에서는 숫자로 돌아갑니다.

하이브리드 설계가 가능하며 규제 당국은 클라우드를 금지하지 않습니다. FDA의 보증 지침은 생산 또는 품질 시스템 작업에 사용될 때 서비스로서의 소프트웨어, 서비스로서의 플랫폼, 서비스로서의 인프라와 같은 클라우드 모델을 명시적으로 다루고 있으며 의도된 사용 및 위험에 따라 보증을 확장합니다[3]. 요점은 클라우드가 금지된다는 것이 아닙니다. 요점은 규제되지 않은 워크로드, 개발 환경 또는 합성 데이터 실험이 임대 용량에서 실행될 수 있는 반면 GxP 데이터 또는 GxP 결정과 관련된 모든 것은 기본적으로 경계 내에서 실행된다는 것입니다. 모든 예외는 편의상 결정이 아니라 기록된 결정입니다.

세 가지 테스트는 "로컬"과 "로컬 설치"를 구분합니다.

1. 아웃바운드 테스트. 플랫폼의 모든 아웃바운드 네트워크 트래픽을 차단합니다. 모든 기능이 계속 작동하나요? 포함, 중재, 라이선스 확인 또는 원격 측정을 위해 호스팅된 끝점을 호출하는 도구는 이 테스트에 실패합니다.
2. 업데이트 테스트. 공급업체의 서버에 연결하지 않고도 자체 변경 제어를 통해 내부로 가져온 미디어에서 새 모델, 컨테이너 또는 종속성을 설치할 수 있습니까?
3. 종속성 테스트. 플랫폼의 모든 모델, 컨테이너 및 라이브러리에 대한 BOM을 보유하고 있으므로 취약점 알림을 실제로 실행하는 항목까지 추적할 수 있습니까?

6부에서는 이러한 테스트를 실제 도구에 적용합니다.

"규제된" 변경 사항

규제된다는 것이 마지막에 규정 준수 체크리스트를 추가한다는 의미는 아닙니다. 디자인이 바뀌네요. 이 표는 제약 및 의료 기기 조직에 중요한 프레임워크를 플랫폼의 각 요구 사항에 매핑합니다. 표 다음의 단락에서는 아키텍처에 가장 큰 영향을 미치는 항목을 설명합니다.

GAMP 5 및 GAMP AI 가이드. GAMP 5는 법이 아닙니다. 이는 GxP의 컴퓨터 시스템을 검증하기 위한 업계 표준 방법이며 검사관은 이를 잘 알고 있습니다. 2022년 출간된 제2판에는 AI와 머신러닝에 관한 부록이 추가됐다. 2025년 7월 ISPE는 이와 함께 사용할 독립형 AI 가이드를 게시했습니다[1][2]. AI 가이드는 개념부터 폐기까지 AI 라이프사이클을 다루고, 공급업체 관리 및 설계별 품질에 대한 부록을 포함하며, ISPE의 기록 및 데이터 무결성 지침을 통합하고, ISO/IEC 42001[1]을 명시적으로 고려합니다. 환자 안전, 제품 품질, 데이터 무결성, 고정관념 대신 비판적 사고 등을 강조하는 것은 제2판과 동일합니다. 건축가에게 실용적인 메시지는 간단합니다. AI 지원 시스템은 검증된 시스템이며, 검증 수명주기에는 코드뿐만 아니라 모델과 데이터도 포함되어야 합니다.

FDA 컴퓨터 소프트웨어 보증. 2025년 9월 FDA는 2002년 소프트웨어 검증 지침[3][4]의 섹션 6을 대체하여 기기 생산 및 품질 시스템에 사용되는 소프트웨어에 대한 CSA 지침을 마무리했습니다. 이 접근 방식은 위험 기반이며 부담이 가장 적습니다. 각 소프트웨어 기능의 의도된 사용을 식별하고, 환자 안전 및 제품 품질에 대한 위험을 평가하고, 위험이 높은 경우 스크립트 테스트, 위험이 낮은 경우 스크립트 없는 테스트 또는 탐색적 테스트, 지속적인 증거로 지속적인 모니터링, 존재하는 경우 공급업체 증거 등의 비율로 보증 활동을 선택합니다[3]. 이는 온프레미스 소프트웨어와 클라우드 소프트웨어 모두에 적용되며, 그 자체가 의료 기기인 소프트웨어에는 적용되지 않습니다[3]. 공식적인 범위는 장치이지만 GAMP 5가 이미 같은 방향으로 기울고 있기 때문에 이 접근 방식은 제약 품질 팀에서도 공유되는 용어가 되었습니다. 4부에서는 이에 대한 검증 접근 방식을 구축합니다.

FDA 신뢰성 프레임워크 초안. 2026년 9월 현재에도 여전히 초안인 FDA의 2025년 1월 지침 초안은 특정 사용 상황에 대한 AI 모델의 신뢰성을 확립하기 위한 7단계 프레임워크를 제안합니다[5]. 단계는 다음과 같습니다. 관심 있는 질문을 정의합니다. 사용 상황을 정의합니다. 모델 영향과 결정 결과의 함수로서 모델 위험을 평가합니다. 신뢰성을 확립하기 위한 계획을 개발합니다. 계획을 실행하십시오. 결과와 편차를 문서화합니다. 모델이 사용 상황에 적합한지 여부를 결정합니다[5]. 초안은 모든 비즈니스 도구에 관한 것이 아니라 약물 및 생물학적 제제에 대한 규제 결정을 지원하는 데 사용되는 AI에 관한 것입니다. 그러나 두 가지 핵심 아이디어, 즉 사용 맥락과 결과에 따른 영향으로서의 위험은 규제 대상 제품의 AI 기능을 추론하는 가장 명확한 방법입니다. 이 시리즈는 전체적으로 이를 사용합니다.

FDA와 EMA 공동 원칙. 2026년 1월 두 기관은 EMA의 2024년 반사 보고서[6][15]를 기반으로 약물 개발에서 우수한 AI 관행에 대한 구속력 없는 10가지 원칙을 발표했습니다. 이는 인간 중심 가치, 표준 준수, 위험 기반 접근 방식, 명확한 사용 맥락, 데이터 거버넌스, 다학문적 전문 지식, 수명 주기 관리, 투명성, 인간 감독 및 국제 협력을 다룹니다[6]. GAMP 실무자에게는 이 중 어느 것도 새로운 것이 아닙니다. 중요한 것은 두 개의 가장 큰 규제 기관이 이제 하나의 문서에서 동일한 내용을 말하고 있다는 것입니다.

기록 및 데이터 무결성. 21 CFR Part 11은 운영자 입력 날짜와 시간, 전자 기록을 생성, 수정 또는 삭제하는 작업을 기록하는 안전한 컴퓨터 생성 타임 스탬프 감사 추적을 요구하며, 최소한 기록 자체만큼 유지됩니다[8]. FDA의 데이터 무결성 지침에는 ALCOA+가 명시되어 있습니다. 기록은 귀속 가능하고, 읽을 수 있고, 동시적이며, 독창적이고 정확해야 하며, 완전하고, 일관되고, 지속적이고 이용 가능해야 합니다[9]. EU에서는 Annex 11이 컴퓨터 시스템에 대해 유사한 기대치를 설정하고 PIC/S PI 041은 조사관에게 GMP 및 GDP 환경의 데이터 무결성에 대한 공유 보기를 제공합니다[10][24]. AI 플랫폼의 경우 이는 대부분의 팀이 묻지 않은 질문을 제기합니다. AI 출력이 GxP 결정에 영향을 미치는 경우 출력 자체가 기록입니까? 안전한 대답은 '예'입니다. 파트 2는 이를 위한 디자인입니다.

가장 중요한 초안인 부속서 22. 2025년 7월 유럽 위원회는 EMA 및 PIC/S 검사관 실무 그룹과 함께 준비한 GMP의 AI에 관한 개정된 4장, 개정된 부속서 11 및 새로운 부속서 22에 대한 협의를 시작했습니다[10]. 협의는 약 1,300개의 댓글로 2025년 10월 7일에 종료되었습니다. 2026년 9월 현재 세 가지 텍스트 모두 초안으로 남아 있으며 EMA의 작업 계획은 2026년 말 최종 텍스트를 목표로 하고 있으며 발효 날짜는 발표되지 않았습니다[10]. 초안의 범위는 중요한 GMP 애플리케이션의 AI이며, 이는 환자 안전, 제품 품질 또는 데이터 무결성에 직접적인 영향을 미치는 AI를 의미합니다. 핵심 진술은 동적 모델, 동일한 입력에 대해 서로 다른 출력을 반환할 수 있는 모델, 생성 AI 및 LLM을 중요한 애플리케이션에 사용해서는 안 된다는 것입니다[10]. 허용되는 정적 모델의 경우 정의된 의도된 용도, 실제 작동 조건을 나타내는 검증 데이터, 설명 가능성, 해당되는 경우 신뢰도 임계값, 사람의 감독, 변경 제어 및 지속적인 성능 모니터링을 기대합니다[10]. 자격을 갖춘 사람이 출력을 검토하고 문서화된 책임을 유지할 때 편차 보고서 요약 또는 절차 검색과 같이 중요하지 않은 용도로 생성 AI를 허용합니다. 그리고 책임은 공급업체가 아닌 규제 대상 회사에 있다는 것이 명백합니다. EMA는 2026년 6월 30일과 7월 1일에 워크숍을 개최하여 위험 기반 보호 조치에 따라 적응 및 생성 모델을 다룰 수 있는지 여부를 고려했지만 발표된 텍스트는 변경되지 않았습니다[10]. 이제 신중한 플랫폼은 초안을 디자인 지침으로 취급합니다. 최종 텍스트가 규칙을 완화하면 아무것도 손실되지 않습니다. 그렇지 않으면 플랫폼이 이미 정렬되어 있는 것입니다.

EU AI법 개정안. AI법은 2024년 8월 발효됐다. 2026년 7월 AI에 관한 디지털 옴니버스가 이를 개정하고 시간표를 변경했다[11][12]. 사람들에게 AI와 상호작용하고 있음을 알리고 생성된 콘텐츠를 기계가 읽을 수 있는 방식으로 표시하는 등 제50조 투명성 의무는 2026년 8월 2일부터 적용되었으며, 이미 시장에 출시된 시스템의 경우 유예 기간은 2026년 12월 2일까지입니다[12]. 이제 고위험 의무는 부속서 III에 나열된 독립 실행형 시스템에 대해 2027년 12월 2일부터 적용되고, 의료 기기와 같이 부속서 I에 따라 EU 제품법이 적용되는 제품에 내장된 AI에 대해서는 2028년 8월 2일부터 적용됩니다[12]. 해당 날짜 이전에 시장에 출시된 시스템은 중요한 설계 변경을 거치지 않는 한 승인되며 "중요한" 임계값은 아직 정의되지 않았습니다[12]. 품질 시스템 또는 문서 보조자의 경우 두 가지 그럴듯한 고위험 고리는 부속서 III에 따른 작업자 관리입니다. 예를 들어 시스템이 작업을 할당하거나 성능을 모니터링하는 경우와 부속서 I[11]에 따라 의료 기기의 안전 구성 요소가 되는 경우입니다. 대부분의 품질 시스템 보조원은 위험도가 높지 않습니다. 그러나 분류는 문서화되어야 하며, AI 문해력 의무 4조와 투명성 의무 50조는 관계없이 적용됩니다. 5부에서는 분류를 통해 작업합니다.

개인 정보 보호. 2023년 인도의 디지털 개인 데이터 보호법은 2025년 11월에 공지된 DPDP 규칙을 통해 시행되었으며 의무 사항은 2027년까지 단계적으로 적용됩니다[13]. 처리 목적과 수단을 결정하는 조직은 데이터 수탁자이며, 여기에는 개인 데이터에 대한 AI 교육 또는 배포가 포함됩니다. 위반 보고는 2단계로 이루어집니다. 지체 없이 데이터 보호 위원회에 통보한 다음, 72시간 이내에 자세한 보고서를 제출하고, 중요도 기준 없이 영향을 받은 개인에게 통보합니다[13]. 합리적인 보안 보호 장치를 위반할 경우 벌금은 ₹250 crore에 달합니다[13]. 유럽에서 운영되는 조직은 자동화된 의사결정 및 영향 평가에 대한 규칙을 포함하여 GDPR을 준수합니다. 5부에서는 플랫폼 내부의 개인 정보 보호를 다룹니다.

관리 표준. ISO/IEC 42001:2023은 인증이 가능하고 ISO/IEC 27001[19]과 통합되는 AI 관리 시스템을 정의합니다. NIST의 AI 위험 관리 프레임워크는 통제, 매핑, 측정 및 관리라는 네 가지 기능에 대한 공유 어휘를 제공하며, 2024년 생성 AI 프로필은 구성 및 정보 무결성을 포함하여 생성 시스템에 특정한 위험을 추가합니다[20][22]. GxP 요구사항도 아닙니다. 둘 다 파트 5의 거버넌스에 유용한 발판입니다.

이 모든 것에서 두 가지가 두드러집니다.

첫째, 프레임워크가 서로 동의합니다. 그들은 모두 정의된 용도, 위험 기반 보증, 인간의 책임, 문서화된 증거 및 변경에 대한 통제를 요구합니다. 그 중 하나를 위해 구축된 플랫폼은 대부분 다른 플랫폼에도 적용됩니다.

둘째, 가장 어려운 제약은 여전히 ​​초안입니다. 그것은 기다릴 이유가 아니라 지금 디자인해야 하는 이유입니다. 사람의 검토와 증거를 플랫폼에 구축하는 데 드는 비용은 적습니다. 점검 후 개조 비용은 그렇지 않습니다.

다른 모든 것을 형성하는 결과

프레임워크를 하나로 합치면 하나의 규칙이 따릅니다. 모든 AI 사용은 구축되기 전에 두 축으로 분류되어야 합니다.

1. GxP 영향. 결과가 제품 품질, 환자 안전 또는 규제 기록에 영향을 미치나요? 중요합니까, 중요하지 않습니까?
2. 결정 영향. 출력이 인간의 결정에 영향을 미치나요, 아니면 결정을 내립니까? 이는 모델의 영향과 잘못된 결정의 결과로 모델 위험이 증가하는 FDA 신뢰성 프레임워크의 논리입니다[5]. 이는 위험 관리의 형식성과 결정의 중요성을 연결하고 위험 평가의 주관성에 대해 경고하는 ICH Q9(R1)의 논리이기도 합니다[14].

두 개의 축이 함께 4개의 사분면을 만듭니다.

플랫폼은 기본적으로 왼쪽 위 사분면(의사 결정 지원, 중요하지 않은 사용, 검토하고 서명하는 지정된 사람 포함)으로 설정됩니다. 다른 모든 것은 자체 유효성 검사 사례에서 예외입니다. 오른쪽 하단 사분면은 규제 당국이 달리 명시할 때까지 생성 모델의 테이블에서 제외됩니다.

FDA는 이것이 없으면 어떤 일이 일어나는지 이미 보여주었습니다. 2026년 4월 조사 결과 해당 회사가 AI 에이전트를 사용하여 적절한 검토 없이 사양 및 기록 초안을 작성했다는 사실이 밝혀진 후 해당 제조업체에 경고 서한을 발행했습니다[7]. 회사는 조사관에게 검증이 필요하다고 대리인이 말한 적이 없기 때문에 프로세스 검증을 수행하지 않았다고 말했습니다. 서한에는 AI를 문서 작성 보조 수단으로 사용하는 회사가 생성된 문서의 정확성과 규정 준수 여부를 검토해야 한다고 명시되어 있으며 품질 부서가 절차 및 사양을 책임지도록 하는 규정인 21 CFR 211.22(c)와 서면 생산 관리에 관한 211.100을 인용합니다[7]. FDA가 기대한 해결 방법은 간단했습니다. 권한 있는 사람이 AI 에이전트의 모든 출력을 검토하고 삭제해야 합니다[7]. 영국 MHRA는 2026년 6월 검사 결과에 대한 AI 지원 대응에 관해 비슷한 점을 제시했습니다. 즉, 정확하고 기술적으로 검토되어야 하며 책임 있는 사람의 승인을 받아야 합니다[23].

그 편지는 규제된 AI 플랫폼의 설계 개요입니다. 시스템이 초안을 작성할 수 있습니다. 사람이 결정합니다. 기록은 누구인지 보여줍니다.

분류는 검증 깊이와 검토 계층도 결정합니다. CSA에 따라 중요하지 않은 의사 결정 지원 기능은 스크립트되지 않은 테스트 및 모니터링을 통해 보장될 수 있는 반면, 중요한 기능에는 사용 상황에 따라 스크립트된 증거가 필요합니다[3]. FDA 신뢰성 프레임워크 하에서 신뢰성 계획은 모델 영향력과 결정 결과에 따라 성장합니다[5]. 4부에서는 이를 구체적인 절차로 전환합니다.

6가지 디자인 원칙

이러한 원칙은 이후의 모든 부분에 적용됩니다. 각각은 실제로 의미하는 것과 방지하는 것이 함께 제공됩니다.

1. 기본적으로 소버린(Sovereign). 데이터, 모델 및 로그는 경계 내부에 유지됩니다. 실제로는 경계를 넘을 수 있는 승인된 목록만 있을 뿐 다른 것은 없습니다. 이는 우발적인 공개를 방지하고 Annex 11 및 Annex 22에서 기대하는 공급업체 감독을 가능하게 합니다[10].
2. 기본 거부, 검색 전 시행. 플랫폼은 누가 요청하고 어떤 문서를 볼 수 있는지 알고 텍스트가 모델에 도달하기 전에 필터링합니다. 제품 수준 격리로는 충분하지 않습니다. 동일한 제품을 사용하는 두 명의 사용자는 동일한 문서에 대해 서로 다른 권리를 가질 수 있습니다. 실제로 호출자의 신원과 자격은 요청과 함께 이동하며 검색자는 생성 이후가 아니라 순위를 매기기 전에 이를 필터링합니다. 이는 OWASP가 민감한 정보 공개와 벡터 및 임베딩 약점으로 나열한 누출 경로를 방지합니다[21].
3. 증거 우선. 모든 답변에는 원본 문서, 버전, 사용된 섹션이 인용되어 있습니다. 증거가 희박하면 시스템은 추측 대신 그렇게 말합니다. 실제로 인용에는 문서 ID, 버전, 유효 날짜 및 섹션이 포함되며 시스템은 증거 임계값 미만을 자제합니다. 이는 FDA 신뢰성 프레임워크가 요구하는 종류의 증거를 제공합니다[5].
4. 인간의 책임을 설계합니다. 결과는 의사결정 지원입니다. 자격을 갖춘 사람은 GxP 기록이나 결정을 제공하는 모든 것을 검토하며, 검토 자체가 기록입니다. 실제로: 사분면별 검토 계층과 누가 무엇을 언제 검토했는지에 대한 기록을 캡처합니다. 이는 2026년 4월 경고 서신과 Annex 22 [7][10] 초안의 규칙입니다.
5. 위험 기반 검증 및 변경 제어. 용도는 기능별로 정의됩니다. 모델, 프롬프트, 검색 설정 또는 내장 모델에 대한 변경 사항은 구성 편집이 아닌 증거를 통해 제어되는 변경 사항입니다. 실제로는 모든 변경 사항에 대해 실행되는 평가 제품군과 배포된 내용을 정확하게 기록하는 레지스트리입니다. 이는 CSA 및 GAMP와 일치하며 사고가 아닌 "중요한 변경"을 문서화된 결정으로 만들어 AI 법에 따른 기득권 부여를 보호합니다[2][3][12].
6. 로그가 아닌 기록. 감사 추적은 21 CFR Part 11 및 Annex 11의 기대 사항을 충족합니다. 즉, 안전하고 타임스탬프가 지정되며 귀속 가능하고 변경 불가능하며 기록 수명 동안 유지됩니다[8][10]. 실제로 감사 이벤트는 다른 GxP 기록과 동일한 통제 방식으로 저장소에 기록되며, 해당 이벤트의 보존은 관련된 기록을 따릅니다.

모델 및 공급업체 간략히 설명

모델은 플랫폼에서 가장 불안정한 부분입니다. 몇 달에 한 번씩 새 버전이 나타나고 라이센스가 변경되며 공급업체는 모델을 폐기합니다. 따라서 플랫폼은 어느 하나의 모델에 의존해서는 안 되며, 설계에서는 재구축이 아닌 제어되고 입증된 변경으로 모델을 교체해야 합니다. 2부에서는 이를 가능하게 하는 모델 라우터를 소개합니다. 처음에는 4가지 점이 중요합니다.

개방형 및 공급업체 지원 모델은 모두 로컬에서 실행할 수 있습니다. 개방형 모델은 다운로드되고 자체 호스팅됩니다. 공급업체 지원 모델은 상용 라이센스에 따라 패키지 및 지원되지만 여전히 하드웨어에서 실행됩니다. 차이점은 지원, 면책, 포장 및 비용입니다. 그것은 주권이 아닙니다. 두 경로 중 하나가 올바르게 배포되면 아웃바운드 테스트를 통과하고, 주변 도구가 집에 연결되면 실패합니다.

라이선스는 다르며 변경됩니다. 2026년 9월 현재 여러 강력한 모델 계열이 허용 라이선스를 사용합니다. Qwen3 개방형 릴리스와 IBM Granite 4 릴리스는 Apache 2.0이고 DeepSeek 릴리스는 MIT를 사용하며 일부 Mistral 모델은 Apache 2.0이고 다른 모델은 그렇지 않습니다[18]. Llama 4 커뮤니티 라이선스는 월간 활성 사용자가 7억 명 미만일 경우 무료이지만 파생 모델에 대한 명명 및 귀속 규칙을 따릅니다[18]. 일부 공급업체에서는 Apache 2.0보다 더 제한적인 사용자 정의 용어를 사용합니다. 배포하는 정확한 버전에 대한 모델 카드의 라이선스를 확인하고 5부에 설명된 모델 레지스트리에 기록합니다. 종종 잊어버리는 모델 임베딩 및 순위 재지정에도 동일하게 적용됩니다. 라이센스와 버전도 있으며 임베딩 모델을 변경하면 이전 벡터로 작성된 모든 벡터가 무효화됩니다.

교육 데이터를 완전히 확인할 수는 없으므로 대신 공급업체에 자격을 부여하십시오. 모델 카드는 교육 데이터 및 지식 컷오프에 대해 공개하는 내용이 매우 다양합니다. 외부에서 훈련 코퍼스를 감사할 수 있는 실질적인 방법은 없습니다. 두 개의 레버가 도움이 됩니다. EU AI법은 범용 AI 모델 제공업체가 훈련에 사용된 콘텐츠 요약을 포함한 기술 문서를 유지하도록 요구합니다[11]. 그리고 GAMP AI 가이드에는 공급업체 관리 부록이 포함되어 있는 반면, Annex 22 초안에서는 책임이 공급업체가 아닌 규제 대상 회사에 있음을 명시하고 있습니다[1][10]. 실제 응답은 모델별 공급업체 자격 파일입니다. 여기에는 라이선스 및 버전 식별자, 문서화된 훈련 데이터 요약, 게시된 평가 및 편견 증거, 알려진 제한 사항, 제공 컨테이너의 보안 상태, 공급업체의 버전 관리 및 변경 알림 약속, 지원 및 면책 조건(있는 경우), 자체 평가 결과가 포함되어야 합니다. FDA의 보증 지침은 공급업체 증거로 자체 테스트를 줄일 수 있도록 허용하지만, 이는 해당 증거를 보유하고 보여줄 수 있는 경우에만 가능합니다[3].

모델을 다른 검증된 구성 요소처럼 취급합니다. 검증된 시스템은 변경 요청 없이 데이터베이스 엔진을 변경하지 않습니다. 하나도 없이 언어 모델을 변경해서는 안 됩니다. 이는 레지스트리가 모델, 해당 버전, 라이센스, 평가 결과 및 이를 사용하는 제품을 기록하고 스왑이 다른 제어된 변경과 동일한 게이트를 통과한다는 것을 의미합니다.

다음은 무엇입니까?

모든 부분은 파트 0의 시리즈 인덱스에서 연결됩니다. 파트 2에서는 제어 평면, 8개의 실행 레이어, 텍스트가 모델에 도달하기 전에 검색에 ID 및 권한 부여를 전달하는 요청 경로 등 참조 아키텍처를 제공합니다. 3부에서는 문서를 관리되는 데이터로 취급합니다. 4부에서는 모든 품질 책임자가 먼저 묻는 질문에 답합니다. 결정적이지 않은 시스템을 어떻게 검증합니까? 5부에서는 보안, 개인정보 보호, 거버넌스를 다룹니다. 6부에서는 호스팅, 비용, 운영, 팀 및 프로덕션 준비 체크리스트를 다룹니다.

1부의 출처

(확인)으로 표시된 링크는 이 초안에 대해 다시 확인되지 않았으므로 게시하기 전에 확인해야 합니다.

1. ISPE. ISPE GAMP 가이드: 인공 지능. 2025년 7월. 최종. https://ispe.org/publications/guidance-documents/gamp-guide-artificial-intelligence
2. ISPE. ISPE GAMP 5: 규정을 준수하는 GxP 컴퓨터 시스템에 대한 위험 기반 접근 방식, 제2판. 2022. 최종. https://ispe.org/topics/gamp
3. FDA. 생산 및 품질 시스템 소프트웨어에 대한 컴퓨터 소프트웨어 보증. 업계 및 FDA 직원을 위한 지침. 2025년 9월. 최종. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/computer-software-assurance-production-and-quality-system-software
4. 연방 등록. CSA 지침의 가용성에 대한 공지. 2025년 9월 24일. https://www.federalregister.gov/documents/2025/09/24/2025-18468/computer-software-assurance-for-production-and-quality-system-software-guidance-for-industry-and
5. FDA. 의약품 및 생물학적 제품에 대한 규제 의사결정을 지원하기 위한 인공지능 사용에 대한 고려사항. 지침 초안, 2025년 1월. 초안, 구현용 아님, 2026년 9월 기준. https://www.fda.gov/regulatory-information/search-fda-guidance-documents/considerations-use-artificial-intelligence-support-regulatory-decision-making-drug-and-biological
6. FDA 및 EMA. 약물 개발 시 우수한 AI 관행의 지침 원칙. 2026년 1월. 구속력 없음. https://www.fda.gov/media/189581/download
7. FDA. 21 CFR 211.22(c) 및 211.100을 인용하는 2026년 4월 2일자 경고 서한, 참조 번호 722591. FDA 경고문 데이터베이스. https://www.fda.gov/inspections-compliance-enforcement-and-criminal-investigations/compliance-actions-and-activities/warning-letters (직접 편지 링크: 확인)
8. 21 CFR 파트 11, 전자 기록; 전자 서명, 섹션 11.10(e). eCFR. https://www.ecfr.gov/current/title-21/chapter-I/subchapter-A/part-11
9. FDA. 데이터 무결성 및 의약품 CGMP 준수: 질문 및 답변. 지침, 2018년 12월. 최종. (확인)
10. 유럽위원회. EudraLex 4권에 대한 이해관계자 협의: 4장 개정, 부록 11 개정, 새로운 부록 22, 인공 지능. 2025년 7월 7일부터 10월 7일까지 협의. 2026년 9월 기준 초안, 채택되지 않음. (상담 페이지: 확인)
11. 규정(EU) 2024/1689, 인공지능법. EUR-렉스. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
12. 규정(EU) 2026/1744, AI에 대한 디지털 옴니버스. 2026년 7월 24일 게시, 2026년 7월 27일 발효. EUR-Lex. https://eur-lex.europa.eu/eli/reg/2026/1744/oj
13. 인도 전자정보기술부. 디지털 개인 데이터 보호법, 2023 및 디지털 개인 데이터 보호 규칙, 2025, G.S.R. 846(E), 2025년 11월 13일, 2025년 11월 14일자 관보. (공보 링크: 확인)
14. 무형유산. Q9(R1) 품질 위험 관리. 4단계, 2023년 1월. https://database.ich.org/sites/default/files/ICH_Q9(R1)_Guideline_Step4_2022_1219.pdf
15. EMA. 의약품 수명주기에서의 인공지능 활용에 관한 성찰서, EMA/CHMP/CVMP/83833/2023. 2024년 9월 채택. https://www.ema.europa.eu/en/use-artificial-intelligence-ai-medicinal-product-lifecycle-scientific-guideline
16. MIT 난다. GenAI 분할: 2025년 비즈니스의 AI 현황. 2025년 7월. (보고서 링크: 확인)
17. 랜드 주식회사. 리세프, 드 브륄, 뉴베리. 인공지능 프로젝트 실패의 근본 원인과 성공 방법. 2024. RRA2680-1. https://www.rand.org/pubs/research_reports/RRA2680-1.html (확인)
18. 모델 라이센스 : Meta Llama 4 Commu

라이센스; Qwen3 모델 카드; IBM Granite 4 모델 카드; DeepSeek 모델 카드; 미스트랄 모델 카드. 라이센스 조건은 각 모델 카드에 명시되어 있으며 버전에 따라 다릅니다. (링크: 배포된 정확한 버전은 게시 시 확인) 19. ISO. ISO/IEC 42001:2023, 인공지능 관리 시스템. 2023년 12월. https://www.iso.org/standard/42001 20. NIST. 인공지능 위험 관리 프레임워크(AI RMF 1.0), NIST AI 100-1. 2023년 1월. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.100-1.pdf (확인) 21. OWASP GenAI 보안 프로젝트. 2025년 LLM 애플리케이션을 위한 OWASP 상위 10개. https://owasp.org/www-project-top-10-for-large-언어-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-v2025.pdf 22. NIST. 인공지능 위험 관리 프레임워크: 생성 인공지능 프로필, NIST AI 600-1. 2024년 7월. https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf (확인) 23. MHRA 검사관. GxP 검사 결과에 대한 대응으로 AI를 사용하는 방법에 대한 블로그 게시물입니다. 2026년 6월 29일. (확인) 24. 사진/S. PI 041-1, 규제된 GMP/GDP 환경의 데이터 관리 및 무결성을 위한 모범 사례. 2021년 7월 1일부터 시행. https://picscheme.org(문서 링크: 확인)