인공지능 시스템 신뢰성 제고를 위한 요구사항 개요​

인공지능 시스템 신뢰성 제고를 위한 요구사항 개념​

• 인공지능 기술이 적용된 시스템의 신뢰성 제고를 위해, 인공지능 개발 및 운영 등의 전체 인공지능 생명주기에서 이해관계자들이 충족해야할 요구사항 제공

인공지능 시스템 신뢰성 제고를 위한 요구사항 필요성​

위 표는 인공지능 시스템 신뢰성 제고를 위한 세 가지 주요 고려사항을 명사형 종결어미를 사용하여 요약한 것입니다.

인공지능 시스템 신뢰성 제고를 위한 요구사항 구성도, 구성요소​

구성도​

계획 수립 -> 데이터 점검 -> 오픈소스 라이브러리 점검 -> 모델 보안 대책 수립 -> 알림 정책 수립 -> 설명가능성 점검

구성요소​

• AI 생명주기 전 영역에서 인공지능 시스템 신뢰성 제고를 위한 활동 필요.

AI 시스템 생명 주기별 요구사항​

다음은 요청하신 대로 내용을 키워드 기반으로 요약한 표입니다.

• 지속적 확인단계는 서비스 운영 중 지속적인 학습을 수행하는 경우 한해 적용

AI 시스템 신뢰성 제고를 위한 고려사항​

기타​

AI 시스템 이해관계자​

• AI제공자: 플랫폼 제공자, 서비스 제공자
• AI생산자: AI개발자, 데이터 과학자
• AI고객: 서비스 사용자, 서비스 운영자
• AI파트너: 시스템 통합자, 데이터 공급자
• AI영향대상: 데이터 영향대상, 시민 단체
• 관계기관: 규제기관, 정책입안자

해외 AI 신뢰성 요구사항​

• 유네스코: 인공지능 윤리권고
• EU: The Assessment List on Trustworthy Artificial Intelligence

참조​

• AI 신뢰성 센터

접근제어 개념​

• 권한이 있는 계쩡에만 특정 데이터 또는 자원에 접근하는 것이 가능하도록 하는 방법

접근제어 유형​

강제적 접근 통제 모델​

MAC, Mandatory Access Control

벨-라파둘라​

• 군사용 보안구조 요구사항 충족을 위해 미국의 벨과 라파둘라가 최초 개발
• 정보의 파괴나 변조보다는 기밀성 유지에 초점
• 극비, 비밀, 미분류로 분류
• No Read Up, No Write Down

비바 무결성​

• 벨-라파둘라 몯레에서 불법 수정방지 내용 추가로 정의한 무결성 모델
• 비인가자의 데이터 수정 방지 기능
• 낮은 비밀등급에서 높은 비밀등급으로 Write 금지함으로 무결성 오염 방지
• No Write Up, No Read Down

클락-윌슨​

• 상업환경에 적합하게 개발된 불법 수정방지를 위한 접근통제모델로 무결성 방지
• 임무 분리의 원칙
• 상용, 금융, 회계 데이터
• Well-Formed Transactions: 모든 거래사실 기록, 구현 복잡

비교​

접근제어 고려사항​

• 계정이 탈취되는 경우 접근제어로 비밀 보장을 할 수 없으므로, MFA를 활성화하여 보안 강화 필요

참조​

• Sprinto: Types of Security Models

MAS 개념​

• 공공기관이 다양한 수요 충족을 위해 2인 이상(다수)을 대상으로 단가 계약을 체결하는 제도
• 조달제품 다양화로 수요기관의 선택권 확대

MAS의 특징​

• 여러 공급자와 계약을 체결하여 수요기관의 선택 폭을 확대
• 기업에게 정부조달시장 참여 기회 제공
• 업체 간 경쟁의 확대

MAS 의 평가 절차, 항목, 2단계 경쟁​

MAS의 평가 절차​

구매 입찰 공고 -> 적격성 평가 -> 가격협상 -> 계약 체결

• 조달사업법 제13조 기반하여 계약 진행

MAS의 절차 세부 항목​

• 5천만원 이상의 경우 2단계 경쟁으로 투명성, 경쟁성 강화

MAS 2단계 경쟁 제도​

제3자 단가계약과 MAS차이점​

참조​

• 조달청: MAS 다수공급자계약

• 정보통신분야 기술사 훑어보기
• 정보통신분야 기술사 출제기준
• 기술사: IT경영
• 기술사: 융합 IT
• 기술사: 프로젝트관리
• 기술사: 소프트웨어 공학
• 기술사: 정보보안
• 기술사: 데이터베이스
• 기술사: 네트워크
• 기술사: 알고리즘
• 기술사: 에세이

~2026-12-31까지 적용

정보 기술 전략 및 관리​

• 정보기술 전략의 수립 및 관리
• 비즈니스 및 정보기술 환경 분석
• 정보기술 아키텍처 설계 및 이행
• IT 투자성과 분석

소프트웨어 개발 및 관리​

• 소프트웨어 개발 방법론 활용
• 소프트웨어 아키텍처의 설계, 문서화 및 변경 관리
• UI/UX 디자인 및 아키텍처 설계
• 소프트웨어 품질 및 안전 관리

데이터 관리 및 분석​

• 데이터모델링 및 물리 데이터베이스 설계
• 데이터마이닝 (정형 및 비정형 데이터)
• 빅데이터 분석 및 결과 해석
• 데이터 품질관리 체계 및 표준화

시스템 운영 및 보안​

• 컴퓨터 시스템 하드웨어 및 소프트웨어 운영
• 네트워크 및 통신 시스템의 설계 및 관리
• 보안체계의 운영관리 및 감사
• 정보보호 및 개인정보 활용 및 보호

최신 기술 동향 및 법규​

• 인공지능, IoT, 클라우드 기술 등 최신 기술 및 동향
• 전자정부법, 개인정보보호법 등 관련 법령 및 지침
• 기술 및 데이터 관련 정책 분석 및 투자 성과 평가

참조​

• QNet: 정보관리기술사
• QNet: 컴퓨터시스템응용기술사

OWASP LLM 개요​

• 기업에서 대규모 언어모델을 배포하고 관리할 때 발생할 수 있는 보안 위험에 대해 대비하기 위한 상위 10가지 취약점

OWASP LLM Top 10 취약점​

1. 프롬프트 인젝션​

• Prompt Injection
• 공격자가 조작된 입력을 통해 LLM을 조종하여 데이터 및 민감 정보를 추출
• 권한 제어, 인간 승인, 사용자 프롬프트에서 신뢰할 수 없는 내용 분리, LLM을 신뢰할 수 없는 것으로 처리

2. 안전하지 않은 출력 처리​

• Insecure Output Handling
• LLM 출력을 검증 없이 보낼 경우 XSS, CSRF, SSRF, 권한 상승, 원격 코드 실행 가능
• 출력을 사용자 입력처럼 취급하여 검증, 출력 인코딩으로 코드실행 차단

3. 훈련 데이터 중독​

• Training Data Poisoning
• 훈련 데이터나 과정에 악의적인 데이터를 주입하여 보안 취약점, 편견, 백도어 삽입
• 공급망 검증, 데이터의 정당성 확인, 사용 사례별 훈련 모델 구축

4. 모델 서비스 거부​

• Model Denial of Service
• 공격자가 LLM 서비스에 DoS 공격하여, 서비스 품질 저하나 높은 비용 초래
• 입력 유효성 검사, 리소스 사용 제한, API 호출 제한

5. 공급망 취약점​

• Supply Chain Vulnerabilities
• 취약한 데이터, 모델, 서비스, 시스템으로 인해 LLM이 취약점에 노출
• 공급업체 평가, 플러그인 테스트, 최신 구성 요소 사용

6. 민감 정보 노출​

• Sensitive Information Disclosure
• LLM이 민감 정보를 공개하여 저작권 침해, 사생활 침해가 발생
• 훈련 데이터 정제, 입력 유효성 검사, 파인 튜닝 시 민감 데이터 주의

7. 안전하지 않은 플러그인 설계​

• Insecure Plugin Design
• 부적절한 입력 검증과 접근 제어 부족으로 인해 데이터 유출, 원격 코드 실행 등이 발생
• 매개 변수 제어, OWASP 가이드라인 적용, 철저한 테스트 및 검증

8. 과도한 권한​

• Excessive Agency
• LLM 기반 시스템이 너무 많은 기능, 권한 또는 자율성을 가지고 있어 오용 가능
• 기능 제한, 권한 제어, 사용자 승인

9. 과도한 의존​

• Overreliance
• LLM에 대한 과도한 의존은 잘못된 정보, 법적 문제, 보안 취약점을 유발
• LLM 출력의 지속적 검토 및 검증, 신뢰할 수 있는 소스와의 비교, 파인튜닝 통한 품질 향상

10. 모델 탈취​

• Model Theft
• 무단 접근을 통해 LLM 모델이 유출되어 경제적 손실, 명성 손상, 민감 정보 접근 위험 발생
• 접근 제어 및 인증 강화, 네트워크 제한, 접근 로그 모니터링

참조​

• OWASP: OWASP Top 10 for Large Language Model Applications

RTE 개요​

RTE의 개념​

• Real Time Enterprise
• 실시간 정보로 핵심 프로세스를 최적화하고 빠른 의사결정을 지원하는 경영 패러다임

RTE의 목적​

• 다양한 데이터의 수집
• 수집된 데이터의 통합
• 통합된 데이터의 지능적 분석
• 분석된 데이터의 빠른 전략적 의사결정
• 기업의 경쟁력 극대화

RTE 사이클론 모델과 구성요소​

RTE 사이클론 모델​

RTE 사이클론 모델 구성요소​

RTE 프레임워크 구성요소​

참조​

• DATA ON-AIR: RTE란 무엇인가

ISO 25000의 개요​

• SQuaRE: Software Product Quality Requirements and Evaluation
• SW 품질 평가 모델 ISO 9126과 SW 품질 평가 절차 모델 ISO 14598을 통합한 품질 평가 모델
• 기존 SW 품질 평가 표준 모델의 모호성 개선 및 통합 품질 요구 명세부터 품질 판정까지 표준 지침 제공

ISO 25000 구성도 및 구성요소​

ISO 25000 구성도​

ISO 9126 품질특성 + ISO 14598 품질평가 절차

                        +----------------+
                        | 품질모델 (25010) |
                        +----------------+
                                |
+----------------+       +-------------+        +----------------+
| 품질평가 (25040) |-------|    품질관리    |-------| 품질측정 (25020)  |
+----------------+       +-------------+        +----------------+
                                |
                        +----------------+
                        | 품질요구 (25030) |
                        +----------------+

ISO 25000 구성요소​

• 기능적합성, 신뢰성, 사용성, 실행효율성, 유지보수성, 이식성, 호환성, 보안성 품질 제고

ISO 25000 활용 및 기대효과​

• SW 품질 평가의 편리성, 신뢰성, 명확성 제공
• SW 품질 향상 및 경쟁력 확보 지표 제시
• ISO 9126과 ISO 14598 표준 간 갭을 제거하여 품질 평가의 일관성 확보

AutoGPT 개요​

AutoGPT 개념​

• GPT-4 기반으로 질문의 태스크를 생성하고, 에이전트는 그 과정을 반복하여 점진적으로 목표를 달성하는 기술

AutoGPT 구성도 및 구성요소​

AutoGPT 구성도​

사용자 입력 -> LLM -> 에이전트 -> 피드백 루프

AutoGPT 구성요소​

AutoGPT 활용​

AutoGPT 성공포인트​

• OpenAI API를 사용하여 비용 절감을 위해 단계별로 사람의 확인이 필요한 구조이나, Local sLLM으로 교체시 원하는 결과를 얻기까지의 비용 및 프로세스 절감 가능

참조​

• AutoGPT Docs
• AutoGPT#25 Support using other/local LLMs

RAG 개요​

RAG 개념​

• LLM의 출력을 최적화하여 응답을 생성하기 전 학습 데이터 소스 외부의 지식 베이스 데이터를 참조하도록 하는 기술

RAG의 배경​

RAG의 구성도 및 절차​

구성도​

웹인터페이스 -> 벡터데이터베이스 -> LLM

구성요소​

RAG 절차​

• 외부 데이터 생성 및 준비: 텍스트, 이미지, 파일 등 다양한 소스로 임베딩 후 벡터DB 저장
• 관련 정보 검색: 질문을 기반으로 벡터 유사도 기반 데이터 검색
• LLM 프롬프트 확장: 검색된 데이터는 LLM 프롬프트와 결합하여 응답 반환
• 외부 데이터 업데이트: 벡터DB에 새로운 데이터를 주기적으로 업데이트하여 최신화

파인튜닝과 RAG 비교​

참조​

• AWS: RAG란 무엇인가요?

sLLM 개요​

sLLM 개념​

• small Large Language Model
• 기업 전용 특화모델로 활용 가능한 경량화된 거대 언어모델

sLLM 배경​

• LLM은 거대 언어모델로 천문학적인 비용과 학습 시간 필요
• 매개변수를 줄이고, 미세조정하여 정확도 향상

LLM과 sLLM 비교​