제3회 한겨레 사람과 디지털 포럼, 사람 넘보는 AI, 인간 가치도 담아낼 수 있을까? 에 다녀왔다.
SF 작가인 테드 창의 키노트에 큰 기대를 가지고 참석했었는데 다른 세명의 패널들의 키노트도
좋았고 특히 마지막 Round Table에서의 논의가 참 인상적이었어서 꼼꼼히 기록해보려고 한다.
AI에 대한 관심과 기대가 다들 높지만, 아직 이런저런 한계도 존재하고 좋은 방향으로 발전해나가기
위한 노력과 관심이 많이 필요하겠단 생각이 들었다.
1st Session: 상식과 가치를 지닌 AI의 미래
주된 토픽은 AI가 상식(Common Sense)이 있다고 볼 수 있을지에 대한 내용이었다.
- 대형 언어모델(Large Language Model, LLM)의 답변 패턴은 아직 일관성이 없음
- 상황, 맥락을 파악해서 올바른 답변을 도출 하지 못하는 경우가 종종 있음
- Prompt 의 영향을 매우 받으므로, 유의해야 함
- LLM을 어떻게 평가할 수 있을 것인가?
- 꼼꼼한 평가가 필요함
- 현재 AI 의 답변, 반응이 언제나 믿을만 한 상황이 아님
- 변화를 조금만 줘도(simple tweak), 오류가 발생됨
- pretrained LLM에 RLHF(Reinforcement Learning from Human Feedback)를 적용하는 것이 가능할 옵션일지?
- RLHF: 사람의 교정을 받아 LLM을 다시 학습시키는 것
- Common Sense Paradox
- 기계에게는 어렵지만, 사람에게는 쉬운 것 vs 기계에게는 쉽지만 사람에게는 어려운 것
- 예시: 테이블 위에서 플랭크 운동을 하는 우주인 이미지
- 그럴싸한 이미지를 생성형 AI가 만들어내는 것은 사람이 그런 이미지를 그리는 것에 비해 쉽지만, 생성된 이미지가 상식적으로 이상한지 여부는 사람이 쉽게 판단할 수 있음
- Generative AI Paradox
- 이해하지는 못하더라도 무언가 생성할 수는 있는 상황
- generation is easy, understanding is hard
- 생성된 이미지가 종종 비상식적일 때가 있음
- 여러 정보를 조합하여 무언가를 생성해야할 때 실수가 잦은 경향이 있음
- The Reversal Curse
- A = B 라고 훈련받은 LLM이 B=A 라는 것을 학습하지는 못함
- AI에게 윤리 ethics를 학습시킬 수 있을까?
- Delphi Common Sense Moral Models
- Value Kaleidoscope
- 인간 가치, 권리, 의무에 대해 AI가 이해하고 상황에 따라 우선순위를 정할 수 있어야 함
발표 후 하정우 네이버 센터장님과의 대담이 있었다.
질문1. AGI 가 화두인데 학계를 통틀어서 공통된 정의가 있는 것은 아닌 듯한데 AGI에 대한 정의와 요건 , 달성여부에 대한 교수님의 의견이 궁금합니다.
답변: AGI는 모호한 개념입니다. 어떻게 인간 지능(human intelligence)을 측정할 수 있을지도 명확하지 않습니다.
예를 들어, how about x% of tasks that y % of humans do? 라는 제안도 있었지만
- which humans, which jobs, which tasks?
- 80% of what we are capable of vs actually perform day to day?
- 실제로 어떻게 정의하고 consensus를 세울 것인지는 어려운 문제
챗봇 수준에서는 3년 안에 많은 사람들이 AGI라고 동의할만한 성능이 좋은 인공지능 모델이 나올 것이라고 생각합니다.
multi-modal level에서는 20 ~ 25년도 필요하다고 판단하지만, 변수가 많아서 확정적으로 이야기할 수 없습니다.
- 기발한 아이디어가 구현될 경우 이 시기가 앞당겨져 질수도 있음
질문2. 얀 르쿤이 auto regressive language model을 이용해서는 AGI 개발은 어렵다고 했는데 혹시 새로운 아이디어가 있으신가요?
답변: 현재 AI model은 주입식 교육으로 개선되어 가는 것처럼 보이지만, 현재 이런 방식으로는 유의한 수준의 개선은 힘들 것입니다. 특히 Reasoning 능력이 부족해 보입니다. 사람의 경우는 그렇게 하지 않고 selectively 학습을 하는 데, AI 모형도 agent를 활용해서 능력을 기르는 방향으로 가는 것이 좋겠다 생각합니다.
질문3. 안전성 관점에서 어떤 점이 시급하다고 생각하시나요?
답변: AI 모델들이 가상환경과 실제 세상을 구분하지 못하고 거짓과 사실을 구분하지 못하고 있습니다. 이는 희미하게, 모호하게 학습을 해왔기 때문입니다. 쉽게 해결될 수 있는 문제는 아니고...단기적으로 볼 때에는 RLHF 라던지 패치 업데이트와 같은 것이 필요해보이고..궁극적으로는 이런 것들을 고려할 수 있는 모형이 개발되어야 하지 않을까 합니다. 인공지능은 결국 인간을 위해 쓰여져야 한다고 생각합니다. 이제는 인공지능이 충분히 잘 작동하기 때문에 인간의 직업에 큰 영향을 미칠 수 있는 상황입니다. 인간의 가치에 대해 인공지능이 충분히 학습하여야 합니다.
질문4. Safety, trustworthiness, 가 중요해지고 있습니다. AI 안전성에 대해 미국, EU , UN 에서도 AI 안전에 대한 논의가 이루어지고 있습니다. 이런 논의가 진입장벽으로 작용할 수도 있는데 이에 대한 의견(잘되고 있는 것, 아쉬운 점들)이 궁금합니다.
답변: 안전성이 중요하지만, 정치적인 싸움도 있어보이는 것은 아쉬운 점입니다. 무관심한 경우도 있습니다. 어쩔수 없이 혼란스러운 상황입니다. 이런 것은 우리가 아직 알고 있는 것이 많지 않기 때문입니다. 과학적으로 메커니즘 등에 대해 연구가 잘 되어 있었다면 부동의가 덜 했을 텐데, 모르는 부분이 아직 많다보니 혼선이 있습니다. 그럴수록 회피 하기보다는 새로운 기회로 받아들이고 연구에의 투자를 더 하는 것이 중요하다고 생각합니다.
질문5. 자연어 처리에 대한 별도의 학회(COLM)를 새로 만드셨는지 어떤 활동을 하시는 지 궁금합니다.
답변: 자연어 처리 쪽 학회는 language model 만을 다루는 것이 아닌 다양한 주제로 학회가 이루어지고 있습니다. 새로 나온 연구들이 language model 을 활용하는 경우는 자연어 처리 쪽 학회에만 출판하기보다는 자연어처리 + 머신러닝 분야의 교집합이 되는 학회를 만들고자 했습니다.
질문6. AI 정상회담에서 미스트랄에서도 AI 안을 좀 들여다볼 수 있는 아이디어들이 공개되고 있습니다. 이런 설명가능성 관련해서 어떻게 생각하시는 지 궁금합니다.
답변: 저는 그런 연구 방향에 아주 찬성합니다. 대형 모델을 이해하려면 앤트로픽이나 오픈에이아이에서 작업을 하는 것이 맞다고 생각합니다. AI 설명가능성에 대해 저런 제안들이 만병통치약(panacea) 이 될수는 없지만 큰 도움이 될 수 있는 디렉션이라고 생각합니다. 다양성 있게 ai explainability를 위한 시도가 있었으면 좋겠습니다. 데이터 자체의 interpretability를 높이는 시도도 하고 있습니다.
질문7. AI 종사자, 꿈나무들에게 하시고 싶은 조언이 있다면?
답변: 누구나 가능성이 있고 노력을 꾸준히 하는 것이 맞겠습니다. 일단 용기를 내서 도전을 하는 것이 중요합니다. 저는 남들이 잘 하지 않는 분야를 파고들어왔는데 많은 분들이 하지 않는 blind spot에 집중해서 연구하다보면 뭔가 나눌 수 있는 것들이 남지 않을까 생각했습니다. 성공을 위해 살아왔다기 보다는, 의미 있는 일을 하고 적어도 도전을 했다고 말할 수 있는 관점에서 선택을 해왔습니다. 실패 속에서도 배우는 것이 있습니다.
2nd Session: Artificial Intelligence, Artifice, Art
가장 기대했던 세션. AI에 대해서는 인공지능(Artificial Intelligence)이 아니라 통계적으로 확률이 높은 값들을 뱉어내는 것(based on applied statistics 라는 표현을 사용했던 듯)이라고 표현함.
- skills vs intelligence
- 체스게임 알파 제로
- 인공 지능 artificial intelligence가 아니라 skillful 한 것임
- 100000번의 체스 게임을 4시간에 학습해서 체스 스킬을 습득함
- llms에 지능이 있다고 할 수 있는가?
- 새로운 기술을 습득할 수 없음
- Chess를 배우지 못함, 즉 규칙을 이해하지 못함
- chatGPT는 의사소통을 할 수 없음
- 텍스트를 쏟아낼 뿐임
- chatGPT가 언어를 사용한다고 말할 순 없음
- Communication 에서 감정을 전달하는 기능을 하지 않음
- AI가 생성한 이미지를 예술이라고 할 수 있는가?
- 예술 Art 은 표현의 한 형태(form of expression)
- AI 자체는 스스로를 표현하려는 욕망, 욕구 가 없음
- 예술가가 많은 선택지 중에서 최선을 고르는 것(어떤 재료를 사용할지, 어떤 색감을 이용할 지 등등)과 같은 과정이 없음
- 예술에는 이러한 선택할 수 있음이 필요함(Art requires choices)
Round Table: The Challenge of AI for All
마지막 순서로 연자 4명이 모두 참여해서 질문에 답하는 Round Table 세션이 있었다. 진행은 카이스트의 전치형 교수님이 맡았음.
질문: AI는 도구에 불과하다고 생각하십니까 아니면 그 이상이라고 생각하십니까?
- Gary Marcus
- 사람들은 종종 AI를 마법처럼 생각하지만, 사실 AI는 도구입니다.
- AI는 통계적 접근 방식을 사용하기 때문에, 가정이 잘못되면 적용 또한 적절하게 이루어지지 않습니다.
- AI 모델이 훈련된 환경과 실제 사용자들이 사용하는 환경이 너무 다르면 AI는 제대로 작동하지 않을 수 있습니다. 도구로서 잘못 사용되면 문제가 발생할 수 있습니다.
- Abeba Birhane
- 동의합니다.
- AI는 사람들이 사용하도록 만들어진 도구이지만, 사람들의 삶에 큰 영향을 미치는 결정(life-changing decisions)을 내릴 수 있다는 점에서 도구 이상이기도 합니다.
- 각각에게 미치는 영향이 치명적일 수 있으므로 책임과 신뢰성(accountability and reliability)을 확보하는 것이 매우 중요합니다.
- Choi YeJin
- AI는 도구이지만, 우리가 의도한 대로 작동하지 않을 때도 있습니다.
- 대중들의 기대가 크고 과장되어 있어 위험하며, 과학자들은 아직 AI를 적절하게 통제할 방법을 찾지 못했습니다.
- Ted Chang
- AI가 도구라는 것은 넓은 개념입니다.
- 화학이나 야금학(metallurgy) 자체가 나쁘거나 좋다고 하기는 어렵지만, 이 학문들을 활용해서 지뢰를 만든다면 나쁜 일이 아닌가요?
- 어떻게 좋고 나쁨을 논할 수 있을까요?
- AI가 도구에 불과하지 않느냐는 질문은 저에게는 책임을 회피하려는 한 방식으로 생각됩니다.
질문: LLM을 단순한 확률적 당근(stochastic carrot)과 비교하는 것은 얼마나 유용합니까?
- Abeba Birhane
- 확률적 당근은 매우 적합한 은유입니다.
- 이것은 생성 인공지능의 특징을 잘 나타냅니다.
- Marcus
- 이 확률적 당근은 LLM에 적용됩니다.
- 모든 인공지능에 적용되는 것은 아닙니다.
- 챗봇에게는 이 은유가 매우 그럴듯하다고 생각합니다.
- 자동완성기능(Autocompletion)은 실제로 이해하지 않고도 하는 일의 좋은 예입니다.
- Ted Chang
- 흐려진 인터넷 압축(blurry internet compression)이 인공지능입니다. 제가 만든 은유입니다.
- chatGPT에는 많은 정보가 있으며 엄청난 정보를 압축했습니다.
- 인터넷상의 정보를 다시 표현하는 것이 인공지능입니다.
- chatGPT의 텍스트 출력
- 이런 흐려짐은 환각으로 나타나며 완전한 헛소리를 출력합니다
- 표면적으로는 명확해 보이지만(seems superficially sharp)
- 다른 레벨에서 흐려져 있습니다.(blurry at different level)
- 관찰자에게는 이것이 명백하게 보이지 않습니다.
- Gary Marcus의 비유, 스테로이드를 주입받은 것처럼 지치지 않고 자동완성(autocomplete on the steroid) 텍스트를 쏟아냄
- 인공지능은 주저없이 제안을 할 것입니다.
- 저는 모르겠다 라고는 절대 말하지 않을 것입니다.
- 자동 완성기능으로 항상 무언가를 쏟아낼 것입니다.
- Choi YeJin
- ChatGPT는 실제로 창의적인 것을 만드는 것 같습니다.
- 하지만 이것이 일반화된 것은 아니라는 것에 동의합니다.
- 우리는 AI의 출력이 실제 일반화(true generalization)인지 혹은 훈련된 자료의 되뱉음(regurgitation of trained material)인지 확신할 수 있는 완전한 증거가 없다고 느낍니다.
- 아무 일도 일어나지 않는다고 말하기에는 너무 이릅니다.
- 우리는 단지 무슨 일이 일어나고 있는지 완전히 이해하지 못합니다.
- 일부 사람들은 실제로 AI가 생성한 것에 영향을 받습니다.
- 사람들이 너무 큰 기대를 가지고 있다는 점이 우려됩니다.
- 모델에 어떤 것이 입력되어 훈련되었는 지 알 수 없고 불분명합니다.
- AI 출력이 되뱉음(regurgitation)에 불과한지 아닌지는 아직 확실히 알 수 없습니다.
질문: AI의 품질 기준은 무엇이어야 할까요? 우리는 안전, 탄소 배출, 편안함 등 다양한 요소를 고려하여 자동차를 평가합니다. 하지만 이 평가 기준은 시간이 지남에 따라 변화되었습니다. 그런 것처럼 AI 평가를 위한 지표를 제안해 주실 수 있습니까?
- Ted Chang
- 자동차와 인공지능은 완전히 다릅니다.
- 미국에서는 대중 교통이 불편했기 때문에 개인마다 자동차를 갖게 되었습니다.
- 자동차를 소유하는 데 중요한 요인은 개인의 선택이 아니라 산업이 제품을 판매하려고 시도하는 것에 의해 좌우됩니다.
- 사람들은 생수를 어떻게 평가합니까?
- 인공지능 기술 산업에서도 이런 일이 발생하고 있다고 생각합니다.
- 기술 개발의 원동력은 실제로 소비자가 원하는 것이 아니라 산업이 요구하는 것입니다.
- 개인으로서 사람들의 의견은 중요하지 않을 수 있습니다
- Birhane
- Ted와 완전히 동의합니다.
- 생성 인공지능에는 사용 사례가 없습니다.
- 사람들은 검색 엔진의 검색 결과에 만족했지만 검색 엔진에 AI 기능이 추가되면 이것이 실제로 사용자에게 도움이 될까요?
- 대기업이 결정하고 사람들은 따라야 합니다.
- 벤치마킹 관점에서 인간과 인공지능을 비교하는 것은 실제로 문제가 있습니다.
- 인공지능은 인간이 만든 도구이며 인간의 다양한 작업을 쉽게 하기 위해 만들어졌습니다.
- 인공지능은 무엇에 대해서도 신경 쓰지 않습니다.
- 인간과 같은 특징이 없습니다.
- 책임감도 느끼지 않고 성취감도 없습니다.
- 우리는 매우 신중해야 합니다.
- Gary Marcus
- 학습 데이터가 무엇인지 모르는 경우 인공지능을 평가하기는 정말 어렵습니다.
- 지능은 본질적으로 문제를 다루는 것입니다.
- 평가하기 위해서는 입력된 학습 데이터에 대한 정보가 필요합니다.
- 인공지능이 사람보다 더 똑똑할 필요는 없습니다.
- 큰 문제는 인공지능이 신뢰할 수 없다는 것입니다.
- 아직까지 만족스러운 벤치마킹 기준은 알려지지 않았습니다.
- Choi YeJin
- AI 평가는 점점 더 어려워질 것입니다.
- 시간이 지남에 따라 평가는 더욱 어려워질 것입니다.
- 업데이트된 AI를 배포하기 전에 테스트하는 것은 정말 중요합니다.
- 사람들은 업데이트된 모델을 너무 많이 신뢰합니다.
- 엄격하게 평가되어야 합니다.
- 자동차 비교는 맞지 않습니다.
- 생성 인공지능, ChatGPT 측면에서 평가가 자동차만큼 명확하지 않습니다.
- 생성 인공지능 제작자
- 그들은 평가에 대해 신경 쓰지 않습니다.
- 더 많은 매개 변수를 사용하는 더 큰 모델을 만들면 자동적으로 더 나은 모델을 만들어 낼 것이라고 생각합니다.
- 이러한 인간 편향은 매우 위험합니다.
- 우리는 어떻게 평가할지에 대해 아직 완전히 이해하지 못합니다.
질문: 데이터 편향 문제. 이러한 편향을 수정하기 위한 많은 노력들이 이루어지고 있습니다. 하지만 세상 자체가 이미 편향된 구조로 되어있습니다. 우리가 데이터 편향이라고 부르는 것은 단순한 오류가 아니며 해결하기 어려운 문제입니다. 이 주제에 대해 어떻게 생각하십니까?
- Choi YeJin
- 좋은 질문입니다. 세상이 불완전하다는 이유만으로 AI도 불완전해야 한다고 생각하지 않습니다.
- 더 심각한 문제는 AI가 행동을 취하고 사람들이 정보를 관찰하는 데 영향을 미친다는 점입니다.
- AI가 대중에게 영향을 미칠 수 있다는 점에서 이는 상황을 악화시킬 수 있습니다.
- 근본적으로 사람은 완벽하지 않기 때문에 이 문제를 완벽하게 해결할 수는 없습니다. 하지만 노력해야 합니다.
- Gary Marcus
- 현재 기술은 과거의 편견을 지속시킵니다.
- 사회가 변화하고 있더라도 AI는 과거 경험과 데이터로 훈련됩니다.
- 이유와 가치 없이 시스템을 운영하면 상황은 악화될 것입니다.
- 이는 근본적인 문제입니다.
- Habine
- AI가 훈련하는 데이터는 극도로 편향되어 있습니다.
- 이 시스템은 현상 유지를 위해 만들어졌습니다.
- 해결 방법은?
- 이 질문은 어느 정도 철학적인 문제입니다.
- 실제 데이터를 철저히 검토하려는 시도는 실행 불가능해 보입니다.
- 완전히 편향되지 않은 데이터 세트는 존재하지 않으며 단일한 객관적인 표현은 불가능합니다.
- 데이터 세트를 고안하여 해결할 수 있다는 생각은 다소 오해입니다.
- 더 많은 노력이 필요합니다.
- 감사 제도는 유용할 수 있으며 여러 사회적 요소에 대한 더 나은 이해와 사고가 이 문제를 완화하는 데 필요합니다.
질문: 우리는 올바른 도구로써 AI를 사용해야 합니다. 실제 세계에서 AI를 사용할 수 있는 의미있는 작업은 무엇일까요? 어떤 요소에서 AI가 가장 효율적으로 사용될까요? 오용에 대한 우려는 있으신가요?
- Ted Chang
- 제 생각에는 생성 인공지능(genAI)은 유용하게 사용될 수 없다고 생각합니다.
- 생성 인공지능을 활용할 의미있는 작업(meaningful task)이 없습니다.
- 생성 인공지능은 현재 사기(fraud)에 활용되고 있습니다.
- 저는 genAI 사용을 권장하지 않습니다.
- 반면에 약물 발견, 새로운 분자 합성과 같은 작업에는 유용합니다.
- 기계 학습(ML)은 이 분야에서 매우 유용하고 효율적입니다.
- 마치 현미경을 사용하여 패턴을 자세히 관찰하여 새로운 지식을 발견해내는 것과 유사하다고 생각합니다.
- Gary Marcus
- 생성 인공지능(genAI)은
- 브레인스토밍, 개발자를 위한 자동 완성 기능에는 유용합니다.
- 하지만 부정 행위를 하는 사람들에게도 좋은 소식이라는 점에는 동의합니다.
- 과학 분야에서는
- AI, 기계 학습 기술(ML technique)이 유용할 수 있습니다.
- Habine
- 일반적으로 AI는
- 물리적 시스템, 자연 세계에 적용 가능합니다.
- 자연 현상을 평가하는 데 유용합니다.
- 하지만 사회 시스템에서 사용하는 데는
- 신중해야 합니다.
- 사회 시스템은 덜 정확하고 덜 명확합니다.
- AI를 감정 판독, 사람의 범죄 성향 예측에 사용해서는 안됩니다.
- 이것은 과학이 아니라 사이비 과학입니다.
- 목소리나 얼굴 표정만으로는 감정을 객관적으로 평가할 수 없습니다.
질문: 젊은 학생, 학계, 과학 전공, 컴퓨터 과학 전공자에게 조언: 그들의 분야인 인공지능(AI)은 종종 부당하게 비난받고 있습니다. 진정 기여하고 싶어하는 인공지능 분야의 젊은 학생들에게 어떤 말을 해주시겠습니까?
- Choi YeJin
- 의미 있는 기여를 하고 싶다는 열정은 정말 훌륭합니다.
- 이 분야에 들어서면 낙담을 느끼게 될 수도 있습니다.
- 더 제어가 가능하고, 더 해석 가능한 인공지능을 개발할 수 있을까요?
- 우리는 사회적 영향에 대해 염려해야 합니다.
- 인공지능은 엄청난 영향을 미칠 수 있습니다.
- 인공지능이 미칠 수 있는 부정적인 영향을 인식하는 것은 좋은 일이라고 생각합니다.
- 특히 생성 인공지능(GenAI) 분야에서는
- 현재로서는 즉각적인 배포는 확실히 위험합니다.
- 이를 생산적인 방식으로 적용할 수 있을까요?
- 저는 윤리 철학자와 함께 일했는데, 인도의 경우 변호사 비용을 낮출 수 있고, 인공지능이 완벽하지는 않지만 변호사를 감당할 수 없는 사람들에게 매우 도움이 될 수 있습니다.
- 의료 자원이 없는 아프리카에서도 AI를 활용할 수 있습니다.
- Gary Marcus
- 학생들은 단순히 인기 있는 분야이기 때문에 공부해서는 안됩니다.
- 컴퓨터 과학 분야 외에도 다른 분야를 공부하십시오.
- 관심 분야를 넓히세요.
- Habine
- 인공지능은 부정적으로 묘사되고 있습니다.
- 하지만 우리의 인공지능은 강력한 도구가 될 수 있습니다.
- 사이비 과학을 경계하세요.
- 사이비 과학에 기반한 모델을 만드는 것은 매우 위험합니다.
- 인공지능은 더 나은 해결책과 제안을 만드는데 사용될 수 있습니다.
제3회 한겨레 사람과 디지털 포럼, 사람 넘보는 AI, 인간 가치도 담아낼 수 있을까? 에 다녀왔다.
SF 작가인 테드 창의 키노트에 큰 기대를 가지고 참석했었는데 다른 세명의 패널들의 키노트도
좋았고 특히 마지막 Round Table에서의 논의가 참 인상적이었어서 꼼꼼히 기록해보려고 한다.
AI에 대한 관심과 기대가 다들 높지만, 아직 이런저런 한계도 존재하고 좋은 방향으로 발전해나가기
위한 노력과 관심이 많이 필요하겠단 생각이 들었다.
1st Session: 상식과 가치를 지닌 AI의 미래
주된 토픽은 AI가 상식(Common Sense)이 있다고 볼 수 있을지에 대한 내용이었다.
발표 후 하정우 네이버 센터장님과의 대담이 있었다.
질문1. AGI 가 화두인데 학계를 통틀어서 공통된 정의가 있는 것은 아닌 듯한데 AGI에 대한 정의와 요건 , 달성여부에 대한 교수님의 의견이 궁금합니다.
답변: AGI는 모호한 개념입니다. 어떻게 인간 지능(human intelligence)을 측정할 수 있을지도 명확하지 않습니다.
예를 들어, how about x% of tasks that y % of humans do? 라는 제안도 있었지만
- which humans, which jobs, which tasks?
- 80% of what we are capable of vs actually perform day to day?
- 실제로 어떻게 정의하고 consensus를 세울 것인지는 어려운 문제
챗봇 수준에서는 3년 안에 많은 사람들이 AGI라고 동의할만한 성능이 좋은 인공지능 모델이 나올 것이라고 생각합니다.
multi-modal level에서는 20 ~ 25년도 필요하다고 판단하지만, 변수가 많아서 확정적으로 이야기할 수 없습니다.
- 기발한 아이디어가 구현될 경우 이 시기가 앞당겨져 질수도 있음
질문2. 얀 르쿤이 auto regressive language model을 이용해서는 AGI 개발은 어렵다고 했는데 혹시 새로운 아이디어가 있으신가요?
답변: 현재 AI model은 주입식 교육으로 개선되어 가는 것처럼 보이지만, 현재 이런 방식으로는 유의한 수준의 개선은 힘들 것입니다. 특히 Reasoning 능력이 부족해 보입니다. 사람의 경우는 그렇게 하지 않고 selectively 학습을 하는 데, AI 모형도 agent를 활용해서 능력을 기르는 방향으로 가는 것이 좋겠다 생각합니다.
질문3. 안전성 관점에서 어떤 점이 시급하다고 생각하시나요?
답변: AI 모델들이 가상환경과 실제 세상을 구분하지 못하고 거짓과 사실을 구분하지 못하고 있습니다. 이는 희미하게, 모호하게 학습을 해왔기 때문입니다. 쉽게 해결될 수 있는 문제는 아니고...단기적으로 볼 때에는 RLHF 라던지 패치 업데이트와 같은 것이 필요해보이고..궁극적으로는 이런 것들을 고려할 수 있는 모형이 개발되어야 하지 않을까 합니다. 인공지능은 결국 인간을 위해 쓰여져야 한다고 생각합니다. 이제는 인공지능이 충분히 잘 작동하기 때문에 인간의 직업에 큰 영향을 미칠 수 있는 상황입니다. 인간의 가치에 대해 인공지능이 충분히 학습하여야 합니다.
질문4. Safety, trustworthiness, 가 중요해지고 있습니다. AI 안전성에 대해 미국, EU , UN 에서도 AI 안전에 대한 논의가 이루어지고 있습니다. 이런 논의가 진입장벽으로 작용할 수도 있는데 이에 대한 의견(잘되고 있는 것, 아쉬운 점들)이 궁금합니다.
답변: 안전성이 중요하지만, 정치적인 싸움도 있어보이는 것은 아쉬운 점입니다. 무관심한 경우도 있습니다. 어쩔수 없이 혼란스러운 상황입니다. 이런 것은 우리가 아직 알고 있는 것이 많지 않기 때문입니다. 과학적으로 메커니즘 등에 대해 연구가 잘 되어 있었다면 부동의가 덜 했을 텐데, 모르는 부분이 아직 많다보니 혼선이 있습니다. 그럴수록 회피 하기보다는 새로운 기회로 받아들이고 연구에의 투자를 더 하는 것이 중요하다고 생각합니다.
질문5. 자연어 처리에 대한 별도의 학회(COLM)를 새로 만드셨는지 어떤 활동을 하시는 지 궁금합니다.
답변: 자연어 처리 쪽 학회는 language model 만을 다루는 것이 아닌 다양한 주제로 학회가 이루어지고 있습니다. 새로 나온 연구들이 language model 을 활용하는 경우는 자연어 처리 쪽 학회에만 출판하기보다는 자연어처리 + 머신러닝 분야의 교집합이 되는 학회를 만들고자 했습니다.
질문6. AI 정상회담에서 미스트랄에서도 AI 안을 좀 들여다볼 수 있는 아이디어들이 공개되고 있습니다. 이런 설명가능성 관련해서 어떻게 생각하시는 지 궁금합니다.
답변: 저는 그런 연구 방향에 아주 찬성합니다. 대형 모델을 이해하려면 앤트로픽이나 오픈에이아이에서 작업을 하는 것이 맞다고 생각합니다. AI 설명가능성에 대해 저런 제안들이 만병통치약(panacea) 이 될수는 없지만 큰 도움이 될 수 있는 디렉션이라고 생각합니다. 다양성 있게 ai explainability를 위한 시도가 있었으면 좋겠습니다. 데이터 자체의 interpretability를 높이는 시도도 하고 있습니다.
질문7. AI 종사자, 꿈나무들에게 하시고 싶은 조언이 있다면?
답변: 누구나 가능성이 있고 노력을 꾸준히 하는 것이 맞겠습니다. 일단 용기를 내서 도전을 하는 것이 중요합니다. 저는 남들이 잘 하지 않는 분야를 파고들어왔는데 많은 분들이 하지 않는 blind spot에 집중해서 연구하다보면 뭔가 나눌 수 있는 것들이 남지 않을까 생각했습니다. 성공을 위해 살아왔다기 보다는, 의미 있는 일을 하고 적어도 도전을 했다고 말할 수 있는 관점에서 선택을 해왔습니다. 실패 속에서도 배우는 것이 있습니다.
2nd Session: Artificial Intelligence, Artifice, Art
가장 기대했던 세션. AI에 대해서는 인공지능(Artificial Intelligence)이 아니라 통계적으로 확률이 높은 값들을 뱉어내는 것(based on applied statistics 라는 표현을 사용했던 듯)이라고 표현함.
Round Table: The Challenge of AI for All
마지막 순서로 연자 4명이 모두 참여해서 질문에 답하는 Round Table 세션이 있었다. 진행은 카이스트의 전치형 교수님이 맡았음.
질문: AI는 도구에 불과하다고 생각하십니까 아니면 그 이상이라고 생각하십니까?
질문: LLM을 단순한 확률적 당근(stochastic carrot)과 비교하는 것은 얼마나 유용합니까?
질문: AI의 품질 기준은 무엇이어야 할까요? 우리는 안전, 탄소 배출, 편안함 등 다양한 요소를 고려하여 자동차를 평가합니다. 하지만 이 평가 기준은 시간이 지남에 따라 변화되었습니다. 그런 것처럼 AI 평가를 위한 지표를 제안해 주실 수 있습니까?
질문: 데이터 편향 문제. 이러한 편향을 수정하기 위한 많은 노력들이 이루어지고 있습니다. 하지만 세상 자체가 이미 편향된 구조로 되어있습니다. 우리가 데이터 편향이라고 부르는 것은 단순한 오류가 아니며 해결하기 어려운 문제입니다. 이 주제에 대해 어떻게 생각하십니까?
질문: 우리는 올바른 도구로써 AI를 사용해야 합니다. 실제 세계에서 AI를 사용할 수 있는 의미있는 작업은 무엇일까요? 어떤 요소에서 AI가 가장 효율적으로 사용될까요? 오용에 대한 우려는 있으신가요?
질문: 젊은 학생, 학계, 과학 전공, 컴퓨터 과학 전공자에게 조언: 그들의 분야인 인공지능(AI)은 종종 부당하게 비난받고 있습니다. 진정 기여하고 싶어하는 인공지능 분야의 젊은 학생들에게 어떤 말을 해주시겠습니까?