Suhyeon's AI &amp; Whisky

Textual dataset distillation via language model embedding

AI & Research/Deep Dive : Theory 2026. 3. 3. 23:56

MSP 현업에서 AI 업무를 수행하다 보면 Amazon이나 Google 같은 CSP(Cloud Service Provider)들의 기술적 행보에 자연스럽게 주목하게 됩니다. 특히 이들이 탑티어 컨퍼런스에서 발표하는 논문은 단순한 이론적 성취를 넘어, 머지않아 실제 클라우드 서비스의 핵심 기능이나 새로운 상품으로 구현되는 경우가 많기 때문입니다. 비즈니스와 기술의 접점에 있는 엔지니어로서 이러한 논문들을 우선적으로 분석하는 이유이기도 합니다. 이번 논문 리뷰는 EMNLP 2024에 게재된 Amazon의 연구인 'Textual dataset distillation via language model embedding'을 다룹니다. 앞선 포스팅에서 지식 증류(Knowledge Distillation)의 기초를 ..

[블랜디드] 조니워커 블랙 라벨 리뷰

Taste & Life/Whisky Log 🥃 2026. 3. 3. 23:26

위스키에 대한 리뷰를 시작하려고 합니다. 주변을 보면 기분 탓인지 몰라도, IT와 AI를 업으로 삼는 분들은 유독 술을 참 좋아하는 것 같습니다. 저 역시 그중 한 명이고요.제대로 된 위스키와의 첫 만남은 석사 시절, 연구실 사람들과 함께한 자리였습니다. 그땐 몰랐는데, 제가 유독 맛있게 마셨던 그 맛이 바로 *피트'였다는 사실을 나중에야 깨달았습니다. 아마 아드벡이나 라가불린 16년이었던 것 같은데... (피트라니..!) 사회생활을 하며 위스키를 접할 기회가 많아지면서, 이 매력적인 취미에 다시 불이 붙었습니다. 요즘은 유튜브로 지식을 쌓고, 사람들과 이야기를 나누며, 때로는 LLM에게 물어보며 공부하는 재미로 위스키를 마시고 있습니다. 마시고 싶은 리스트를 정리하고 하나씩 시음하며 리뷰를 남겨보려 합..

Amazon Bedrock AgentCore의 모든 것: 기본 개념부터 최신 Policy & Evaluation 기능까지

Dev & Carrer/Cloud & AWS Architecture 2026. 3. 1. 18:17

우리는 지금 단순한 생성형 AI를 넘어, 스스로 판단하고 비즈니스 로직을 실행하는 ‘에이전틱 AI(Agentic AI)’라는 거대한 변곡점에 서 있습니다. 2025년 AWS re:Invent에서 맷 가먼(Matt Garman) CEO가 강조했듯, AI 에이전트는 과거 인터넷이나 클라우드가 그랬던 것처럼 우리의 일하는 방식을 근본적으로 바꿀 ‘게임 체인저’로 부상했습니다.이번 기조연설에서는 기업 내부에서 AI 에이전트를 성공적으로 동작시키기 위한 ‘4가지 핵심 기초‘와 이를 뒷받침하는 서비스들이 대거 공개되었습니다. 이는 에이전트가 단순히 똑똑한 답변을 하는 것을 넘어, 실제 기업의 복잡한 워크플로우를 안전하고 효율적으로 수행하도록 만드는 토대가 됩니다.하지만 현실적으로 많은 기업이 프로토타입(PoC) 단..

Amazon Bedrock Model Distillation

Dev & Carrer/Cloud & AWS Architecture 2026. 3. 1. 00:52

Knowledge Distillation 기초부터 응용까지 위 글이랑 이어지는 내용입니다.지금까지 우리는 Model Distillation의 개념과 다양한 사용 사례에 대해 살펴보았으며, 이를 Fine-tuning과 비교하여 설명했습니다. 이제 이론적 배경에서 한 걸음 더 나아가, Amazon에서 제공하는 Bedrock 플랫폼에서 Model Distillation을 어떻게 활용할 수 있는지 그 구체적인 방법과 절차에 대해 상세히 설명하도록 하겠습니다. Amazon Bedrock의 Model Distillation은 교사 모델에서 학생 모델로의 지식 전달 과정을 자동화합니다. 이 과정은 합성 데이터 생성, 학생 모델 훈련 및 평가, 최종 모델 호스팅을 포함합니다. Bedrock은 다양한 데이터 합성 방법..

Knowledge distillation 기초부터 응용까지

AI & Research/Model Optimization 2026. 2. 26. 23:12

오랜만에 다시 블로그를 작성하는 것 같습니다. 예전에 정리했던 내용들이 많은데 차근차근 하나씩 옮기면서 새로운 내용들은 업데이트를 하는 방향으로 진행하겠습니다..! 첫번째 글로 흥미로운 주제인 Knowledge Distillation 입니다. 연구 범위 및 주요 주제연구 배경해당 연구가 나오게 된 배경은 무엇일까요? 딥러닝 모델은 종종 크고 계산 비용이 많이 들기 때문에 모바일 폰이나 임베디드 시스템과 같이 리소스가 제한된 장치에 배포하기 어렵습니다. 또한 모델을 처음부터(Scratch) 학습하는 것은 일반적인 학교 레벨이나 대부분의 연구자들에게는 리소스적인 측면에서 상당한 부담이 됩니다. 이러한 문제를 해결하고자, 모델을 압축하면서도 효율성을 향상시키기 위한 학습 방법으로 Distillation 기술이..

5월 4주차

Dev & Carrer/Dev Essay (잡담) 2024. 5. 23. 17:39

필요한 GeekNews를 읽고 내가 필요한 내용들만 블로그에 다시 정리참고자료 : GeekNewsChatGPT, 데이터 분석 기능 개선링크 : https://openai.com/index/improvements-to-data-analysis-in-chatgpt/ 데이터 파일을 업로드하면 ChatGPT가 사용자를 대신해 Python 코드를 작성하고 실행하여 데이터를 분석대규모 데이터 세트 병합 및 정리, 차트 생성, 인사이트 발견과 같은 다양한 데이터 작업을 알아서 처리구글 드라이브와 OneDrive에서 파일을 직접 업로드테이블과 차트를 볼때 풀스크린 뷰에서 인터랙티브하게 지원특정 영역을 잡아서 추가 질문을 하거나, ChatGPT의 프롬프트 제안에 따라 더 깊은 분석 가능차트를 개인화하고 다운로드 가능막..

Machine-Learning

AI & Research/Deep Dive : Theory 2024. 2. 19. 13:47

AI-tech-interview를 위한 머신러닝 파트입니다. 전체적인 내용과 질문은https://github.com/boost-devs/ai-tech-interview/blob/main/answers/2-machine-learning.md 해당 사이트를 참고했습니다. #1알고 있는 metric에 대해 설명해주세요. (ex. RMSE, MAE평가지표(mteric) -> 분류를 위한 평가지표 vs 회귀를 위한 평가지표분류 작업에 적용할 수 있는 평가지표정확도(accuracy)정확도는 모델의 예측이 얼마나 정확한지를 의미한다. 예측 결과가 동일한 데이터 개수 / 전체 예측 데이터 개수로 계산 가능, 해당 방법은 그냥 맞춘거/전체 데이터 이렇게 생각하면 될듯. 근데 이때 문제가 데이터 불균형, 라벨링 불균형 문..

Audio-Visual Mismatch-Aware Video Retrievalvia Association and Adjustment

AI & Research/Video Understanding 2023. 1. 6. 16:18

짧게 필요한 부분만 정리해보자(타임 어택, 집중) 15:00 ~ 16:30 해당 Problem- 해당 Methodvideo의 각각의 frame을 spatial encoder(CNN) 모델에 넣어서 spatial features를 뽑고 이를 위의 fsp로 표현함이 feature를 visual context embedder의 input으로 넣는데 일반적인 transformer 형태임 이를 통해 overall spatio-temporal context of visual feature를 encode 할 수 있다고 얘기함 (attention mechanism의 장점임) 여기서 차이점은 multi-head attention의 last part 부분이 not feed-forward라고 하는데 이는 multi-hea..

ABOUT ME

Suhyeon's AI & Whisky Suhyeon's AI & Whisky

티스토리툴바

ABOUT ME

전체 글

티스토리툴바