How rendering a scene stops meaning 'march a ray through a neural network' and goes back to 'rasterize a finite set of primitives' — but each primitive is now a smooth, differentiable 3D Gaussian instead of a point or triangle. Covariance from scale and rotation, projecting a Gaussian to screen space through a camera Jacobian, the same alpha-compositing equation NeRF used but paid for with storage instead of compute, tile-based sorting, spherical harmonics for view-dependent color, and the densify/split/prune loop that grows a scene from a sparse point cloud — with worked numeric examples at every step.

How a scene stops being a point cloud, mesh, or voxel grid and becomes the weights of a tiny MLP instead: the volume rendering integral that turns a ray's density and color into a pixel, the discrete quadrature that makes it computable, positional encoding, and hierarchical sampling — with a four-sample toy ray worked by hand, alpha, transmittance, and weights all the way through to a final composited color.

Why a recurrence with only three matrices can replace self-attention: the continuous state-space equations, zero-order-hold discretization, the selective mechanism that lets Δ, B, and C read the input instead of staying fixed, and the parallel scan that gets training parallelism back after selection breaks the convolutional view — all worked by hand on the same four-word toy sentence the Transformer posts used, with a plot or diagram for almost every idea.

How a frozen CLIP vision encoder gets bridged to a large language model with nothing more than a single trainable linear layer, trained on GPT-4-generated multimodal instruction-following conversations in two stages — feature alignment, then end-to-end instruction tuning — worked by hand with a tiny toy example, reusing the ViT, CLIP, and BLIP-2 machinery from the earlier posts.

How a frozen ViT-style image encoder and a frozen pretrained LLM get bridged without fine-tuning either one: the Querying Transformer (Q-Former) learns a small set of query tokens that extract the most language-relevant visual features, trained in two stages — first with CLIP-like contrastive and matching losses against text, then against the frozen LLM's generative loss — worked by hand with a tiny toy example, reusing the ViT and CLIP machinery from the earlier posts.

How ViT's image encoder and a causally-masked Transformer text encoder combine into one model: projecting both into a shared embedding space, training with a symmetric contrastive loss instead of a fixed label set, and reading zero-shot classifications straight out of the same similarity computation used during training — worked by hand with a tiny toy batch of image-caption pairs, reusing the ViT and encoder/decoder machinery from the earlier posts.

How the Transformer encoder becomes BERT: token, segment, and learned positional embeddings for a sentence pair, masked language modeling as the trick that makes bidirectional pretraining possible at all, next sentence prediction, and fine-tuning the same pretrained encoder for different downstream tasks — worked by hand with the same toy vocabulary as the encoder post.

How a Transformer built for text gets adapted to images: splitting an image into patches, linearly projecting them into a sequence, prepending a learnable [CLS] token, adding learnable positional embeddings, and reading a classification back out — worked by hand with a tiny toy image, reusing the encoder machinery from the earlier post.

Continuing from the encoder, walk through the Transformer's decoder by hand: masked self-attention on the target sequence, cross-attention into the encoder's output, and generating tokens one at a time — using the same tiny 4-dimensional toy example throughout.

Walk through each module of the Transformer encoder by hand, using a tiny 4x4 matrix and runnable Python snippets. Covers token embeddings, positional encoding, Query/Key/Value, self-attention with causal masking, multi-head attention, and the feed-forward network.

단순 잇몸 붓기로 시작해 부비동 수술까지 받게 된 미국에서의 첫 병원 경험기

로스카보스의 '솔라즈 리조트'는 번잡한 시내에서 벗어나 온전한 휴식을 취하기에 완벽한 고급 휴양지다. 전담 버틀러의 세심한 서비스, 탁 트인 인피니티 풀, 그리고 아이가 매일 찾을 정도로 훌륭한 키즈클럽 덕분에 가족 여행객도 쾌적하게 머물 수 있다. 객실 수납공간 부족 등 사소한 단점은 있지만, 수준 높은 다이닝과 프라이빗하고 여유로운 분위기가 이를 충분히 상쇄한다. 조용하면서도 럭셔리한 가족 여행을 원한다면 기꺼이 재방문하고 싶을 만큼 매력적인 곳이다.

산타크루즈에서 여러 번의 방문을 통해 검증한 레스토랑, 카페, 브런치, 디저트 맛집 모음. 각 업소의 영업시간과 실용적인 방문 팁을 함께 정리했다.

출퇴근길 라디오에서 자주 들리는 원금 보장에 연 10% 이자 보장 금융상품 — Life Settlement가 실제로 어떤 구조인지 정리했다.

미국에서 비자로 이사할 때 업데이트해야 할 것들 — 이민국, DMV, 세금기관, 은행, 보험, 유틸리티까지 비자 유형별 주의사항 포함.

2024년 초여름 시애틀 학회 출장. 하얏트 글로벌리스트 혜택으로 올리브8 최상층 객실을 업그레이드 받아 스파와 수영장을 비롯한 시설을 충분히 활용했다.

그랜드 하얏트 플라야 델 카르멘 글로벌리스트 체크인 경험과 Grand Suite King 방 컨디션, 호텔 시설 전반에 대한 리뷰.

2023년 연말 연휴를 맞아 유카탄 반도의 휴양지 플라야 델 카르멘으로 6박 7일 여행을 다녀왔다. SFO 장기주차, 알라스카 항공 체크인, 칸쿤 공항 이동까지의 기록.

회사 프로모션으로 획득한 Alaska MVP 엘리트로 처음 이용한 알라스카 항공. SFO-LAX 노선에 투입된 SkyWest 운항 ERJ-175에서 예상치 못한 일등석 업그레이드를 경험했다.

나파 밸리 욘트빌 다운타운에 자리한 5성급 럭셔리 호텔. 아메리칸 익스프레스 Fine Hotels & Resorts로 예약해 King Steam Spa Suite 업그레이드와 4시 레이트 체크아웃, 무료 조식을 누렸다. 모든 객실이 스위트이며 스팀샤워·실외샤워·전용 마당을 갖춘 구성이 인상적이었다.

다운타운 LA 한복판에 자리한 메리엇 본보이 계열 레지던스 인. 골드 엘리트 혜택으로 23층 스위트로 업그레이드되어 LA 전망을 즐겼다. 스튜디오 이상 모든 객실에 풀 키친이 갖춰져 있어 아이 동반 여행이나 장기 투숙에 특히 적합하다.

1960년 동계올림픽이 열렸던 스쿼 밸리의 하얏트 계열 리조트. 팬데믹 시기에 방문한 덕에 한적한 환경에서 스위트룸 주방과 거실 벽난로, 계곡 전망을 즐길 수 있었다.

산호세 알비소 지역에 자리한 카운티 공원. 샌프란시스코만 남단의 탁 트인 전망과 습지 복원 현장, 폐쇄된 마리나의 흔적을 함께 볼 수 있다. 입장 무료이며 자전거 하이킹에도 적합하다.

샌프란시스코만 남단에 자리한 국립 야생동물 보호구역. 광활한 해수 소택지에서 다양한 철새와 텃새를 관찰할 수 있으며, 완만한 탐방로와 잘 갖춰진 교육 센터 덕분에 가족 나들이에도 적합하다.

캘리포니아 주 정부 청사 바로 옆에 자리한 하얏트 리젠시. 고층 코너룸으로 업그레이드를 받아 새크라멘토 다운타운 전망을 즐겼다. 다운타운 주요 관광지까지 도보 접근이 가능하고 가격도 합리적이며, 수영장과 스파 시설도 갖추고 있다.

Ubuntu에서 OpenCV 3.x를 소스 빌드로 설치하는 방법. 필수·선택 의존성 설치부터 CMake 구성, CUDA 가속 옵션, 빌드·설치까지 단계별로 정리했다.

캐너리 로우 한복판에 자리한 IHG 계열 호텔. 비수기 업그레이드로 벽난로 객실에 묵으며 몬터레이 만 전망을 즐겼다. 일본풍 인테리어와 젠 가든·분재 데코, 아그라리아 어메니티가 인상적이며, 욕조·샤워 부스 분리 구조와 슬리퍼 제공이 미국 호텔치고는 이례적으로 만족스러웠다.

도쿄 토라노몬 힐즈 빌딩 최상층(47-52층)에 자리한 하얏트 안다즈의 도쿄 플래그십. 신바시부터 오다이바, 스카이트리까지 이어지는 파노라마 전망이 객실의 가장 큰 매력이다. 51층 조식 뷔페도 수준급이며 전 스태프가 영어에 능통하다. 평일 요금이 주말보다 낮아 일정이 유연하다면 평일 투숙을 추천한다.

하얏트 리젠시 하코네 리조트 1층의 일식 파인 다이닝 산다화(山茶花) 코스 체험기. 게살 차완무시와 모치 돼지고기 튀김이 특히 인상적이었으나, 스시 메인은 무난한 수준이었고 가격 대비 양은 아쉬운 편이었다. 하코네에서 몇 안 되는 파인 다이닝으로, 리조트 장박 시 한 번쯤 시도해 볼 만하다.

하코네 유일의 5성급 체인 리조트. 눈에 띄지 않는 조용한 입구부터 오와쿠다니 온천수를 사용하는 실내 온천까지, 주류까지 무료 제공하는 리빙 룸 음료 서비스가 특히 인상적이었다.

하코네 외곽에 자리한 1883년 개관의 문화재 온천료칸. 폭설 속 셔틀 거부, 차가운 객실, 낡은 가구로 5만 엔이 넘는 숙박비가 아깝게 느껴졌지만, 가이세키 코스 요리만큼은 인근 최고급 료칸을 웃도는 수준이었다.

나리타 심야 착륙 후 하룻밤 쉬어가기에 알맞은 힐튼 호텔. 시설은 다소 오래됐지만 객실이 넓고 청결하며, 골드·다이아몬드 회원에게는 조식과 바 음료 쿠폰까지 제공돼 가성비가 탁월하다.

방마다 전용 노천온천이 딸린 닛코 산속 료칸. 산과 정원이 내려다보이는 다다미 객실에서 A5 와규 샤부샤부와 도치기산 딸기 디저트로 마무리되는 가이세키 코스를 즐길 수 있으며, 서비스 수준도 4성급 호텔에 뒤지지 않는다.

샌프란시스코 파이낸셜 디스트릭트에 위치한 스타우드 계열 호텔. 페리빌딩 불꽃놀이를 객실에서 바로 감상할 수 있고, 합리적인 가격에 넓은 욕실까지 갖춘 만족스러운 숙소였다.

After receiving a Ph.D. in Computer Vision from the University of California, Santa Cruz, I have been working at Apple as a Senior Machine Learning Engineer.