Mediapipe × TouchDesigner
为 2025 上海城市空间艺术季临港分会场开发的非接触式手势识别烟花触发:摄像头 → Mediapipe 手势骨架 → Python 后端 → TouchDesigner 实时渲染。
设计师 · 研究者 · 工具构建者
写代码、出效果图,过去都得练很久;现在这些门槛被 AI 降了不少。会做的人多了,做得准的还是少。判断最耗神,能交给机器的重复我都交出去,把心思留给构图、空间关系,还有什么该做、做到哪一步。这几年在空间、交互、数据和代码之间来回做,练的就是这点眼力。
下滑至索引↓建筑、参数化、TouchDesigner 交互与机器学习,是不同的工具;我让它们 指向同一类关切 :空间在被使用前的「可感知度」,与被使用时的「可被理解度」。
这几年的求学路上,做过乡村民宿、城市更新、商业综合体、校园设计与展示设计等不同尺度的课题;在实习与联合实践中,也参与过从概念到深化的若干段落。
同时用 TouchDesigner + Mediapipe 做可以走近、可以被身体理解的展场装置,用 Python / XGBoost / LightGBM 搭能预测教室能耗与光环境的工具链。
这几年的求学路上,做过乡村民宿、城市更新、商业综合体、校园设计与展示设计等不同尺度的课题;在实习与联合实践中,也参与过从概念到深化的若干段落。同时用 TouchDesigner + Mediapipe 做可以走近、可以被身体理解的展场装置,用 Python / XGBoost / LightGBM 搭能预测教室能耗与光环境的工具链。载体不同,但指向同一类工作:把模糊的体验压成可审阅、可比对的设计变量。
载体不同,但指向同一类工作:把模糊的体验压成可审阅、可比对的设计变量。
主展区 · 5 件。独立与团队条目均按时间线排列;每条目写明贡献与主导模块。团队作品一并收录,因其最能体现落地完成度;独立完成的项目,均由本人担任主创。
进入完整作品集→对深圳气候区的教室完成 14 维特征工程,构建 XGBoost / LightGBM / Random Forest 堆叠集成模型,并用 SHAP 解释各变量的边际贡献。再以 RBF 多目标优化生成帕累托前沿,AHP + CRITIC 混合权重筛选可行解,性能优先、表达后置。最终用 PyInstaller 打包成 Windows 桌面工具:正南 / 正北朝向、5 种遮阳策略下,实时预测 EUI、sDA、UDI、sGA、SVF 五项指标。
为 2025 上海城市空间艺术季临港分会场开发的非接触式手势识别烟花触发:摄像头 → Mediapipe 手势骨架 → Python 后端 → TouchDesigner 实时渲染。
用 Vuforia 在 Unity 中完成图像识别 AR 互动应用,并用 Kivicube 在微信小程序端快速发布。展场不需要安装包,扫码即用。
AR 标记物 · 扫描后触发对应展项动画
一件玻璃钢座椅:波浪曲面在 Rhino SubD 中调形,坐面编织纹理由 Grasshopper 生成构件;另一件波波椅由字母形体渐变拉伸成可坐曲面,流程以手工建模为主、未使用 GH。两件玻璃钢坐具共同构成 2025 上海城市空间艺术季临港分会场的坐具方阵。
玻璃钢座椅 · 波波椅 · 临港分会场现场实拍
波波椅设计版权 © 畎亩建筑
在堆栈模型基础上,用 SHAP 把朝向、遮阳、窗墙比、窗在立面上的具体坐标等变量的边际贡献还回设计师能直接读懂的图——窗墙比基于窗户在立面的实际位置而非仅窗中心。
EUI / sDA / UDI / sGA / SVF · 14 维特征对 5 个指标的 SHAP 解释
把喜欢的曲目放进 TouchDesigner,让每一帧的频谱沿环形回放成「年轮」——曲目越长,环越深;高频闪烁,低频厚实。九首歌跑同一套节点图,跑出九张不同的脸。教程参考 bileam 授权的 TD 官方中文版「生成音轮」。
九条音轨 · 同一套节点图 · 点击任意一条弹窗播放
基于 Collapsing Noise 教程改写的 TD 粒子系统:粒子被音频驱动塌缩 — 回弹,再用 instancing 渲染上千实例。换了主题色不再黑白,下一步研究打光。
粒子塌缩 — 回弹 · 同一套 TD 工程跑出三种节奏