张欣耕

联合创始人兼首席工程师 | AI/ML 专家

简介

我设计并构建端到端的 AI Agent 基础设施，把劳动密集型流程转变为可靠, 可扩展的自动化系统。

工作经历

联合创始人兼首席工程师

2025年1月 - 至今

Empath Legal

新泽西州皮斯卡特维

与联合创始人 Grant 一起构建 AI 驱动的法律研究工具, 专注于创建能够加速律师分析而不取代其判断的系统。弥合复杂 AI 能力与需要用户友好, 可靠工具进行高风险决策的非技术专业人员之间的差距。

  • 架构并实施了一个基于 Pydantic AI 的高级 Agentic RAG 系统, 使用 ReACT 框架编排多个 GenAI 智能体, 以提高法律文档分析中的内容检索准确性。

  • 使用 Litestar (具有比 FastAPI 更优越架构灵活性的现代 Python 框架) 设计并开发了可垂直扩展的 RESTful API 后端, 利用 WebSocket 和 SSE 实现异步响应式实时 LLM 集成。

  • 实施了全面的评估框架, 以确保高质量的 AI 生成结果, 降低幻觉率并保持法律专业人员所需的可靠性。

  • 集成了多个 LLM 提供商, 包括 Google Gemini (用于长上下文处理) , Anthropic Claude (用于输出质量) , OpenAI GPT (用于个性和推理) 以及像 Mixtral 这样的开源模型以实现成本效益。

  • 使用 TypeScript, SvelteKit 和 shadcn 协作开发前端, 创建专为非技术律师设计的高度直观, 用户友好的界面, 强调易用性和交互式工作流。

  • 设计并维护具有适当索引策略的 PostgreSQL 数据库架构, 利用 SQLAlchemy 和 Advanced Alchemy ORM 优化高容量 AI 操作的查询性能。

  • 构建了用于内部使用的专有 GenAI 框架, 以确保跨不同 LLM 提供商和用例的高质量, 可预测的输出。

  • 使用 Docker 对解决方案进行完全容器化以实现可扩展部署, 实施包含 GitHub Actions, SonarQube 和用于 AsyncIO 测试的 PyTest 的全面 CI/CD 管道。

  • 使用 Celery 进行任务管理, 使用 Temporal Workflow 处理复杂, 可靠的多步骤流程, 设计了工作流编排。

  • 实施 Redis 用于发布订阅功能和缓存, 并集成 OpenSearch 用于可观测性 (指标和追踪) 以及 structlog 用于全面日志记录。

  • 设计了复杂的提示词和护栏, 以确保 AI 协助用户而不引导或误导他们的意见, 保持人类判断在决策过程中的核心地位。

  • 领导与非技术利益相关者的跨职能团队会议, 确保 AI 开发符合客户需求并为法律专业人员提供有意义的价值。

  • 在整个代码库中强调强类型 Python, 以确保生产环境中的稳健性, 可维护性和可靠性。

AI/ML 工程师

2024年8月 - 2024年12月

花旗集团 (Citigroup Inc.)

新泽西州拉瑟福德

为金融合规和文档分析开发企业级 RAG 系统, 处理结构化数据处理管道和多云部署。

  • 使用 Python 构建结构化数据处理管道, 以实现高效的文档处理和分析。

  • 使用 FastAPI 设计 RESTful API, 用于实时数据摄取和 NLP 处理到 PostgreSQL 数据库中。

  • 使用 OpenShift 和 Apache Spark 大规模部署解决方案, 维护稳健的 CI/CD 程序。

  • 利用 LangChain 使用 Agentic RAG 系统和知识图谱 (RDF 和 LPG 格式) 来提高 AI 驱动的合规性分析中的检索准确性。

  • 实施评估指标和可视化, 以确保 LLM 质量并减少错误调查时间。

  • 利用 OpenAI GPT, Claude 和 Google Gemini 模型, 并微调开源 LLM 以开发定制的 Agentic RAG 系统。

  • 开发以人为本的评估框架 (RLHF), 以评估 LLM 在现实场景中的表现并确保与用户意图保持一致。

  • 使用 S3, EC2, Glue, Lambda, SageMaker 和 Bedrock 在 AWS 上部署 AI 驱动的 RAG 系统, 用于数据处理和 LLM 集成。

  • 开发 FastAPI 接口和 gRPC 协议, 用于 Azure 和 AWS 云提供商之间的 API 集成。

AI/ML 工程师

2023年1月 - 2024年8月

罗伯特伍德约翰逊大学医院 (Robert Wood Johnson University Hospital)

新泽西州新不伦瑞克

为医学研究人员构建 AI 驱动的研究助手工具, 自动化文档分析并改善学术团队的研究工作流。

  • 设计, 构建并部署了一个使用 Python, JavaScript, SQL 和 Chroma 向量数据库的 Agentic RAG 系统, 以自动化研究文档的解析和摘要。

  • 使用 OpenAI 和 React 框架设计了一个高级 RAG 系统, 以减少学术人员的入职时间并提高研究效率。

  • 与学术研究人员组成的跨职能团队合作, 将反馈整合到 NLP 系统中, 使平台与研究目标保持一致。

  • 为员工举办 ML 使用研讨会, 推动整个组织采用 ML 增强的工作流。

  • 利用 AWS SageMaker 进行模型微调, 利用 AWS Bedrock 在生产环境中提供模型服务。

机器学习工程师

2020年1月 - 2021年7月

Fiskkit Inc.

加利福尼亚州旧金山

将 NLP 驱动的功能集成到生产 Web 平台中, 专注于使用 PyTorch 和图形数据库进行实时文本生成和语义分析。

  • 将 NLP 驱动的功能集成到 Node.js 后端, 使用 PyTorch (C++ CUDA) 进行实时文本生成和摘要。

  • 使用 PySpark, NumPy 和 Pandas 进行数据预处理和探索, 以确保模型训练的高质量数据集成。

  • 使用 TensorRT 通过量化和剪枝技术优化深度学习模型。

  • 使用 Neo4j 和 Cypher 查询构建语义图数据库, 以存储和查询复杂关系。

教学经历

  1. 助教
    罗格斯大学 (Rutgers University)
    2020年12月 - 2022年12月

    辅导计算机科学和机器学习的学生, 帮助将理论概念与实际实现相结合

出版物

出版物

  • Berns, M. P., Nunez, G. M., Zhang, X., et al. (2024年9月). Auditory Decision-making Deficits After Permanent Noise-induced Hearing Loss.