Für meinen Kunden im Industriebereich suche ich einen passende/n AI Architekt/in, die/der sich mit Semantic Search / Embeddings auskennt.

Standort: flexibel / hybrid / remote
Bereich: AI Infrastructure & Search Systems
Level: Senior / Expert
Start: November
Laufzeit: zunächst 6 Monate, Option auf Verlängerung
Sprache: Englisch ausreichend (Konzernumfeld)

---

Ziel der Rolle
Du verantwortest die Architektur, den Aufbau und den Betrieb performanter, hochverfügbarer Plattformen für semantische Suche und Vektorbasierte Informationssysteme (z. B. Elasticsearch, SolrCloud, Weaviate).
Dein Schwerpunkt liegt auf Skalierbarkeit, Latenzoptimierung, Resilienz und Observability im Umfeld moderner Embedding- und Retrieval-Technologien.

---

Kernaufgaben

• Design und Betrieb von Elasticsearch-, SolrCloud- oder Weaviate-Clustern für hybride und vektorbasierte Suche
• Planung von Shard-, Replikations- und Partitionierungsstrategien für hohe Indexierungs- und Query-Last
• Optimierung von Index-Layouts, Caching, Heap-Management 
• Aufbau und Pflege von CI/CD- und MLOps-Pipelines für Search- und Embedding-Workloads
• Performance-, Stress- und Failover-Tests in komplexen Cluster-Umgebungen
• Sicherstellung von Security, Mandantenfähigkeit (Encryption,  RBAC, OIDC/OAuth2)
• Monitoring und Observability
• Enge Zusammenarbeit mit Software-Architekten, um Relevanzlogik, Embedding-Pipelines und Infrastruktur nahtlos zu integrieren

---

Must-Have Skills
Search Infrastructure

• Tiefes Verständnis von Elasticsearch/OpenSearch, SolrCloud oder Weaviate inkl. Sharding, Replication, Index-Management, Snapshot/Restore

Vektor- & ANN-Suche

• Betrieb & Tuning von HNSW-basierten Indizes, Speicher-Sizing, Recall-/Latenz-Optimierung, RAM-Planung

Performance & Scaling

• Erfahrung mit Hot/Warm/Cold-Tiers, Custom Routing, Bulk-Ingest-Optimierung, Query-Caching, JVM/GC-Tuning

Kubernetes & Cloud

• Betrieb von Stateful Clustern auf Kubernetes (EKS/AKS/GKE oder On-Prem), Helm-Charts, PVC-Tuning, Auto-Scaling

Storage & Hardware

• Planung von Storage, Memory, IO-Design für High-Load-Umgebungen

Observability & SRE

• Aufbau von Monitoring-Dashboards, Alerting zur Überwachung der Cluster

Security & Compliance

• IAM, Secrets-Management, Audit-Logging

Scripting & Automation

• Automatisierung (Bash, Terraform, Ansible oder Helm)

---

 Nice-to-Have Skills

• Erfahrung mit Hybrid Search (BM25 + Embeddings)
• Kenntnisse in LangChain, LlamaIndex, Haystack oder RAG-Systemen
• Umgang mit Kafka/Pulsar/Logstash für Ingest-Pipelines
• Zertifizierungen (z. B. Elastic Certified Engineer, CKA, AWS/Azure Architect)

---

Soft Skills

• Systematische, analytische Denkweise und Freude an Performance-Tuning
• Enge Zusammenarbeit mit Entwicklern, Data Scientists und Security-Teams
• Proaktive Kommunikation und hohe Beratungskompetenz

---

Erfahrung & Ausbildung

• Abgeschlossenes Studium in Informatik, Information Systems, Data Engineering o. ä.
• Mind. 5 Jahre Projekt-Erfahrung im Aufbau oder Betrieb von Such- oder Datenplattformen unter hoher Last
• Praktische Erfahrung mit Embedding-basierten Anwendungen oder Retrieval-Systemen