DATA部門 Data Engineer
Description
Responsibilities:
· Collaborate with users and project team on requirements and expectations
· Analyze business requirements, create proper data solutions that meets functional and non-functional requirements
· Define the data architecture, structure, storage, security model of data in HDFS, Hive, HBase, Solr, RestAPI
· Design and implement highly scalable data pipelines in Scala/Spark/Java for processing of extreme large amount of data
· Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation
· Automate Unit testing and release with CI/CD pipeline
· Create scripts for operations, releases, data migrations, data validations
· Maintain data lineage information
· Provide technical support for releases, issues, and incidents
Skills:
· Solid knowledge and experience of Hadoop ecosystem: HDFS, Hive, HBase, Phoenix, Solr, Oozie, Impala, Knox, Zookeeper, YARN, Spark, Livy, HUE, Zeppelin
· Strong programming skills in Scala and Spark
· Strong capabilities in designing Database schemas on data platform
· Good knowledge of Oracle database, MS-SQL Server, MongoDB, Kerberos, Linux, networking
· Proficient in SQL, shell scripting, git, unit testing, CI/CD tools
· Understanding of design principles, coding standards and best practices
· Good problem-solving skills
· Good data analytics skills
· Excellent communication, presentation, and interpersonal skills
Preferable:
· Understanding of REST API, micro-services, ETL, and Salesforce is preferred
· Hand-on experience with Cloud services is preferred
· Understanding of streaming data processing and change data capture is preferred
· Experience with BI tools is preferred
Language:
· Japanese: intermediate
· English: intermediate
キャップジェミニについて
キャップジェミニは、お客様のビジネストランスフォーメーションならびにテクノロジートランスフォーメーションのグローバルパートナーです。企業が“デジタル世界”と“持続可能な世界”への移行を加速できるようご支援し、組織と社会へのインパクトを目に見える形で生み出しています。当グループは、世界50か国以上、約34万人の使命感あふれる多様性に富んだチームメンバーから成る組織です。55年にわたり培ってきた豊富な実績を有し、幅広いビジネスニーズへの対応をテクノロジーの力で支援するパートナーとして、お客様から厚いご信頼をいただいています。AI、クラウド、データ領域で市場をけん引する能力を発揮し、各業界への深い専門知識とパートナーエコシステムを組み合わせ、戦略・設計からエンジニアリングまでを網羅する強みを活かして、エンドツーエンドのサービスやソリューションをご提供しています。2023年のグループ売上高は22.5億ユーロです。
Get the Future You Want - 望む未来を手に入れよう | https://www.capgemini.com/jp-jp
Love your career. Ace your career.