DATA部門 Data Engineer

Insight & Data Tokyo, Japan


Description

Position at Capgemini Japan

Responsibilities:

·        Collaborate with users and project team on requirements and expectations

·        Analyze business requirements, create proper data solutions that meets functional and non-functional requirements

·        Define the data architecture, structure, storage, security model of data in HDFS, Hive, HBase, Solr, RestAPI

·        Design and implement highly scalable data pipelines in Scala/Spark/Java for processing of extreme large amount of data

·        Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation

·        Automate Unit testing and release with CI/CD pipeline

·        Create scripts for operations, releases, data migrations, data validations

·        Maintain data lineage information

·        Provide technical support for releases, issues, and incidents

 

Skills:

·        Solid knowledge and experience of Hadoop ecosystem: HDFS, Hive, HBase, Phoenix, Solr, Oozie, Impala, Knox, Zookeeper, YARN, Spark, Livy, HUE, Zeppelin

·        Strong programming skills in Scala and Spark

·        Strong capabilities in designing Database schemas on data platform

·        Good knowledge of Oracle database, MS-SQL Server, MongoDB, Kerberos, Linux, networking

·        Proficient in SQL, shell scripting, git, unit testing, CI/CD tools

·        Understanding of design principles, coding standards and best practices

·        Good problem-solving skills

·        Good data analytics skills

·        Excellent communication, presentation, and interpersonal skills

Preferable:

·        Understanding of REST API, micro-services, ETL, and Salesforce is preferred

·        Hand-on experience with Cloud services is preferred

·        Understanding of streaming data processing and change data capture is preferred

·        Experience with BI tools is preferred

Language:

·        Japanese: intermediate

·        English: intermediate

キャップジェミニについて

キャップジェミニは、お客様のビジネストランスフォーメーションならびにテクノロジートランスフォーメーションのグローバルパートナーです。企業が“デジタル世界”と“持続可能な世界”への移行を加速できるようご支援し、組織と社会へのインパクトを目に見える形で生み出しています。当グループは、世界50か国以上、約34万人の使命感あふれる多様性に富んだチームメンバーから成る組織です。55年にわたり培ってきた豊富な実績を有し、幅広いビジネスニーズへの対応をテクノロジーの力で支援するパートナーとして、お客様から厚いご信頼をいただいています。AI、クラウド、データ領域で市場をけん引する能力を発揮し、各業界への深い専門知識とパートナーエコシステムを組み合わせ、戦略・設計からエンジニアリングまでを網羅する強みを活かして、エンドツーエンドのサービスやソリューションをご提供しています。2023年のグループ売上高は22.5億ユーロです。

Get the Future You Want - 望む未来を手に入れよう | https://www.capgemini.com/jp-jp
Love your career. Ace your career.