DATA部門 Data Engineer

Insight & Data Tokyo, Japan


Description

Position at Capgemini Japan

Responsibilities:

·        Collaborate with users and project team on requirements and expectations

·        Analyze business requirements, create proper data solutions that meets functional and non-functional requirements

·        Define the data architecture, structure, storage, security model of data in HDFS, Hive, HBase, Solr, RestAPI

·        Design and implement highly scalable data pipelines in Scala/Spark/Java for processing of extreme large amount of data

·        Create and maintain reusable frameworks for data ingestion, validation, normalization, and transformation

·        Automate Unit testing and release with CI/CD pipeline

·        Create scripts for operations, releases, data migrations, data validations

·        Maintain data lineage information

·        Provide technical support for releases, issues, and incidents

 

Skills:

·        Solid knowledge and experience of Hadoop ecosystem: HDFS, Hive, HBase, Phoenix, Solr, Oozie, Impala, Knox, Zookeeper, YARN, Spark, Livy, HUE, Zeppelin

·        Strong programming skills in Scala and Spark

·        Strong capabilities in designing Database schemas on data platform

·        Good knowledge of Oracle database, MS-SQL Server, MongoDB, Kerberos, Linux, networking

·        Proficient in SQL, shell scripting, git, unit testing, CI/CD tools

·        Understanding of design principles, coding standards and best practices

·        Good problem-solving skills

·        Good data analytics skills

·        Excellent communication, presentation, and interpersonal skills

Preferable:

·        Understanding of REST API, micro-services, ETL, and Salesforce is preferred

·        Hand-on experience with Cloud services is preferred

·        Understanding of streaming data processing and change data capture is preferred

·        Experience with BI tools is preferred

Language:

·        Japanese: intermediate

·        English: intermediate

キャップジェミニについて

キャップジェミニは、テクノロジーの力を活用し、クライアントのパートナーとして、企業のビジネス変革・業務改革を支援するグローバルリーダーです。「テクノロジーの力で人々のエネルギーを解き放ち、インクルーシブで持続可能な未来を実現する」というパーパスを共有し、事業活動に取り組んでいます。キャップジェミニ・グループは、世界50か国以上、約34万人の使命感あふれる多様性に富んだチームメンバーから成る組織です。55年にわたり培ってきた高い専門性と業界への知見を活かし、クラウド・データ・AI・コネクティビティ・ソフトウェア・エンジニアリング・プラットフォームなど、急速に進化する革新的な技術を強みとしています。戦略・設計から運用まで幅広いビジネスニーズに対応し、クライアントからの厚い信頼をいただいています。2023年のグループの売上は225億ユーロです。

キャップジェミニについての詳細は、www.capgemini.com/jp-jp/ をご覧ください。
Get the Future You Want - 望む未来を手に入れよう