Sparkのフリーランス求人・案件一覧| フリーランスエンジニア募集

案件の内容

------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業概要】 弊社では、下記三つの事業を展開しております。 ・クラウドインテグレーション事業 ・データ分析サービス事業 ・DevOps関連サービス事業 クラウド、OSS、アジャイル、DevOps、データ解析・機械学習等の先端技術について 多くの経験および知識を有するITプロフェッショナル企業として顧客企業と共に、 様々な付加価値を社会に提供し、「社会」および「人々」の進化に貢献している企業です。 【案件内容】 大手自動車部品メーカー様の主に画像データをMLOpsで利用できるデータセットとして管理する基盤の構築するプロジェクトでエンジニアを募集してます。 顧客の要望に応じ、データを加工しデータを用意したり、それに伴うデータベースの構築などご担当いただきます。 また直近ではDWHの移行などの作業もございます。 【配属予定プロジェクト】 ・クライアント/プロジェクト：大手自動車部品メーカー様のMLOps基板構築 ・プロジェクトチーム体制 …5名(エンジニア x4) +顧客PM ・開発形式：アジャイル 　 ・開発環境 　▼使用言語 　・Python言語 　▼使用ツール 　・AWS (Sagemaker、Lambda、SQS、ECS、step functions、DocumentDBなど) 　・snowflake 　・IaC (Terraform)大 【得られるキャリア・職場の魅力】 クライアントや他メンバーと同じチームを組んで、大規模データ処理基盤の構築を行っていただきます。最新の技術スタックに関わりながら大手自動車メーカーの社会プロジェクトへの貢献ができます。 クライアントとも同じメンバーとして働くことができるため密なコミュニケーションが取れるほか、改善や意見を率直に言える環境です。 フルリモート、コアタイムなしのフルフレックス。残業時間も少なく（平均10時間程度）、ワークライフバランスを実現しやすい働き方をお約束します。 【条件】 ・フルリモート ・参画期間 ：2025年4月〜　半年以上 ・面談　　 ：1～2回予定 （PJの弊社PMとの面談後に顧客先との面談実施の可能性あり）

求めるスキル

・AWS上での開発経験 ・Python開発経験 ・Git操作が一通りできること ・DataBase(RDB)を活用したアプリケーションの開発経験 ・IaC(Terraformなど)を使用してクラウドインフラの使用経験 ・使ったことのない技術に関するキャッチアップ力

案件の内容

■案件概要 既存のAWSデータレイク基盤をベースにした追加開発 ■必須スキル (1) Python（Spark）での開発経験 ■尚可スキル (1) AWSの設計・開発経験(以下利用想定サービス) 　　S3 　　Glue 　　Athena (2)データレイク(またはDWH)の開発経験 ■必要人数 1名 ※増員の可能性あり 作業場所：ほぼフルリモート　※初日のみ六本木出社の必要あり 期　　間：2023年12月～長期 面　　談：弊社WEB面談1回のみ 人月単価：～90万　※スキル見合い 案件商流：エンド→弊社 商流制限：貴社1社先まで 時間幅　：140-180H 外国籍　：不可

求めるスキル

■案件概要 既存のAWSデータレイク基盤をベースにした追加開発 ■必須スキル (1) Python（Spark）での開発経験 ■尚可スキル (1) AWSの設計・開発経験(以下利用想定サービス) 　　S3 　　Glue 　　Athena (2)データレイク(またはDWH)の開発経験 ■必要人数 1名 ※増員の可能性あり 作業場所：ほぼフルリモート　※初日のみ六本木出社の必要あり 期　　間：2023年12月～長期 面　　談：弊社WEB面談1回のみ 人月単価：～90万　※スキル見合い 案件商流：エンド→弊社 商流制限：貴社1社先まで 時間幅　：140-180H 外国籍　：不可

案件の内容

■案件概要 ・既存のAWS基盤の調査改善 ・ETL環境運用作業（テーブル追加、カラム変更程度） ■必須スキル (1) AWSの設計・開発経験 ■尚可スキル (1)AWSの設計・開発経験(以下利用想定サービス) 　　RDS(MySQL) 　　DMS 　　Glue（Apache Spark） 　　DynamoDB 　　Redshift (2)上記と類同しないデータレイク(またはDWH)の開発経験 (3)アプリケーションパイプラインの開発経験（Jenkins、Github） (4)シェルスクリプト作成経験 (5)Pythonを利用したアプリケーション開発経験 作業場所：基本的にフルリモート　※pc受取で初日のみ渋谷出社 期　　間：2024年1月～中長期 人月単価：90万～125万円　※スキル見合い 募集人数：1名　※増員の可能性あり 案件商流：エンド→弊社 商流制限：有(貴社1社先まで) 精　　算：140-180H 契約形態：準委任 支払い　：40日サイト 面　　談：弊社WEB1回のみ 備　　考：弊社より2名参画中、交代枠として1名募集　

求めるスキル

■案件概要 ・既存のAWS基盤の調査改善 ・ETL環境運用作業（テーブル追加、カラム変更程度） ■必須スキル (1) AWSの設計・開発経験 ■尚可スキル (1)AWSの設計・開発経験(以下利用想定サービス) 　　RDS(MySQL) 　　DMS 　　Glue（Apache Spark） 　　DynamoDB 　　Redshift (2)上記と類同しないデータレイク(またはDWH)の開発経験 (3)アプリケーションパイプラインの開発経験（Jenkins、Github） (4)シェルスクリプト作成経験 (5)Pythonを利用したアプリケーション開発経験 作業場所：基本的にフルリモート　※pc受取で初日のみ渋谷出社 期　　間：2024年1月～中長期 人月単価：90万～125万円　※スキル見合い 募集人数：1名　※増員の可能性あり 案件商流：エンド→弊社 商流制限：有(貴社1社先まで) 精　　算：140-180H 契約形態：準委任 支払い　：40日サイト 面　　談：弊社WEB1回のみ 備　　考：弊社より2名参画中、交代枠として1名募集　

案件の内容

■案件概要 　データ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） ■作業詳細 　スクラムのメンバーとして、基盤構築/アプリ開発 　ビッグデータの加工・集計業務 ■必須要件 ・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計・構築したことがある経験 - S3の基礎的な知識(ストレージクラス、ライフサイクル、イベント駆動など) - Lambda 利用経験 ・ プログラミング経験 - AWSと連携する機能を設計・実装・テストした経験 - Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可 ・ Linux操作 - 基本的なコマンド操作 ■尚可要件 ・ AWSのデータ系サービス、ワークフローサービスの知識 - Glue, EMR, Step Functionsを利用してETLワークフローを設計・構築した経験 ・ IaCを利用してクラウドインフラをコードで管理した経験 - Terraform, AWS CDK(Python)の両者をプロジェクトでは使用 ・ Apache Spark(PySpark: 分散処理フレームワーク)、Hadoopでの大規模分散処理 ・ Snowflakeを利用したDWH構築経験 ・ スクラムによる開発経験 ・ 要件定義、上流設計、アーキテクチャ設計、機能設計経験 ・ データセキュリティ、暗号化、データプライバシーの理解 ■その他条件： 　作業期間：即日 　作業時間：9:00～18:00 　作業場所：品川シーサイド 　募集人数：1名 　月額単価：～75万円程度 　時間精算：有り（時間幅：140h～180h） 　面談回数：顧客WEB面談1回 　契約形態：準委任 　再委託　：貴社社員のみ

求めるスキル

■案件概要 　データ利活用を目的としたビッグデータの加工・集計業務（主にAWSを利用しての開発） ■作業詳細 　スクラムのメンバーとして、基盤構築/アプリ開発 　ビッグデータの加工・集計業務 ■必須要件 ・ AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計・構築したことがある経験 - S3の基礎的な知識(ストレージクラス、ライフサイクル、イベント駆動など) - Lambda 利用経験 ・ プログラミング経験 - AWSと連携する機能を設計・実装・テストした経験 - Python, SQL、シェルスクリプトをメインで使用。別言語の経験でも可 ・ Linux操作 - 基本的なコマンド操作 ■尚可要件 ・ AWSのデータ系サービス、ワークフローサービスの知識 - Glue, EMR, Step Functionsを利用してETLワークフローを設計・構築した経験 ・ IaCを利用してクラウドインフラをコードで管理した経験 - Terraform, AWS CDK(Python)の両者をプロジェクトでは使用 ・ Apache Spark(PySpark: 分散処理フレームワーク)、Hadoopでの大規模分散処理 ・ Snowflakeを利用したDWH構築経験 ・ スクラムによる開発経験 ・ 要件定義、上流設計、アーキテクチャ設計、機能設計経験 ・ データセキュリティ、暗号化、データプライバシーの理解 ■その他条件： 　作業期間：即日 　作業時間：9:00～18:00 　作業場所：品川シーサイド 　募集人数：1名 　月額単価：～75万円程度 　時間精算：有り（時間幅：140h～180h） 　面談回数：顧客WEB面談1回 　契約形態：準委任 　再委託　：貴社社員のみ

案件の内容

◆案件概要： 　・既存プロジェクトへの追加案件となります。 　・Databricksでのバッチの設計、開発およびテスト 　・金融系の業務知識は不要です。 ◆必須スキル： 　・Python/SQL/のご経験 　・1人称にてタスク遂行ができる方 ◆尚可スキル： 　・Databricksの開発経験 　　※操作経験があればご教示下さい 　・Apache Spark/AWS Glue/Amazon EMRなどのSpark製品の経験 　・パブリッククラウドを利用した開発経験 　　※AWS/Azure/GCP等 ◆その他条件： 　・期間　　　：24年10月～ 　・勤務場所　：半蔵門 　　　　　　　　※出社必須 　・募集人数　：最大5名 　・単金　　　：～75万 　・精算幅　　：140h～180h 　・面談　　　：2回予定（弊社/顧客） 　・支払サイト：40日 　・商流制限　：貴社社員/契約社員まで 　・外国籍　　：不可 　・服装　　　：スーツ着用

求めるスキル

◆案件概要： 　・既存プロジェクトへの追加案件となります。 　・Databricksでのバッチの設計、開発およびテスト 　・金融系の業務知識は不要です。 ◆必須スキル： 　・Python/SQL/のご経験 　・1人称にてタスク遂行ができる方 ◆尚可スキル： 　・Databricksの開発経験 　　※操作経験があればご教示下さい 　・Apache Spark/AWS Glue/Amazon EMRなどのSpark製品の経験 　・パブリッククラウドを利用した開発経験 　　※AWS/Azure/GCP等 ◆その他条件： 　・期間　　　：24年10月～ 　・勤務場所　：半蔵門 　　　　　　　　※出社必須 　・募集人数　：最大5名 　・単金　　　：～75万 　・精算幅　　：140h～180h 　・面談　　　：2回予定（弊社/顧客） 　・支払サイト：40日 　・商流制限　：貴社社員/契約社員まで 　・外国籍　　：不可 　・服装　　　：スーツ着用

案件の内容

■案件概要： 　現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション ■必須要件 　・Apache Sparkを用いたデータ加工処理のご経験 　・Databricks,Snowflake（Snowpark）、AWS（Glue,EMR）の知見を有する方 　・勤怠に問題のない方 　・コミュニケーション能力の高い方 　・指示待ちではなく主体的に動いていただける方 ■その他： 　作業期間：7月～　※中長期 　作業時間：原則9:00～18:00 　作業工数：1.0～2.0人月 　作業場所：原則リモート（オンサイトMTGが発生した場合は門前仲町/後楽への出社の可能性有） 　募集人数：1～2名 　月額単価：～100万程度（スキル見合い） 　時間精算：有り（時間幅：140h～180h/月） 　面談回数：顧客WEB面談1回（事前弊社WEB面談実施の可能性有） 　案件商流：エンド⇒大手SIer⇒弊社 　支払周期：毎月月末締め翌々月10日支払い（40日サイト） 　契約形態：準委任 　外国籍：不可

求めるスキル

■案件概要： 　現行加工処理をマイグレーションの計画/方式の検討立案を行っていただきます 　【マイグレーション例】 　・現在オンプレミスのApache sparkで行われているデータ加工処理のクラウドシフト 　・ETLツールやHadoopで行われている処理をSparkを使用した加工処理に置換する 　　⇒Databricks、snowflake(snowpark)、AWS（Glue,EMR）等のSpark関連マネージド・サービスにマイグレーション ■必須要件 　・Apache Sparkを用いたデータ加工処理のご経験 　・Databricks,Snowflake（Snowpark）、AWS（Glue,EMR）の知見を有する方 　・勤怠に問題のない方 　・コミュニケーション能力の高い方 　・指示待ちではなく主体的に動いていただける方 ■その他： 　作業期間：7月～　※中長期 　作業時間：原則9:00～18:00 　作業工数：1.0～2.0人月 　作業場所：原則リモート（オンサイトMTGが発生した場合は門前仲町/後楽への出社の可能性有） 　募集人数：1～2名 　月額単価：～100万程度（スキル見合い） 　時間精算：有り（時間幅：140h～180h/月） 　面談回数：顧客WEB面談1回（事前弊社WEB面談実施の可能性有） 　案件商流：エンド⇒大手SIer⇒弊社 　支払周期：毎月月末締め翌々月10日支払い（40日サイト） 　契約形態：準委任 　外国籍：不可

案件の内容

◆案件概要/作業概要： 　・顧客グループ内のデータ利活用を目的としたビッグデータの加工 　　および集計業務を行うためのアプリ開発をご支援頂きます。 　・主にAWSを利用しての開発となります。 　・開発手法はスクラム開発であり、スクラムチームのメンバとして 　　基盤構築/アプリ開発を実施頂きます。 　　※設計、開発、テスト、リリース ◆必須スキル： 　・AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計/構築経験 - S3の基礎的な知識 　　　※ストレージクラス、ライフサイクル、イベント駆動等 - Lambda 利用経験 　・プログラミング経験 - AWSと連携する機能を設計/実装/テストした経験 - Python, SQL、シェルスクリプトの経験 　　　※別言語の経験でも可 ◆尚可スキル： 　・AWSのデータ系サービス、ワークフローサービスの知識 - Glue, EMR, Step Functionsを利用してETLワークフロー 　　　を設計・構築した経験 　・IaCを利用してクラウドインフラをコードで管理した経験 - Terraform, AWS CDK(Python)の両方を本プロジェクトにて 　　　使用 　・Apache Spark(PySpark：分散処理フレームワーク)、Hadoop 　　での大規模分散処理 　・Snowflakeを利用したDWH構築経験 　・スクラムによる開発経験 　・要件定義、上流設計、アーキテクチャ設計、機能設計経験 ※チーム①②があり、チーム②に関しては、よりインフラ寄りを 　求められているため、プログラミング経験は少なくてもご提案 　可能です（但し、開発経験ゼロはNGです）。 ◆その他条件： 　・期間　　　：7月～　長期 　　　　　　　　※開始時期（8月、9月等）相談可能 　・勤務場所　：リモート/出社併用 　　　　　　　　※出社時は品川（顧客先） 　・勤務時間　：09:00～18:00 　・募集人数　：1名 　・単金　　　：～70万 　　　　　　　　※スキル見合い 　・精算幅　　：140h～180h 　・面談　　　：2回予定 　・支払サイト：40日 　・商流制限　：貴社社員/契約社員まで 　・外国籍　　：不可

求めるスキル

◆案件概要/作業概要： 　・顧客グループ内のデータ利活用を目的としたビッグデータの加工 　　および集計業務を行うためのアプリ開発をご支援頂きます。 　・主にAWSを利用しての開発となります。 　・開発手法はスクラム開発であり、スクラムチームのメンバとして 　　基盤構築/アプリ開発を実施頂きます。 　　※設計、開発、テスト、リリース ◆必須スキル： 　・AWSの基礎的な知識/構築経験(AWS SAA相当の知識) - マネージドサービス中心に機能を設計/構築経験 - S3の基礎的な知識 　　　※ストレージクラス、ライフサイクル、イベント駆動等 - Lambda 利用経験 　・プログラミング経験 - AWSと連携する機能を設計/実装/テストした経験 - Python, SQL、シェルスクリプトの経験 　　　※別言語の経験でも可 ◆尚可スキル： 　・AWSのデータ系サービス、ワークフローサービスの知識 - Glue, EMR, Step Functionsを利用してETLワークフロー 　　　を設計・構築した経験 　・IaCを利用してクラウドインフラをコードで管理した経験 - Terraform, AWS CDK(Python)の両方を本プロジェクトにて 　　　使用 　・Apache Spark(PySpark：分散処理フレームワーク)、Hadoop 　　での大規模分散処理 　・Snowflakeを利用したDWH構築経験 　・スクラムによる開発経験 　・要件定義、上流設計、アーキテクチャ設計、機能設計経験 ※チーム①②があり、チーム②に関しては、よりインフラ寄りを 　求められているため、プログラミング経験は少なくてもご提案 　可能です（但し、開発経験ゼロはNGです）。 ◆その他条件： 　・期間　　　：7月～　長期 　　　　　　　　※開始時期（8月、9月等）相談可能 　・勤務場所　：リモート/出社併用 　　　　　　　　※出社時は品川（顧客先） 　・勤務時間　：09:00～18:00 　・募集人数　：1名 　・単金　　　：～70万 　　　　　　　　※スキル見合い 　・精算幅　　：140h～180h 　・面談　　　：2回予定 　・支払サイト：40日 　・商流制限　：貴社社員/契約社員まで 　・外国籍　　：不可

案件の内容

【仕事内容】 - AI契約管理システムのバックエンド領域における設計や機能開発・実装・レビュー・テスト・保守運用 - 直近のタスクとして、社内運用アプリケーションとのデータ連携部分のアダプタ設計と実装 - チームの生産性やプロダクト品質向上のため各種自動化やプロセスの整備、チームに知見を共有するためのドキュメント執筆

求めるスキル

- 5年以上のWebアプリケーション開発・運用実務経験 - Javaを用いたWebシステムの開発経験 - フレームワークを利用した開発・運用実務経験 - Linux環境での運用オペレーション経験 - RDBのスキーマ設計経験 - Gitを利用したチーム開発経験 - プルリクエストによるコードレビュー経験 - 単体テストコードの記述経験 - 機能要件をもとに設計から実装まで独力で完遂した経験 - チームをまたいだステークホルダーと議論し開発の意思決定を行った経験

案件の内容

------------------------------------------------------------------- ※重要※ 必ずご確認いただきご応募ください。 【必須要件】 ・20代後半～40代の方、活躍中！ ・基本的なコミュニケーションが取れる方必須 ・外国籍の方は、JLPT N1相当またはJPT700点以上のビジネス日本語上級レベル必須 ・フルタイム案件（副業不可） ・エンジニア実務経験3年以上必須 ------------------------------------------------------------------- 【企業】 1976年の創業から長きにわたって、主に証券・金融業界向けに基幹システムや情報系システムを開発してきました。 近年では証券・金融業界に加え、中堅・中小企業へのDX促進サポートに注力しています。 【業務内容】 情報系システム刷新。データ連携バッチを中心に刷新（DataStage、SPARK、インフォマティカ、Python、JP1）、クラウドは全てAWS。 工程：基本設計～ 【環境】 Python / SPARK / AWS / DataStage / インフォマティカ / JP1 【その他】 就業時間：9：00～17：30 リモート：週２～３程度 作業場所：門前仲町駅 徒歩5分

求めるスキル

・データ連携の開発経験

案件の内容

------------------------------------------------------------------- ■35歳～50歳が活躍中 ■フルタイム案件（副業不可） ■国内在住者の方限定　※セキュリティ担保の観点 ■日本語ネイティブの方が活躍中 ------------------------------------------------------------------- 【業務内容】 ・職種　　　：Webアプリケーション開発エンジニア（フロント・バックエンド・クラウドインフラ） ・スキル言語：後述 ・概要　　　：社内外公開APIの申し込み及び各種情報確認ポータル（PC向け）のフロントWEB及びそのバックエンドシステムの開発 ・勤務地　　：フルリモート ・就業時間.:9:00～17:30（実働：7時間30分）※コアタイム無しフレックス制度導入（全社員対象）12:00～13:00（休憩時間） ・稼働希望日：10月～ ・開発端末　：MacBook（貸与） ・募集人数　：2名 ＜開発言語＞ 利用頻度順 ・AWS(代替：インフラ知識。LinuxコマンドやDNSについての知識等) ・Typescript(代替：Javascript) ・React.js(代替：Vue.js) ・Node.js ・Go ・Java(SpringBoot3) ・Python ・MySQL ・AWSOpenSearch ・DynamoDB ・Docker ・Jenkins ・Nginx ・ApacheSpark(Pyspark/AWSGlue) ・プロジェクト運用でGitHub、Slack、Jira、Confluence、Cacoo等を利用

求めるスキル

・GitおよびGithubを利用したチーム開発経験 ・PC向けWebアプリケーションの2年以上の開発経験 ・バックエンド（Go、Python、Javaなど）の2年以上の開発経験 ・AWSを利用した2年以上の開発経験 ＜マインドセット＞ ・チームをリード、メンバーのサポートを進んで取り組むことができる

案件の内容

------------------------------------------------------------------- ■35歳～50歳が活躍中　 ■フルタイム案件（副業不可） ■国内在住者の方限定　※セキュリティ担保の観点 ■日本語ネイティブの方が活躍中 ------------------------------------------------------------------- ■企業概要 弊社は大企業の持つ資本力とベンチャーの持つスピード感を両立しており、 ０ベースでの技術的負債が無い状態でのスタートを切ることができます。 そしてビジネス的にもスピード感を持って大きなことにチャレンジできる土壌が整っております。 【仕事内容】 弊社は現在、Q&Aに特化したライブ配信アプリを開発しております。 インフラエンジニアとしてアプリの開発に加わっていただけるメンバーを募集しております。 具体的にはライブ配信アプリのインフラ環境の設計、構築、運用をお任せします。 ■ポジションの魅力 ・大型新規アプリの開発に0から参加できる ・裁量権を持って開発を進めることができる ・サイバーエージェントなどのテック企業出身のエンジニアが在籍 ■部署の魅力や雰囲気 ・積極的に新しい仕組みやツールに挑戦する ・ビジネスとエンジニアの距離が近い ・エンジニアからも機能提案などする機会が多い ■チーム体制 ・PdM：1名 ・バックエンドエンジニア：2名 ・モバイルエンジニア：3名 ・プロダクトデザイナー：1名 ■開発環境 •分散DB（CloudSpanner） •言語：Go言語 •通信：connect-goproto •コンピューティング：Kubernetes→CloudRun •DWH・パイプライン構築 ◦BigQuery ◦ApacheSpark 【その他】 リモート：フルリモート可能（週1回（月or金）出社頂けると尚良） 就業時間：フレックスタイム制（コアタイム11時～17時）

求めるスキル

・AWSやGCPなどのクラウド環境を使ったアーキテクチャ設計、インフラ設計、アプリケーション設計、運用（実務経験2年以上） ・工程一連の実務経験をお持ちであること ・L2/L3の基本的なネットワーク理解 ・HTTPS, DNSなどの基本的なプロトコル理解 ・Gitによるコード管理の経験

案件の内容

【業務内容】 ログ数の増加やデータスキーマの多様化に対応すべく、データ基盤の運用安定化・効率化のための開発・運用を担当していただきます。 -データ基盤の開発・運用 -データ基盤のデータ品質担保 -データ基盤の運用効率化

求めるスキル

・ETLやワークフローの実装など、データ基盤の開発・運用経験 ・AWSでのデータ基盤の開発・運用経験 ※データエンジニアリングを専門とされてきた方を優遇いたします