Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

job manager: "FutureWarning: Setting an item of incompatible dtype" warning #656

Closed
soxofaan opened this issue Nov 8, 2024 · 2 comments
Closed

job manager: "FutureWarning: Setting an item of incompatible dtype" warning #656

soxofaan opened this issue Nov 8, 2024 · 2 comments
Assignees
@soxofaan
Labels
bug job manager

Comments

@soxofaan
Copy link
Member

soxofaan commented Nov 8, 2024

reported by @mbuchhorn:

with usage of multibackend job manager (v 0.34.0 and probably earlier) he started to see warnings like these:

openeo\extra\job_management.py:539: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value 'cdse' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "backend_name"] = backend_name
openeo\extra\job_management.py:557: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value '2024-11-07T14:02:24Z' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "start_time"] = rfc3339.utcnow()
openeo\extra\job_management.py:559: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value 'j-241107dc8572430887c7600e3d0cb112' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "id"] = job.job_id
@soxofaan soxofaan self-assigned this Nov 8, 2024
@pvbouwel
Copy link

pvbouwel commented Nov 8, 2024

Output I had was very similar just a few more warnings:


.../lib/python3.10/site-packages/openeo/extra/job_management.py:539: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value '<backend_name>' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "backend_name"] = backend_name

.../lib/python3.10/site-packages/openeo/extra/job_management.py:557: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value '2024-11-05T15:20:45Z' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "start_time"] = rfc3339.utcnow()

.../lib/python3.10/site-packages/openeo/extra/job_management.py:559: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise an error in a future version of pandas. Value 'j-2411059f6bb2454c979736e5cdd3c481' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  df.loc[i, "id"] = job.job_id

.../lib/python3.10/site-packages/openeo/extra/job_management.py:798: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future error of pandas. Value '['j-241105...' nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan]' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  self._df.update(df, overwrite=True)

.../lib/python3.10/site-packages/openeo/extra/job_management.py:798: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future error of pandas. Value '['2024-11-05T15:20:45Z' nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan]' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  self._df.update(df, overwrite=True)
.../lib/python3.10/site-packages/openeo/extra/job_management.py:798: FutureWarning: Setting an item of incompatible dtype is deprecated and will raise in a future error of pandas. Value '['<backend_name>' nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan nan
 nan nan nan nan]' has dtype incompatible with float64, please explicitly cast to a compatible dtype first.
  self._df.update(df, overwrite=True)

soxofaan added a commit that referenced this issue Nov 12, 2024
@soxofaan
Issue #656: make sure CsvJobDatabase uses expected dtypes
f676d77
soxofaan added a commit that referenced this issue Nov 13, 2024
@soxofaan
Issue #656: make sure CsvJobDatabase uses expected dtypes
89f6fe1
soxofaan added a commit that referenced this issue Nov 13, 2024
@soxofaan
fixup! Issue #656: make sure CsvJobDatabase uses expected dtypes
f5eb8a3
soxofaan added a commit that referenced this issue Nov 13, 2024
@soxofaan
fixup! fixup! Issue #656: make sure CsvJobDatabase uses expected dtypes
8c1fcd4
soxofaan added a commit that referenced this issue Nov 13, 2024
@soxofaan
Issue #656: make sure CsvJobDatabase uses expected dtypes
4989d4b
@soxofaan soxofaan mentioned this issue Nov 14, 2024
Merged
soxofaan added a commit that referenced this issue Nov 14, 2024
@soxofaan
Issue #656/#661 make file tree checks windows-compatible
3cbb576
soxofaan added a commit that referenced this issue Nov 14, 2024
@soxofaan
Issue #656: make sure CsvJobDatabase uses expected dtypes
5358620
soxofaan added a commit that referenced this issue Nov 14, 2024
@soxofaan
Issue #656/#661 make file tree checks windows-compatible
cece27b
@soxofaan
Copy link
Member Author

Fixed by #661

soxofaan added a commit that referenced this issue Nov 14, 2024
@soxofaan
job manager tests: fail on all warnings (except our own deprecation w…
f98b3d3 
…arnings)

related to #641, #656
@soxofaan soxofaan mentioned this issue Nov 14, 2024
Draft
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees

@soxofaan soxofaan

Labels
bug job manager
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
2 participants
@soxofaan @pvbouwel